7.4 Ajuster l’évaluation


Portée de l’évaluation

La portée de l’évaluation réduit le centre d’intérêt de l’évaluation en établissant les limites de ce que l’évaluation couvrira et ce qu’elle ne couvrira pas dans le cadre de l’exécution de son objet. La portée détermine les aspects de l’initiative et leur contexte situés dans les limites de l’évaluation. Ainsi, la portée détermine par exemple :

  • Les unités d’analyse à couvrir par l’évaluation tels que, un système de programmes associés, les politiques ou stratégies, un seul programme impliquant un ensemble de projets, un seul projet, ou une sous-composante ou processus au sein d’un projet    
  • Le temps ou étape(s) de la mise en œuvre
  • Les fonds dépensés au moment de l’évaluation par rapport au montant total alloué
  • La couverture géographique
  • Les groupes ciblés ou bénéficiaires à inclure

La portée aide donc à bien déterminer la sélection de questions liées à l’évaluation dans le cadre des limites prédéfinies.

Objectifs de l’évaluation et critères 

Les objectifs de l’évaluation sont des formulations sur ce que l’évaluation fera pour remplir ses objets. Ils sont basés sur de minutieuses considérations sur : le type de décisions que les utilisateurs de l’évaluation prendront ; les questions auxquelles ils auront à trouver une réponse pour prendre ces décisions et ; ce que l’évaluation aura à réaliser pour contribuer à ces décisions. Une évaluation donnée peu poursuivre un ou plusieurs objectifs. Le point le plus important reste néanmoins que les objectifs sont directement issus de l’objet de l’évaluation et servent à la centrer sur les décisions à prendre.



Conseil : Proposition de projet d’objectifs d’une évaluation – « évaluer le statut des produits; évaluer la manière avec laquelle ces produits sont réalisés; évaluer l’efficacité avec laquelle les produits sont réalisés. »

Les critères de l’évaluation aident à mettre au point les objectifs en déterminant les normes d’évaluation de l’initiative. Les évaluations du PNUD appliquent généralement les critères suivants : la pertinence, l’efficacité, l’efficience,  la durabilité et les impacts des efforts du développement.50

La pertinence fait référence au degré de compatibilité qu’une initiative de développement et ses produits et effets escomptés entretien avec les politiques nationales et locales et avec les priorités et les besoins des bénéficiaires visés. Elle tient compte par ailleurs du degré de réactivité de l’initiative face aux priorités de développement humain et de plan institutionnel du PNUD, en matière de redevabilité des populations et des questions d’égalité des sexes. Elle vérifie également le niveau de compatibilité entre la perception des besoins tels que planifiés par les chargés de la planification de l’initiative et la réalité des besoins du point de vue des bénéficiaires visés. Enfin, elle englobe le concept de capacité de réaction, c'est-à-dire le degré de réactivité du PNUD face aux changements et émergence des priorités et besoins de développement. 

L’une des importantes sous-catégories de la pertinence est le critère de justesse, qui traite de l’acceptation culturelle ainsi que de la faisabilité des activités ou méthode d’une initiative de développement.    

Alors que la pertinence étudie l’importance de l’initiative par rapport aux besoins et aux priorités des bénéficiaires visés, la justesse étudie quant à elle l’acceptation et la faisabilité de l’initiative telle qu’elle opère au sein d’un contexte local. Ainsi par exemple, une initiative peut être pertinente parce qu’elle traite un besoin que les bénéficiaires ciblés estiment important mais elle peut être également inadéquate parce que la méthode d’exécution utilisée est incompatible avec la culture locale ou infaisable au vu des réalités géographiques ou contextuelles. Grâce à l’application du critère de pertinence, les évaluations devraient être à même de déterminer jusqu’à quel point la planification, l’élaboration et la mise en œuvre des initiatives tiennent compte du contexte local.      
 
L’efficacité est la mesure du niveau de réalisation des résultats (produits ou effets) escomptés d’une initiative donnée ou la mesure des progrès réalisés pour l’atteinte des produits ou effets.

L’évaluation de l’efficacité dans les évaluations d’un projet implique une appréciation des causes et des effets, c'est-à-dire l’attribution des changements observés aux activités du projet et à ses produits. Par exemple, le niveau de changement du nombre de votants pouvant être attribué à un projet d’éducation électorale. L’appréciation de l’efficacité des effets des évaluations se penchera plus sur l’examen des contributions apportées par le PNUD et par d’autres partenaires à la réalisation des effets escomptés. L’évaluation d’un effet pourra par exemple étudier jusqu’à quel point les produits observés d’un projet d’éducation électorale, ainsi que d’autres produits bénéficiant du soutien du PNUD tels que la professionnalisation de l’administration électorale, ont contribué à la réalisation des effets formulés en rapport avec une participation inclusive et mesurés par des observateurs internationaux et des experts réputés.         

L’évaluation de l’efficacité implique trois étapes fondamentales :
1. Mesurer le changement dans les produits et les effets observés
2. Attribuer ces changements ou les progrès réalisés à l’initiative (évaluation du projet) ou déterminer les contributions du PNUD à ces changements observés
3. Juger la valeur du changement (positive ou négative)

L’efficience mesure la manière avec laquelle les ressources ou les apports (tels que les fonds, la compétence et le temps) sont transformés de façon économe en résultats. Une initiative est considérée efficiente lorsqu’elle utilise les ressources correctement et de façon économe pour atteindre les produits souhaités. L’efficience est importante pour garantir le bon usage des ressources et mettre en relief d’autres usages efficaces de ces ressources.  

Etant donné que la nature et les objets premiers des évaluations des projets et des effets diffèrent, l’application du critère à utiliser diffère également. Ainsi, lors de l’évaluation de l’efficience par exemple, une évaluation de projet peut être amenée à étudier le degré d’utilisation des ressources pour réaliser les produits escomptés et comment ces ressources peuvent-elles être utilisées plus efficacement pour réaliser les résultats prévus. D’autre part, une évaluation des effets, peut impliquer des estimations de l’investissement global du PNUD (tous les projets et l’appui-conseil) destiné à un effet de développement donné. L’application de ce critère, particulièrement dans les évaluations du PNUD, constitue un certain défi vu que la nature même des initiatives du PNUD (par exemple l’appui-conseil), ne se prêtent pas toujours aux indicateurs conventionnels d’efficience. Dans ces cas, il faut donc considérer de leur appliquer certaines analyses de taux d’exécution, de raisons pour lesquelles certaines initiatives sont mises en œuvre plus rapidement que d’autres et, de ratios de gestion au niveau du programme. Il est également important d’évaluer la manière avec laquelle la stratégie de partenariat a influencé l’efficience des initiatives du PNUD à travers des mesures de partage de frais et d’activités complémentaires.  

La durabilité mesure le degré auquel les bénéfices des initiatives perdurent après que l’aide au développement en provenance de l’extérieur ait touché à sa fin. Evaluer la durabilité implique une appréciation du niveau auquel les pertinentes conditions sociales, économiques, politiques et autres sont réunies et, toujours sur la base de cette appréciation, d’effectuer des projections sur la capacité nationale à maintenir, diriger et garantir les résultats du développement dans le futur.  

Une évaluation de la durabilité peut par exemple étudier le degré auquel :

  • Une stratégie de durabilité, y compris le renforcement de la capacité des parties prenantes nationales, a été développée ou mise en œuvre.
  • Il existe des mécanismes financiers et économiques mis en place pour assurer la continuité du flux de bénéfices en cours une fois que l’aide touchera à sa fin.  
  • Les modalités organisationnelles appropriées (dans le secteur public ou privé) ont été appliquées.
  • Les cadres politiques et de régulation ont été mis en place et soutiendront la continuité des bénéfices.
  • La capacité institutionnelle requise (systèmes, structures, personnel, compétence, etc.) existe.

L’impact mesure les changements dans le développement humain et dans le bien-être des populations apportés, directement ou indirectement, prévus ou non, par les initiatives de développement. Plusieurs organisations de développement évaluent l’impact parce qu’il génère des informations utiles à la prise de décision et soutien la redevabilité dans la réalisation des résultats. Par moments, l’évaluation d’impact fait face à certains défis: ainsi, confirmer si les bénéfices apportés aux bénéficiaires peuvent être directement attribués au soutien du PNUD peut s’avérer difficile, et particulièrement lorsque le PNUD est l’un des nombreux donateurs. Evaluer l’impact des initiatives du PNUD doit néanmoins avoir lieu à chaque fois que des bienfaits directs sur les populations sont perceptibles.  

De manière générale, l’application des critères les plus utilisés - pertinence, efficacité, efficience, durabilité et impact – en les associant, peut aider à s’assurer que l’évaluation couvrira les domaines les plus importants de l’initiative. Tous les critères ne sont cependant pas applicables, ou applicables de manière identique, à chaque évaluation. Différents critères peuvent être appliqués dans des cas uniques. A l’heure de choisir le critère à appliquer, il faut tenir compte du type d’évaluation et les contributions des informations relatives à l’objet du coût (utilisation de l’évaluation des ressources). Les évaluations des programmes humanitaires ou en cas de conflit peuvent faire appel à des critères de connexion, de cohérence, de couverture et de coordination.51 L’encadré 39 passe brièvement en revue les questions pouvant aider à déterminer le critère d’évaluation et les questions sur l’évaluation qui y sont associées.

Encadré 39. Questions-indications pour la détermination des critères de l’évaluation
  • Jusqu’à quel point le critère renseigne-t-il sur l’objet de l’évaluation ?
  • De quelle quantité et de quel type d’informations les utilisateurs potentiels ont-ils besoin ?
  • L’accent devrait-il être mis de la même manière sur chacun des critères ou est-ce que certaines informations seront plus utiles ?  
  • Ce critère représente-t-il une mesure utile ou adéquate à l’évaluation en particulier ?
Quel critère génèrera le plus d’informations utiles au vu des ressources disponibles ?
 
Questions sur l’évaluation

Apporter des réponses aux questions sur l’évaluation permet d’offrir aux utilisateurs de celle-ci les informations qu’ils recherchent pour leurs prises de décision, prises de mesures ou l’enrichissement de la base de connaissances. Les questions sur l’évaluation permettent également d’affiner la mise au point de l’évaluation en rendant plus explicites les aspects de l’initiative pris en compte au moment d’apprécier sa performance.

Les questions sur l’évaluation reflètent par ailleurs la chaîne d’hypothèses sous-jacente sur la manière avec laquelle l’initiative est supposée opérer au sein de son contexte conformément aux produits et effets escomptés. Le choix de ces questions doit découler d’une compréhension approfondie des opérations, des intentions et du contexte de l’initiative et selon le rôle que ces questions vont jouer dans l’exécution de l’objet, des objectifs et des critères pertinents de l’évaluation.  
    
Théoriquement, un nombre indéfini de questions peut être posé pour chaque critère d’évaluation, en pratique cependant, les évaluations ont des limites en termes de temps, de budget et de ressources. Il est par conséquent important de déterminer de manière stratégique les informations les plus indispensables et d’établir des priorités pour les questions sur l’évaluation. Il est plus judicieux de répondre plus solidement à un petit nombre de questions plutôt que de répondre de manière superficielle à un grand nombre d’entre elles. Etablir un ensemble clair et concis des questions les plus pertinentes, garantit des évaluations bien ciblées, plus simples à mener, rentables et utiles.
  

Afin de s’assurer que les questions-clés choisies pour l’évaluation sont les plus pertinentes et les plus à même de générer les informations les plus significatives aux utilisateurs, les unités de programme du PNUD doivent solliciter des apports et négocier des accords parmi les partenaires et autres parties prenantes, y compris l’équipe d’évaluation. Les bureaux mandatés doivent garantir que la matrice d’évaluation contenue dans le rapport préliminaire de l’évaluation, établit des liens bien déterminés avec les critères d’évaluation, les questions sur l’évaluation et les besoins en informations des utilisateurs ciblés (voir annexe 3 pour plus de détails). 
Approche axée sur l’égalité des sexes, la sensibilité à l’exclusion et les droits

En accord avec les efforts de développement du PNUD, les évaluations de ce dernier sont guidées par les principes d’égalité des sexes, d’approche axée sur les droits et de développement humain.52 Par conséquent, les évaluations du PNUD mesurent le degré auquel les initiatives : ont abordé les questions relatives à l’inclusion selon les sexes et le niveau social, l’égalité entre les hommes et les femmes et la redevabilité ; ont contribué à renforcer l’application de ces principes aux différents efforts de développement dans un pays donné ; et ont assimilé l’engagement du PNUD aux approches axées sur les droits et à l’intégration des deux sexes dans l’élaboration de l’initiative.     

L’intégration des deux sexes est le processus par lequel sont évaluées les implications des femmes et des hommes dans toute action planifiée, y compris législative, politique ou de programmes, dans tous les domaines et à tous les niveaux. Il s’agit d’une stratégie destinée à faire des questions et expériences liées à l’égalité des sexes une partie intégrante de l’élaboration, de la mise en œuvre, du suivi et de l’évaluation des politiques et des programmes, et ce dans toutes les sphères économiques, politiques et sociales, et apporter ainsi les mêmes bénéfices aussi bien aux hommes qu’aux femmes et évitant les inégalités entre les deux sexes. Les évaluations du PNUD doivent déterminer le degré auquel les initiatives de ce dernier ont tenu compte d’intégrer la question de l’égalité des sexes dans l’élaboration, la mise en œuvre et résultat de l’initiative et si aussi bien les hommes que les femmes peuvent prétendre de manière égale, et au même niveau présumé, aux bénéfices apportés par l’initiative. De la même manière, les évaluations devraient également déterminer jusqu’à quel point le PNUD a défendu les principes d’égalité et de développement et a contribué à renforcer et répondre aux besoins des populations les plus désavantagées et vulnérables dans une société donnée.  

L’approche axée sur les droits dans les efforts de développement, suppose le besoin de garantir que les stratégies de développement répondent aux revendications des ayants droit et que les garants de ces droits respectent leurs obligations. Cette approche met également en valeur besoin crucial d’examiner les causes sous-jacentes et structurelles immédiates pour lesquelles ces droits n’ont pas été respectés. Le concept d’engagement civique, en tant que mécanisme de revendication des droits, est un aspect important du cadre général de travail. Les évaluations doivent, lorsque cela s’avère nécessaire, d’estimer le point auquel l’initiative a permis aux ayants droits de revendiquer leurs droits et aux garants de ces droits de respecter leurs obligations.

Les évaluations doivent enfin aborder également d’autres questions transversales, telles que le degré auquel le PNUD a intégré et encouragé dans son initiative la coopération sud-sud, la gestion du savoir, le volontarisme et la réforme des Nations Unies et ce, selon l’orientation de l’évaluation.