5.3 Types d’évaluation du PNUD

Evaluations indépendantes et évaluations décentralisées

Le soutien et les services du PNUD se composent de programmes, de projets, de partenariats et d’une assistance technique comme le plaidoyer, les conseils d’orientation et l’aide à la coordination, qui sont ou non susceptibles d’être fournis dans le cadre du projet. Les programmes et les projets ont des cadres de résultats qui détaillent le modèle de résultats et les résultats attendus au niveau du produit et de l’effet. Les évaluations dans le PNUD sont réalisées pour couvrir de manière appropriée ce vaste éventail d’initiatives du PNUD de manière à évaluer leur mérite et soutenir les efforts d’apprentissage et la responsabilité de rendre compte de l’organisation. L’architecture de l’évaluation dans le PNUD correspond par conséquent à la structure de programme du PNUD et à ses composants.

Il existe deux catégories d’évaluations dans le PNUD : les évaluations indépendantes et les évaluations décentralisées. Le Bureau de l’évaluation du PNUD est mandaté par le Conseil d’administration pour réaliser des évaluations indépendantes. On dit qu’elles sont indépendantes parce que le Bureau de l’évaluation est indépendant de la direction du programme et ne fait pas partie des procédés de prise de décision ultérieurs concernant l’objet d’une évaluation. Le Bureau de l’évaluation est également nécessaire pour réaliser les évaluations nationales (connues sous le nom d’Evaluations des Résultats de Développement ou ADR), les évaluations de programmes régionaux et mondiaux et les évaluations thématiques conformément au programme de travail approuvé par le Conseil d'administration. 

Les unités de programmes réalisent différents types d’évaluations décentralisées et veillent à ce qu’elles fournissent des informations appropriées concernant la performance mondiale du soutien du PNUD dans un contexte donné. Ce faisant, les unités de programmes s’appuient sur divers types d’évaluations qui sont basées sur les services de leur aide au développement à l’échelle nationale, régionale ou mondiale. Ils comportent : le PCNUAD ; les programmes régionaux ou mondiaux; les effets; les domaines thématiques et les projets. Les évaluations décentralisées les plus courantes sont les évaluations des projets et des effets. Les unités de programmes ne réalisent pas ces évaluations eux-mêmes, ils nomment plutôt des consultants d’évaluation externes pour le faire.

Ensemble, ces deux catégories d’évaluations sont destinées à fournir des informations complètes sur les performances du PNUD à l’échelle du projet, du programme, de l’institution et du système des NU, en vue de soutenir une bonne gestion des initiatives du PNUD et de la direction stratégique.

Relation entre les évaluations indépendantes et les évaluations décentralisées

Même si les modalités institutionnelles - y compris les mandats, les lignes de responsabilité de rendre compte et les modalités opérationnelles - des évaluations indépendantes et des évaluations décentralisées sont différents, elles se complètent et se renforcent les unes les autres. Par exemple, les évaluations décentralisées, en particulier les évaluations des effets, réalisées dans un pays donné fournissent une base importante pour une évaluation indépendante du programme de pays ou des ADR qui sont réalisées par le Bureau de l’évaluation. Par conséquent, les évaluations des effets et leurs évaluations des projets associés doivent être complétées avant les ADR. De plus, en réalisant des études de cas nationales  d’évaluation d’un programme thématique ou régional, le Bureau de l’évaluation peut appliquer une approche de méta-évaluation ³⁴ et s’appuyer en grande partie sur les évaluations décentralisées spécifiques à une région ou à un pays. En l’absence d’évaluations décentralisées adéquates et crédibles, les évaluations indépendantes peuvent avoir une base d’évaluation limitée et nécessiter plus de temps pour collecter les données nécessaires. De même, les évaluateurs des évaluations décentralisées peuvent utiliser l’analyse fournie dans les évaluations indépendantes et les études de cas concernées comme élément constitutif pour leur analyse. Le tableau 21 décrit les principaux types d’évaluations réalisées dans le PNUD, y compris les parties responsables mandatées pour les réaliser ainsi que les principaux utilisateurs de ces évaluations.

Tableau 21. Exemples des différents types d’évaluations réalisées par le Bureau de l’évaluation et les unités de programmes

* Le Bureau de l’évaluation est requis pour réaliser toutes les évaluations mises en avant dans le programme de travail approuvé par le Conseil d’administration.
** Les unités de programmes sont requises pour réaliser toutes les évaluations prévues dans leur plan d’évaluation.
*** Les autres groupes avec des responsabilités de programmes tels que le Bureau de gestion et le Bureau de partenariat, le cas échéant.

Evaluation des effets

Les évaluations des effets dans le PNUD évaluent les contributions du PNUD en matière de progrès obtenus par rapport aux réalisations des effets. Ces effets sont généralement identifiés dans les cadres des résultats du programme ou du projet auxquels les initiatives du PNUD contribuent.

Les évaluations des effets sont exécutées pour :

• Fournir des données avérées destinées à soutenir la responsabilité de rendre compte des programmes que le PNUD pourra utiliser dans ses exigences de responsabilité de rendre compte vis-à-vis de ses investisseurs
• Fournir des données avérées sur la contribution du PNUD dans les effets
• Orienter l’amélioration de la performance au sein des programmes mondiaux, régionaux et nationaux actuels en identifiant les domaines actuels des points forts, points faibles et lacunes, particulièrement en ce qui concerne :
• Le caractère approprié de la stratégie de partenariat du PNUD
• Les entraves à l’effet
• Les ajustements à mi-parcours
• Les enseignements tirés pour le prochain cycle de programme
• Informer les évaluations de niveau supérieur, comme les ADR et les évaluations des programmes régionaux et mondiaux, ainsi que la planification à venir
• Soutenir l’apprentissage à travers le PNUD au sujet de l’évaluation des effets

Les évaluations des effets sont stratégiques, en abordant : les liens étendus avec le développement ; les partenariats entre les agences ; l’analyse de l’environnement local, régional et mondial extérieur dans l’analyse de la réussite et la valeur comparative du PNUD et l’importance dans le développement. Une autre spécificité distinctive de l'évaluation des effets est qu'elle reconnaît explicitement le rôle des partenaires dans la réalisation de ces effets et fournit des informations essentielles dans le but de renforcer l’efficacité du développement et d’aider la prise de décision et la mise en place de politique au delà d'un projet ou d'une initiative particulière. Les évaluations des effets fournissent également une base importante pour les évaluations de niveau supérieur (par ex. les évaluations du PCNUAD) et les évaluations indépendantes réalisées par le Bureau de l’évaluation. Ainsi, la réalisation des évaluations des effets pendant le cycle du programme est obligatoire pour toutes les unités de programmes du PNUD.

Etant donné que le PNUD fonctionne dans une gamme étendue de contextes et situations de développement, les exigences des évaluations des effets peuvent être remplies par l’intermédiaire de différentes modalités. Par exemple, les évaluations conjointes, ciblées sur les thèmes, les projets importants, ou les zones géographiques, qui évaluent  les effets spécifiques tels que prédéfinis dans les documents de planification (comme les documents des programmes nationaux, régionaux ou mondiaux) peuvent être considérés comme remplissant les exigences des évaluations des effets.

Quels que soient les modalités, et de manière à répondre aux exigences des évaluations des effets, l’évaluation doit être orientée sur les effets. Les évaluations des effets doivent remplir les objectifs suivants permettant d’évaluer les aspects:

• Progrès pour réaliser l’effet, y compris les effets non désirés des activités liées à cet effet
• Les facteurs contribuant aux effets
• La contribution que le PNUD a apportée aux résultats
• L’efficacité de la stratégie de partenariat pour réaliser les effets

En consultation avec les partenaires concernés, les unités de programmes du PNUD peuvent décider quels effets choisir et avec quelle modalité les évaluer. Les partenariats existants sur le terrain, la nature du programme, les évaluations prévues par les partenaires et le gouvernement (de manière à trouver des opportunités pour réaliser des évaluations communes) et d’autres facteurs spécifiques au programme peuvent influencer ces décisions. Pour plus de détails, veuillez consulter le Compendium sur les évaluations des effets (Compendium on outcome evaluations).  

Evaluation du projet

Les unités de programmes du PNUD peuvent déléguer les évaluations de leurs projets respectifs si besoin. La gestion des résultats nécessite, en point de départ, une bonne connaissance des projets, leur efficacité, les facteurs internes et externes affectant l’efficacité, leur valeur ajoutée et leur contribution à des effets de niveau supérieur. Une évaluation de projet évalue la performance d’un projet à atteindre ses résultats désirés. Elle génère des informations utiles sur les modalités d’exécution du projet et la réalisation des produits. C’est à ce niveau que la cause directe et l’attribution peut être abordée en fonction du lien de cause à effet étroit entre les initiatives et les produits.

Le but principal de l’évaluation d’un projet est d’apporter des améliorations, de poursuivre ou de transposer à plus grande échelle une initiative, d’évaluer le potentiel de réplication dans d’autres configurations ou d’envisager des alternatives. C’est pourquoi, même si les évaluations de projets sont obligatoires uniquement lorsqu’elles sont requises par les protocoles de partenariat, on conseille fortement aux unités de programmes de commanditer des évaluations, en particulier des programmes pilotes, avant la réplication ou la classification, et des projets qui passent dans une phase suivante et les projets d’une durée supérieure à cinq ans. De plus en plus, les évaluations des projets jouent un rôle important dans la responsabilité de rendre compte aux donateurs et aux gouvernements impliqués dans le financement des projets. Pour leurs propres raisons de responsabilité de rendre compte, les organismes de donateurs et les autres partenaires de partage des coûts³⁵ peuvent demander au PNUD d’inclure les exigences d’évaluation dans les accords de partenariat PNUD-donateur. Les évaluations à mi-parcours et les évaluations finales des projets du Fonds mondial pour la protection de l’environnement sont des exemples d’évaluations de projet, étant donné qu’elles sont effectuées dans le cadre clairement défini d’un projet unique.³⁶

Lorsqu’un projet est entrepris en partenariat avec d’autres acteurs du développement, l’évaluation doit prendre en compte les objectifs, les apports et les contributions de chaque partenaire. Les conclusions globales de l’évaluation doivent mettre en lumière comment ces différents éléments s’intègrent pour réaliser les produits désirés et ce qui peut être retiré de la valeur ajoutée de la collaboration. Il est donc extrêmement important que le PNUD et les partenaires impliqués dans un projet travaillent ensemble, expriment leurs attentes et leurs inquiétudes, et maîtrisent l’évaluation dès la phase de planification et tout au long du processus dans son ensemble.

Evaluations des projets et évaluation des effets

Il existe plusieurs différences importantes entre les évaluations des projets et les évaluations des effets, comme cela est illustré dans le tableau 22.

Tableau 22. Différences entre l’évaluation d’un projet et l’évaluation des effets

Remarque : Les projets importants peuvent avoir des effets susceptibles d’être évalués. De plus, les petits projets peuvent également apporter des contributions tangibles pour réaliser les effets du CPD, voire les effets spécifiques au projet. De ces cas, ces évaluations de projets peuvent être considérées comme remplissant les exigences des évaluations des effets.

L’attention croissante portée sur les évaluations des effets dans le PNUD ne signifie pas que les évaluations des effets ont remplacé les évaluations des projets. De nombreuse unités de programmes continuent de réaliser des évaluations des projets parce qu’elles génèrent des informations utiles sur les modalités d’exécution du projet, les structures administratives et la réalisation des produits. De plus, l’évaluation d’un projet fournit une base pour l’évaluation des effets et des programmes, ainsi que pour les évaluations d’un programme ou thématiques réalisées par le Bureau de l’évaluation et pour diffuser les enseignements tirés de l’expérience liée à l’apprentissage et au partage de connaissances.

Afin de garantir la pertinence et l’utilisation efficace des informations de l’évaluation, celle-ci doivent être disponibles de manière opportune de sorte que les décisionnaires puissent prendre des décisions renseignées par les données avérées de l’évaluation.

Evaluations thématiques

En plus des évaluations des projets et des effets, les hauts responsables des unités de programmes peuvent choisir de déléguer des évaluations thématiques afin d’évaluer la performance du PNUD dans des domaines qui sont essentiels pour garantir une contribution durable aux résultats de développement. Elles peuvent cibler un ou plusieurs thèmes transversaux qui ont une importance au-delà d’un projet ou d’une initiative spécifique. Parmi les évaluations thématiques déléguées par les unités de programmes, on trouve par exemple l’évaluation des initiatives du PNUD dans un domaine de résultats particulier, comme la gouvernance démocratique et l’évaluation d’un thème transversal comme le renforcement des capacités ou l’égalité entres les hommes et les femmes dans le programme du PNUD dans un pays donné.

Evaluation d’un programme national, régional ou global

Les bureaux de pays peuvent déléguer l’évaluation d’un programme national afin d’évaluer la réalisation du PNUD des résultats attendus et les contributions aux résultats de développement nationaux dans un pays donné. L’évaluation passe en revue les principaux sujets similaires à ceux que l’on trouve dans les ADR, comme l’efficacité du PNUD à proposer et influencer la réalisation des résultats de développement ainsi que le positionnement stratégique du PNUD. L’évaluation d’un programme national contribue à une plus grande responsabilité du PNUD et à l’assurance qualité des initiatives du PNUD au niveau national. Tout comme dans l’ADR, elle permet des déductions et des recommandations à introduire dans la préparation des programmes à venir. Elle peut être utilisée pour faciliter le dialogue entre le gouvernement et les autres partenaires nationaux et peut également donner des enseignements qui sont utiles pour le gouvernement dans sa mission de gestion de l’aide et sa relation avec les autres partenaires de développement. Malgré un grand nombre de similitudes, les évaluations de programme nationales déléguées par les bureaux de pays sont différentes des ADR en ce qui concerne leur portée et les modalités de gestion. Elles ciblent généralement un cycle de programme donné avec une attention plus particulière sur la performance au niveau du projet. De plus, les évaluations de programmes nationales décentralisées sont commanditées par les personnes responsables de la gestion des programmes, par opposition au Bureau de l’évaluation indépendant.

De même, les bureaux régionaux et les groupes en charge des politiques et des pratiques peuvent décider d’effectuer des évaluations à mi-parcours de leurs programmes régionaux et mondiaux respectifs. Ces évaluations à mi-parcours permettent un ajustement à mi-chemin des programmes et s’insèrent également dans les évaluations régionales et mondiales que le Bureau de l’évaluation a mandatées à la fin de la période du programme.

Evaluation d’impact

Une évaluation d’impact est une évaluation des effets – positifs ou négatifs, prévus ou non – sur les foyers et les institutions et l’environnement causés par une activité de développement donnée comme un programme ou un projet. Ce genre d’évaluation fait référence à l’impact final (à long terme) ainsi qu'aux effets (à moyen terme) au niveau des effets.

En identifiant si l’aide au développement fonctionne ou non, l’évaluation d’impact sert également la fonction de responsabilité de rendre compte. L’évaluation d’impact est donc alignée avec la GAR et contrôle la contribution de l’aide au développement pour répondre aux OMD. Une évaluation d’impact est utile lorsque :

• Le projet ou le programme fonctionne suffisamment longtemps pour avoir des effets visibles
• Le projet ou le programme a une échelle qui justifie une évaluation plus détaillée

L’évaluation d’impact ne mesure pas seulement si les objectifs ont été atteints ou n’évalue pas seulement les effets sur les bénéficiaires prévus. Elle inclut une gamme complète d’impacts à tous les niveaux de la chaîne de résultats, y compris les effets d'entraînement sur les familles, les foyers et les communautés, sur les systèmes institutionnels, techniques ou sociaux et sur l’environnement. En tant que modèle logique simple, elle peut avoir des effets (à court et moyen terme) intermédiaires multiples au fil du temps qui mènent finalement à un impact – dont une partie ou tout peut être inclus dans une évaluation d’impact à un moment spécifique.

Cette définition met l’accent sur le besoin de comprendre les conséquences des initiatives de développement sur le long terme. Un autre sujet important associé à l’évaluation d’impact est l’attribution – c'est-à-dire déterminer dans quelle mesure une initiative, plutôt que d’autres facteurs externes, a contribué aux impacts observés. Il existe de nombreuses méthodes qui peuvent être appliquées pour gérer ce problème d’attribution. Il est essentiel que ce sujet soit pris en compte dans l’élaboration de l’initiative, ainsi que dans l’élaboration et les termes de référence de l’évaluation.³⁷

Evaluation du PCNUAD³⁸

Les programmes, projets et opérations du PNUD opèrent de concert pour soutenir les objectifs et les effets du PNUD qui abordent les priorités nationales. Le PCNUAD décrit la réponse collective de toutes les opérations des NU dans un pays. Alors que les évaluations des effets du PNUD se concentrent sur les effets du CPD, les évaluations du PCNUAD ciblent les effets du PCNUAD, leurs contributions aux priorités nationales et la cohérence du soutien de l’UNCT. L’évaluation du PCNUAD est prévue pour fournir des apports destinés à la préparation du prochain PCNUAD, des prochains programmes et projets par les agences individuelles. L’évaluation du PCNUAD doit avoir lieu au début de l’avant dernière année du cycle du programme et se baser sur les révisions annuelles du PCNUAD ainsi que sur les principales études et évaluations qui ont été complétées par les agences individuelles. Même si les résultats d’une évaluation d’un PCNUAD sont supposés contribuer à gérer les résultats, il s’agit d’une fonction externe qui doit être séparée de la gestion du programme. Le suivi et l’évaluation du PCNUAD doivent toujours être alignés avec les systèmes de suivi et d’évaluation nationaux existants ou cibler leur développement et leur institutionnalisation s’ils sont prématurés ou absents.

La portée de l'évaluation d'un PCNUAD dépend des précédentes évaluations et études déjà réalisées au cours du cycle et de la nature des opérations de l’UNCT dans un pays. Les évaluations du PCNUAD sont commanditées et gérées conjointement par les responsables des organisations des NU et des gouvernements nationaux. Elles sont réalisées par des consultants externes sélectionnés par accord mutuel entre les Nations Unies et le gouvernement via un processus de sélection transparent et détaillé. Les directives 2007 du CCA et du PCNUAD³⁹ doivent être consultées pour plus d’informations.

Evaluations en temps réel

Les évaluations en temps réel sont souvent effectuées à un stade précoce d’une initiative afin de fournir aux responsables une rétroaction appropriée de manière à apporter une différence immédiate à l’initiative. Elles sont généralement appliquées à des contextes humanitaires ou post-conflits pour donner au personnel en charge de l’exécution la possibilité d’analyser si la réponse initiale ou le redressement est approprié en termes de résultats souhaités et de processus. Elles peuvent également être utilisées dans des situations de crise lorsqu'il peut y avoir des contraintes à réaliser des évaluations bien plus longues. Ces contraintes comprennent l’absence de données de base, des efforts de collecte de données limités en raison d’un renouvellement rapide des membres du personnel (par exemple, manque de mémoire institutionnelle) et la difficulté à mener des entretiens et des études en raison de problèmes liés à la sécurité.

Evaluation conjointe

Une évaluation conjointe est une modalité de réaliser une évaluation à laquelle différents partenaires contribuent. Toutes les évaluations peuvent être réalisées comme des évaluations conjointes. De plus en plus, le PNUD est engagé dans des évaluations conjointes, il existe différents degrés de “collaboration commune” en fonction de l’étendue selon laquelle les partenaires individuels coopèrent dans le processus d’évaluation, fusionnent leurs ressources d’évaluation et combinent leurs rapports d’évaluation.⁴⁰

L’approche d’évaluation conjointe est devenue populaire dans les années 1980 avec la promotion de l’approche par les Principes d’évaluation pour l’aide au développement du CAD, qui stipulaient "L'évaluation conjointe des donateurs doit être mise en avant de manière à améliorer la compréhension des procédures et des approches de chacun et réduire le fardeau administratif du bénéficiaire.”⁴¹  La Déclaration de Paris a également renforcé l’approche d’évaluation conjointe par les engagements pris par les agences de développement et les pays partenaires pour trouver des moyens plus efficaces de travailler ensemble.⁴² Les évaluations communes peuvent être caractérisées par de nombreux avantages et défis comme cela est indiqué dans l’encadré 29.

A l’échelle du pays, l’un des exemples les plus évidents d’évaluation conjointe est l’évaluation du PCNUAD, dans laquelle de nombreuses organisations des NU et le gouvernement participent. De plus, un bureau de pays du PNUD peut réaliser simultanément, avec le gouvernement partenaire ou un donateur, une évaluation conjointe des effets qui examine où les deux parties sont mutuellement et également responsable de l’exercice d’évaluation. Pour avoir des conseils sur la manière d’organiser et de gérer un processus d’évaluation conjointe, voir le chapitre 6.