Annexe 3. Modèle des termes de référence de l’évaluation et normes de qualité

Le modèle des Termes de référence est destiné à aider les groupes des programmes du PNUD à créer des Termes de référence basés sur des normes de qualité afin d’obtenir des évaluations cohérentes avec les concepts et les termes présentés dans ce Manuel et les « Normes pour l’évaluation dans le système des NU » de l’UNEG’.62

Les Termes de référence doivent également mentionner de manière explicite une exigence pour l’évaluation de manière à évaluer l’étendue de l’engagement du PNUD en matière d’approche de développement humain et comment l’égalité et des questions de spécificité de genre ont été efficacement intégrées dans l’élaboration et l’exécution du projet ou programme à évaluer.

En termes de méthodologie d’évaluation, les Termes de référence doivent rester suffisamment flexibles pour que l’équipe de l’évaluation puisse déterminer les meilleures méthodes et les outils permettant de collecter et d’analyser les données. Par exemple, les Termes de référence peuvent suggérer d’utiliser des questionnaires, des visites sur le terrain et des entretiens, pour autant, l’équipe d’évaluation doit être en mesure de réviser l’approche dans la consultation avec les parties prenantes, en particulier les utilisateurs présumés et ceux affectés par les résultats de l'évaluation (Voir le chapitre 7 pour plus d'informations sur les questions de conception).

Les Termes de référence doivent, au minimum, couvrir les éléments décrits ci-après :

1. Historique et contexte

La section concernant l’historique clarifie ce qui est évalué et identifie les principaux facteurs sociaux, économiques, politiques, géographiques et démographiques au sein desquels il opère et qui ont un impact direct sur l’évaluation. Cette description doit être ciblée et concise (1 page maximum), en mettant en avant uniquement les questions les plus pertinentes par rapport à l’évaluation. Les principaux descripteurs d’historique et de contexte devant être inclus sont énumérés ci-après :

  • Description de l’intervention (effet, programme, projet, groupe de projets, thèmes, appui-conseil) qui est évaluée.
  • Le nom de l’intervention (par ex. nom du projet), le but et les objectifs, y compris le moment et la manière dont elle a été initiée, à qui elle est censée profiter et quels effets ou produits elle est censée atteindre, ainsi que la durée de l’intervention et son statut d’exécution dans ce calendrier.
  • L’étendue et la complexité de l’intervention, y compris, par exemple, le nombre de composants, s'il y en a plus d'un, et la taille et la description de la population que chaque composant est censé servir, à la fois directement et indirectement.
  • Le contexte géographique et les limites, telles que la région, le pays, le paysage et les obstacles le cas échéant.
  • Les ressources totales nécessaires pour l’intervention à partir de toutes les sources, y compris les ressources humaines et les budgets comprenant le PNUD, le bailleur et les autres contributions.
  • Les principaux partenaires impliqués dans l’intervention, y compris les agences et les partenaires d’exécution, les autres parties prenantes ainsi que leurs inquiétudes et la pertinence de l’évaluation.
  • Les changements observés depuis le début de l’exécution et les facteurs qui y contribuent.
  • Comment l’objet s’adapte dans les stratégies et les priorités du gouvernement partenaire, les objectifs de développement internationaux, régionaux et nationaux, les stratégies et les structures, les objectifs et les priorités d’entreprise du PNUD ainsi que les programmes internationaux, régionaux et nationaux du PNUD, le cas échéant.
  • Les principales caractéristiques de l’économie globale, régionale et nationale et la politique économique qui est pertinente pour l’évaluation.
  • Description de la manière dont cette évaluation correspond au contexte d’autres évaluations précédentes ou en cours et au cycle d’évaluation.

Des informations plus détaillées relatives à l’historique et au contexte (par ex. proposition de financement initial, plans stratégiques, cadre logique ou théorie de changement, plans de surveillance et indicateurs) doivent être incorporées ou indiquées en référence dans les annexes via des liens sur Internet ou d’autres moyens de communication.

2. Objet de l’évaluation

La section but des Termes de référence explique clairement pour quelle raison l’évaluation est réalisée, qui va utiliser ou agir sur les résultats de l'évaluation, et  comment ils vont utiliser ou agir sur les résultats. Le but doit comprendre un historique et une justification notifiant la raison pour laquelle l’évaluation est nécessaire à ce moment et comment l’évaluation s’intègre dans le plan d’évaluation du groupe chargé des programmes (voir Chapitre 3). Une indication claire du but pose les bases d’une évaluation bien conçue.

3. Portée de l’évaluation et objectifs

Cette section définit les paramètres et se concentre sur l’évaluation. Elle répond aux questions suivantes :

  • Quels aspects de l’intervention doivent être couverts par l’évaluation ? Cela peut comporter le calendrier, la phase d’exécution, la zone géographique et les groupes cibles à prendre en compte, et le cas échéant, quels projets (effets) seront inclus.
  • Quels sont les principaux sujets d’inquiétude des utilisateurs que l’évaluation doit aborder ou les objectifs que l’évaluation doit atteindre ? 

Les sujets concernent directement les questions auxquelles l’évaluation doit répondre de sorte que les utilisateurs disposent des informations dont ils ont besoin pour les décisions ou les mesures en suspens. Un sujet peut concerner la pertinence, l’efficience, l’efficacité, la durabilité ou l’impact de l’intervention. De plus, les évaluations du PNUD doivent aborder la manière dont l’intervention a cherché à renforcer l’application des droits basés sur l’approche et les facteurs de spécificité de genre dans les efforts de développement.

4. Questions relatives à l’évaluation

Les questions relatives à l’évaluation définissent les informations que l’évaluation va générer. Cette section propose les questions qui, lorsqu’une réponse y a été apportée, donneront aux utilisateurs présumés de l’évaluation les informations qu’ils recherchent de manière à prendre des décisions, mettre en place des mesures ou ajouter des connaissances. Par exemple, les questions relatives à l’évaluation des effets peuvent comprendre :

  • Les effets ou produits ont-ils été atteints ?
  • Quels progrès ont été réalisés en matière d’effets ?
  • Quels facteurs ont contribué à atteindre ou ne pas atteindre les effets escomptés ?
  • Dans quelle mesure les effets du PNUD et le conseil ont contribué aux produits ?
  • La stratégie de partenariat du PNUD a-t-elle été appropriée et efficace ?
  • Quels facteurs ont contribué à l’efficacité ou l’inefficacité ?

 

Les questions relatives à l’évaluation doivent être approuvées par les utilisateurs et les autres parties prenantes, puis acceptées ou redéfinies en consultation avec l’équipe d’évaluation.

5. Méthodologie

Les Termes de référence peuvent suggérer une approche et une méthode globale pour effectuer l’évaluation, ainsi que des sources de données et des outils qui généreront probablement les réponses les plus fiables et les plus valides aux questions de l’évaluation dans les limites des ressources. Pour autant, les décisions finales relatives à l’élaboration spécifique et aux méthodes d’évaluation devraient émerger des consultations entre le groupe chargé des programmes, les évaluateurs et les principales parties prenantes quant à savoir ce qui est approprié et faisable afin de répondre au but et aux objectifs de l’évaluation et apporter une réponse aux questions de l’évaluation, aux limites de budget données, au délai et aux données existantes.

Les termes de référence peuvent par exemple décrire dans une annexe :

  • Sous quelle condition et de quelle manière l’évaluation a été envisagée dans l’élaboration de l’intervention.
  • Les détails du cadre de résultats et du cadre M&E (Suivi & Evaluation), y compris les indicateurs d’effet et de produit ainsi que les cibles pour mesurer la performance et le statut d’exécution, les points forts et les points faibles de l’élaboration M&E initiale et la qualité des données générées.
  • Disponibilité des données globales, régionales et nationales applicables.
  • Les listes et les descriptions des principales parties prenantes (utilisateurs de l’évaluation, bailleurs partenaires, personnel des organisations chargées de l’exécution et autres organisations, bénéficiaires, etc.) et leur accessibilité. 

 

6. Produits d’évaluation (prestations)

Cette section décrit les principaux produits d’évaluation que l’équipe d’évaluation sera chargée de produire.  Ces produits doivent comprendre, au minimum:

  • Un rapport initial d’évaluation – Un rapport initial doit être préparé par les évaluateurs avant d’entrer dans l’exercice de recollection de données d’évaluation à part entière. Il doit détailler la compréhension de l’évaluateur par rapport aux éléments qui sont évalués et pour quelle raison ils sont évalués, en indiquant comment chaque question de l’évaluation obtiendra une réponse à l’aide de : méthodes proposées, sources proposées de données et procédures de collecte des données. Le rapport initial doit inclure un programme détaillé des tâches, activités et prestations, en désignant un membre de l’équipe qui aura la responsabilité de chaque tâche ou produit. Le rapport initial offre au groupe chargé des programmes et aux évaluateurs une opportunité de vérifier qu’ils partagent la même compréhension au sujet de l’évaluation et également de clarifier tout malentendu au départ.
  • Projet de rapport d’évaluation – Le groupe chargé des programmes et les principales parties prenantes dans l’évaluation doivent réviser le projet de rapport pour veiller à ce que l’évaluation réponde aux critères de qualité requis (se reporter à l’Annexe 7).
  • Rapport d’évaluation final.
  • Evaluation des notes d’informations et autres éléments de connaissance ou participation dans les évènements de partage des connaissances, le cas échéant (voir le Chapitre 8).

7. Composition de l’équipe d’évaluation et compétences requises

Cette section détaille les aptitudes, compétences et caractéristiques spécifiques nécessaires chez l’évaluateur ou l’équipe d’évaluation propre à l’évaluation ainsi que la structure supposée et la composition de l'équipe d'évaluation, y compris les rôles et les responsabilités des membres de l'équipe.

La section doit également spécifier le type de données avérées (CV, échantillons de travail, références) qui seront attendues pour soutenir les demandes de connaissances, aptitudes et expérience. Les Termes de référence doivent explicitement réclamer l’indépendance de l’évaluateur vis à vis des organisations qui ont été impliquées dans l’élaboration, l’exécution ou le conseil concernant un aspect de l’intervention qui fait l’objet de l’évaluation.63  

8. Ethique d’évaluation

Les Termes de référence doivent explicitement mentionner que les évaluations dans le PNUD seront conduites conformément aux principes mis en avant dans les « Directives éthiques pour l’évaluation » de l’UNEG ’64 et doit décrire les problèmes essentiels que les évaluateurs doivent aborder dans l’élaboration et l’exécution de l’évaluation, y compris l’éthique d’évaluation et les procédures permettant de sauvegarder les droits et la confidentialité des personnes fournissant les informations, par exemple : mesures pour garantir la conformité avec les codes juridiques régissant les zones telles que les dispositions pour collecter et rapporter les données, particulièrement les autorisations nécessaires pour interviewer ou obtenir des informations au sujet des enfants et des adolescents ; dispositions permettant de stocker et de garder la sécurité des informations collectées et protocoles permettant de garantir l’anonymat et la confidentialité.

9. Modalités d’exécution

Cette section décrit l’organisation et la structure de gestion de l’évaluation et définit les rôles, les principales responsabilités et les lignes d’autorité de l’ensemble des parties impliquées dans le processus d’évaluation. Les modalités d’exécution sont destinées à clarifier les attentes, éliminer les ambiguïtés et faciliter un processus d'évaluation efficace.

La section doit décrire les rôles et responsabilités spécifiques des évaluateurs, y compris ceux des membres de l’équipe, du Responsable d’activités en évaluation, de la direction du groupe chargé des programmes de lancement et des principales parties prenantes. La composition ainsi que les rôles supposés et les responsabilités des membres de la Commission consultative ou autres entités d’assurance qualité et les modalités de travail doivent également être rendus explicites. En cas d’évaluation commune, les rôles et les responsabilités des agences participantes doivent être clarifiés. Les sujets à prendre en compte comprennent : les lignes d’autorité, les lignes de et les processus d’homologation ainsi que les considérations logistiques, comme par exemple comment l'espace bureau, les fournitures, l'équipement et les matériaux seront fournis, et les processus et la responsabilité pour approuver les prestations.
10. Calendrier du processus d’évaluation

Cette section énumère et décrit l'ensemble des tâches et prestations dont les évaluateurs ou l’équipe d’évaluation seront responsables, ainsi que celles impliquant le bureau de lancement, en indiquant pour chacun la date prévue ou le calendrier (par ex. plan de travail, accords, briefings, projet de rapport, rapport final) ainsi que la personne responsable de sa réalisation. L’échéancier des activités suivantes doit au minimum présenter:

  • Etude sur dossier
  • Instructions aux évaluateurs
  • Finalisation de l’élaboration et des méthodes d’évaluation et préparation du rapport initial détaillé
  • Mission d’évaluation interne (visites sur le terrain, entretiens, questionnaires)
  • Préparation du projet de rapport
  • Réunion des parties prenantes et révision du projet de rapport (pour l’assurance qualité)
  • Incorporation des commentaires et finalisation du rapport d’évaluation

De plus, les évaluateurs peuvent être amenés à soutenir les efforts du PNUD en matière de partage et de diffusion des connaissances (voir le chapitre 8). Les formats requis pour les rapports initiaux, les rapports d’évaluation et les autres prestations doivent être inclus dans les annexes des Termes de référence pour que l’évaluation soit lancée. Cette section doit également mentionner le nombre de jours ouvrés à donner à chaque membre de l’équipe d’évaluation et la période durant laquelle il sera engagé dans le processus d’évaluation (par ex. 30 jours ouvrés sur une période de trois mois).
11. Coût

Cette section doit indiquer le montant total en dollars et les autres ressources disponibles pour l’évaluation (frais de consulting, voyage, indemnités journalières, etc.). Il ne s’agit pas d’un budget détaillé mais il doit y  figurer des informations suffisantes pour que les évaluateurs puissent proposer une conception d'évaluation faisable sans dépasser les limites en termes de délai et de ressources disponibles. Si le montant disponible n’est pas suffisant pour garantir la bonne qualité des produits d’évaluation, des discussions peuvent avoir lieu entre les évaluateurs et le groupe d’exécution en amont du processus.

12. Annexes des termes de référence

Les annexes peuvent être utilisées pour fournir des détails supplémentaires sur l’historique et les exigences au sujet de l’évaluation afin de faciliter la mission des évaluateurs. Voici quelques exemples :

  • Cadre des résultats de l’intervention et Théorie de changement – Fournit des informations plus détaillées sur l’intervention en cours d’évaluation.
  • Principales parties prenantes et principaux partenaires – Une liste des principales parties prenantes et autres individus devant être consultés, ainsi qu’une indication de leur affiliation et pertinence pour l’évaluation et les coordonnées. Cette annexe peut également proposer des sites à visiter. 
  • Documents à consulter – Une liste des documents importants et des pages Internet que les évaluateurs doivent lire au début de l’évaluation et avant de finaliser l’élaboration de l’évaluation et le rapport initial. Cette liste doit être limitée aux informations essentielles dont l’équipe d’évaluation a besoin. Les sources de données et les documents peuvent comprendre :
    • Des documents de stratégie nationale adaptés
    • Des documents stratégiques et d’autres documents de planification (par ex. documents relatifs au programme et au projet)
    • Plans de suivi et indicateurs
    • Arrangements de partenariat (par ex. accords de coopération avec les gouvernements ou les partenaires)
    • Evaluations et appréciations précédentes
    • Politique d’évaluation du PNUD, normes UNEG et autres documents relatifs aux politiques
    • Format requis pour le rapport initial
  • La matrice d’évaluation (suggérée comme prestation à inclure dans le rapport initial) – La matrice d’évaluation est un outil que les évaluateurs créent comme carte et référence pour planifier et conduire une évaluation. Elle sert également d’outil utile pour résumer et présenter visuellement l’élaboration et la méthodologie de l’évaluation pour les discussions avec les parties prenantes. Elle détaille les questions de l’évaluation auxquelles l’évaluation va répondre, les sources de données, la collecte des données, les outils d’analyse ou les méthodes appropriées pour chaque source de données, ainsi que la norme ou la mesure par l’intermédiaire de laquelle chaque question sera évaluée. (Voir tableau A.)

Tableau A – Exemple de matrice d’évaluation

Critères d’évaluation appropriés

Questions clés

Sous-questions spécifiques

Sources de données

Méthodes / Outils de collecte des données

Indicateurs/ Norme de réussite

Méthodes pour analyser les données

 

 

 

 

 

 

 

 

 

 

 

 

 

 


 

 

 

  • Le programme des activités, jalons et prestations – Basé sur calendrier présent dans les Termes de référence, les évaluateurs présentent un programme détaillé.
  • Le format requis pour le rapport d’évaluation – Le rapport final doit inclure, mais pas obligatoirement se limiter à, les éléments mis en avant dans les critères de qualité des rapports d’évaluation (voir l'Annexe 7).
  • Le code de conduite – Les unités de programmes du PNUD demandent que chaque membre de l’équipe d’évaluation lise attentivement, comprenne et signe le « Code pour les évaluateurs dans le système des NU », qui est disponible en pièce jointe dans le rapport d’évaluation.