Annexe 7. Modèle de rapport d’évaluation

Le modèle de rapport d’évaluation est destiné à servir de Guide pour préparer des rapports d’évaluation significatifs, utiles et crédibles qui répondent aux normes de qualité. Il ne prescrit pas un format définitif détaillé section par section que tous les rapports d’évaluation doivent respecter. Au contraire, il suggère le contenu devant être inclus dans un rapport d’évaluation de qualité. Les descriptions qui suivent proviennent des « Normes pour l’évaluation dans le système des NU » et des « Normes éthiques pour les évaluations » de l’UNEG.66

Le rapport d’évaluation doit être complet et organisé de manière logique. Il doit être rédigé clairement et être compréhensible pour le public visé. Dans un contexte national, le rapport doit être traduit dans les langues locales autant que faire se peut (voir le Chapitre 8 pour plus d’informations). Le rapport doit comporter les éléments suivants :

Titre et pages de démarrage – Doivent fournir les informations de base suivantes :

  • Nom de l’intervention d’évaluation
  • Calendrier de l’évaluation et date du rapport
  • Pays de l’intervention d’évaluation
  • Noms et organisations des évaluateurs
  • Nom de l’organisation initiant l’évaluation
  • Remerciements

Table des matières – Doit toujours inclure les encadrés, schémas, tableaux et annexes avec les références des pages.

Liste des acronymes et abréviations

Document de synthèse – une section indépendante de deux ou trois pages qui doit :

  • Décrire brièvement l’intervention de l’évaluation (le(s) projet(s), programme(s), politiques ou autre intervention) qui a été évaluée.
  • Expliquer le but et les objectifs de l’évaluation, y compris le public de l’évaluation et les utilisations souhaitées.
  • Décrire le principal aspect de l’approche et des méthodes d’évaluation.
  • Résumer les principales déductions, conclusions et recommandations.

Introduction - Elle doit:

  • Expliquer pour quelle raison l’évaluation a été menée (le but), pour quelle raison l’intervention est évaluée à ce moment précis et pour quelle raison elle a abordé ces questions.
  • Identifier le public primaire ou les utilisateurs de l’évaluation, ce qu’ils souhaitaient retirer de l'évaluation et pourquoi et comment ils pensent utiliser les résultats de l'évaluation. 
  • Identifier l’intervention de l’évaluation (le(s) projet(s), programme(s), politiques ou autre intervention-voir la section suivante sur l’intervention). 
  • Familiariser le lecteur avec la structure et le contenu du rapport et comment les informations contenues dans le rapport vont répondre aux buts de l’évaluation et satisfaire les besoins d’informations des utilisateurs présumés du rapport.

Description de l’intervention - Fournit la base pour que les utilisateurs du rapport puissent comprendre la logique et évaluer les mérites de la méthodologie d’évaluation, et également comprendre l’applicabilité des résultats de l’évaluation. La description doit fournir suffisamment de détails pour que l’utilisateur du rapport puisse trouver du sens à l’évaluation. La description doit :

  • Décrire ce qui est évalué, qui cherche à en bénéficier, et le problème ou le sujet qu’elle cherche à aborder.
  • Expliquer le modèle des résultats attendus ou le cadre des résultats, les stratégies d’exécution et les principales hypothèses définissant la stratégie.
  • Relier l’intervention aux priorités nationales, aux priorités du PCNUAD (Plan cadre des NU pour l’aide au développement), aux cadres de financement pluriannuels d’entreprise ou aux plans d’objectifs stratégiques, ou autres plans ou objectifs spécifiques au pays.
  • Identifier la phase dans l’exécution de l’intervention et tout autre changement important (par ex. plans, stratégies, cadres logiques) qui sont survenus au cours du temps, et expliquer les implications de ces changements pour l’évaluation.
  • Identifier et décrire les principaux partenaires impliqués dans l’exécution et leurs rôles.
  • Décrire la portée de l’intervention, comme le nombre de composants (par ex. phases d’un projet) et la taille de la population cible pour chaque composant.    
  • Indiquer les ressources totales, y compris les ressources humaines et les budgets.
  • Décrire le contexte des facteurs sociaux, politiques, économiques et institutionnels, ainsi que le paysage géographique au sein duquel l’intervention opère et expliquer les effets (défis et opportunités) que ces facteurs représentent pour son exécution et ses réalisations.
  • Désigner les faiblesses de conception (par ex. logique d’intervention) ou d’autres contraintes d’exécution (par ex. limitations des ressources). 

Etendue de l’évaluation et objectifs – Le rapport doit fournir une explication claire quant à l’étendue, aux principaux objectifs et principales questions liés à l’évaluation.

  • Etendue de l’évaluation – Le rapport doit définir les paramètres de l’évaluation, par exemple, la durée, les segments de la population cible incluse, la zone géographique incluse et quels composants, produits ou effets ont été ou pas évalués.
  • Objectifs de l’évaluation – Le rapport doit détailler les types de décisions que les utilisateurs de l’évaluation vont prendre, les sujets qu’ils devront prendre en compte pour prendre ces décisions et ce vers quoi l’évaluation devra tendre afin de contribuer à ces décisions.  
  • Critères d’évaluation – Le rapport devra définir les critères d’évaluation ou les normes de performance utilisés67. Le rapport devra expliquer les principes de sélection des critères spécifiques utilisés dans l’évaluation.
  • Questions relatives à l’évaluation  - Les questions relatives à l’évaluation définissent les informations que l’évaluation va générer. Le rapport devra détailler les principales questions relatives à l’évaluation abordées par l’évaluation et expliquer comment les réponses à ces questions abordent les besoins en informations des utilisateurs.

Approche et méthodes d'évaluation68—Le rapport d’évaluation devra décrire en détails les approches méthodologiques, méthodes et analyses sélectionnées ; les principes de leur sélection ; et comment, avec les contraintes de temps et d’argent, les approches et méthodes utilisées ont générées des données qui ont aidé à répondre aux questions de l’évaluation et ont atteint les objectifs d’évaluation. La description devra aider les utilisateurs du rapport à juger des mérites des méthodes utilisées dans l’évaluation et de la crédibilité des déductions, conclusions et recommandations. La description de la méthodologie devra inclure des discussions sur chacun des points suivants :

  • Sources de données – Les sources d’informations (documents révisés ou parties prenantes), les principes de leur sélection et la manière dont les informations obtenues répondent aux questions relatives à l’évaluation.
  • Echantillon et cadre d’échantillon – Si un échantillon a été utilisé : la taille de l’échantillon et les caractéristiques ; les critères de sélection de l’échantillon (par ex. femmes célibataires, de moins de 45 ans) ; le processus de sélection de l’échantillon (par ex. aléatoire, dirigé) ; le cas échéant, comme les groupes de comparaison et de traitement ont été attribués ; et dans quelle mesure l’échantillon est représentatif de la totalité de la population cible, y compris des discussions sur les limitations de l’échantillon pour généraliser les résultats.
  • Procédures et instruments de collecte de données – Méthodes ou procédures utilisées pour collecter les données y compris des discussions sur les instruments de collecte de données (par ex. protocoles d’entretien), leur caractère approprié pour la source de données et les données avérées de leur fiabilité et leur validité.
  • Normes de performance69—La norme ou la mesure qui sera utilisée pour évaluer les performances relatives aux questions d’évaluation (par ex. indicateurs nationaux ou régionaux, échelles de notation).
  • Participation de la partie prenante – La participation des parties prenantes dans l’évaluation et la manière dont le niveau d’implication a contribué à la crédibilité de l’évaluation et aux résultats. 
  • Considérations éthiquesLes mesures prises pour protéger les droits et la confidentialité des informants (voir les ‘Directives éthiques pour les évaluateurs’ de l’UNEG pour avoir plus d’information). 70
  • Informations relatives à l’historique sur les évaluateurs – La composition de l’équipe d’évaluation, l’historique et les compétences des membres de l’équipe, et la pertinence du mélange de compétences techniques, la parité hommes-femmes et la représentation géographique pour l’évaluation.  
  • Principales limitations de la méthodologie – Les principales limitations de la méthodologie devront être identifiées et abordées dans des discussions ouvertes en ce qui concerne leurs implications pour l’évaluation, ainsi que les étapes prises pour mitiger ces limitations.

Analyse des données – Le rapport devra décrire les procédures utilisées pour analyser les données collectées pour répondre aux questions de l’évaluation. Il devra détailler les différentes étapes et phases de l’analyse qui ont été entreprises, y compris les étapes permettant de confirmer l’exactitude des données et les résultats. Le rapport devra également parler du caractère approprié des analyses vis-à-vis des questions d'évaluation. Les points faibles potentiels dans l’analyse des données et les manques ou limitations des données devront être abordés, y compris leur influence possible sur la manière dont les déductions peuvent être interprétées et les conclusions tirées.

Déductions et conclusions – Le rapport devra présenter les déductions de l’évaluation basées sur l’analyse et les conclusions tirées des déductions.

  • Déductions – Elles doivent être présentées comme des affirmations des faits qui sont basées sur l’analyse des données. Elles doivent être structurées autour des questions et les critères d’évaluation de sorte que les utilisateurs du rapport puissent facilement faire le lien entre ce qui a été demandé et ce qui a été trouvé. Les variances entre les résultats prévus et les résultats réels doivent être expliquées, ainsi que les facteurs affectant l’obtention des résultats attendus. Les hypothèses ou les risques dans l’élaboration du projet ou du programme qui ont affecté ultérieurement l’exécution doivent être développés.
  • Conclusions – Elles doivent être complètes et équilibrées, et mettre en lumière les atouts, les points faibles et les réalisations de l’intervention. Elles doivent être bien étayées par les faits avérés et associées de manière logique aux déductions de l’évaluation. Elles doivent répondre aux principales questions de l’évaluation et fournir des aperçus sur l’indentification des et/ou les solutions aux problèmes ou sujets importants pertinents à la prise de décision des utilisateurs présumés.

Recommandations  - Le rapport doit fournir des recommandations pratiques et réalisables à l’attention des utilisateurs présumés du rapport au sujet des mesures à mettre en place ou des décisions à prendre. Les recommandations doivent être spécifiquement soutenues par les faits avérés et reliées aux déductions et aux conclusions autour des principales questions abordées par l’évaluation. Elles doivent aborder la durabilité de l’initiative et commenter le caractère approprié de la stratégie de sortie du projet, le cas échéant.

Enseignements tirés – Si besoin, le rapport doit inclure une discussion sur les enseignements tirés de l'évaluation, soit les nouvelles connaissances acquises à partir de la circonstance particulière (intervention, contexte, réalisation, même au sujet des méthodes d’évaluation) qui sont applicables à un contexte similaire. Les enseignements doivent être concis et basés sur des déductions spécifiques présentées dans le rapport.

Annexes du rapport – Les annexes suggérées doivent inclure les éléments suivants afin de fournir à l’utilisateur du rapport un historique complémentaire et des détails d’ordre méthodologique qui renforcent la crédibilité du rapport. 

  • Termes de référence pour l’évaluation
  • Documentation supplémentaire relative à la méthodologie, comme la matrice d’évaluation et les instruments de collecte des données (questionnaires, Guides d’entretien, protocoles d’observation, etc.) si besoin
  • Listes des personnes ou groupes interviewés ou consultés et des sites visités
  • Liste des documents d’aide révisés
  • Modèle des résultats ou cadre des résultats du projet ou du programme
  • Tableaux de résumé des déductions, comme les tableaux présentant les progrès vers les produits, les cibles et les objectifs relatifs aux indicateurs établis
  • Biographies succinctes des évaluateurs et justification de la composition de l’équipe
  • Code de conduite signé par les évaluateurs