6.2 Étapes clés des évaluations décentralisées

Le processus des évaluations décentralisées, mises en œuvre par les unités de programme adjudicatrices, comprend les étapes suivantes (voir encadré 33 et la liste de contrôle page 150).

Première étape : Pré-évaluation : Mise en œuvre du processus d´évaluation

Vérification de l´évaluabilité, ou de la disposition pour l´évaluation

Avant de mettre en œuvre officiellement un processus d´évaluation, il est recommandé aux unités de programmes du PNUD et aux parties prenantes, impliquées dans le développement d´un plan d´évaluation (voir chapitre 3) de vérifier si l´objet de l´évaluation est prêt à être évalué. Cela implique de déterminer si l´évaluation proposée est : toujours pertinente et réalisable telle qu´elle a été planifiée, destinée à compléter l´analyse précédente, et susceptible d´apporter une valeur à l´information existante et aux autres évaluations planifiées et futures par le gouvernement et les autres partenaires.
En outre, les unités de programmes du PNUD devraient réviser la matrice de résultats, qui constitue la base des évaluations. Étant donné que le modèle a été effectué à l´étape de planification (voir chapitre 2), il est possible que des changements aient eu lieu dans le contexte du développement ou de la stratégie de partenariat pendant la mise en œuvre. C´est pourquoi, avant de lancer officiellement une évaluation, les unités de programme, les partenaires clés et les parties prenantes devraient peut être procéder à une révision et une actualisation du modèle et y ajouter l´information supplémentaire reflétant les changements survenus. Le modèle des résultats devrait être actualisé tout au long de la vie du programme, étant donné qu´il permet aux évaluateurs et à d´autres personnes de comprendre le résultat, les changements qui ont eu lieu, ainsi que les facteurs qui sont susceptibles de contribuer aux résultats.

La liste de contrôle ci-dessous est destinée à aider les unités de programmes du PNUD et les parties prenantes à déterminer le degré de préparation pour l´évaluation.

Si le contexte socio-économique ne permet pas à l´équipe de mener une évaluation de manière significative, l´administration du PNUD et les parties prenantes nationales, peuvent décider d´attendre que l´environnement soit favorable à une évaluation sûre. Dans les situations de conflits, de telles décisions seront prises en se basant sur des analyses fiables et actuelles de la situation, de façon à ce que l´évaluation soit pertinente dans un contexte instable de crise. Les facteurs tels que les situations de sécurité (sécurité des évaluateurs, du personnel du PNUD impliqué et des personnes interviewées) et l´impact potentiel de l´évaluation sur des tensions existantes devraient être scrupuleusement appréciés.

Dans le cas d´une amélioration nécessaire concernant le modèle ou le cadre des résultats, le PNUD peut réunir les parties prenantes concernées afin de les aider à se perfectionner, grâce à la révision et à la formulation claire des résultats escomptés, des produits et des indicateurs. Le PNUD pourra également procéder à une collecte rapide de données de première importance grâce à des enquêtes et à un examen sur documents. Cela représente en outre une occasion d´établir des données de référence, peut être non disponibles au moment de la planification.
 
S´il est décidé d´entreprendre une évaluation, toutes les parties concernées devraient en être informées afin d´assurer l´adhésion, la crédibilité et la transparence de celle-ci. En situation de conflits, faire en sorte que les agents concernés soient dûment contactés et informés au début du processus d´évaluation est crucial pour assurer l´appropriation de l´action prochaine.

Deuxième étape : Préparation

Définition de la structure de gestion d´une évaluation, des rôles et des responsabilités

Une structure d´organisation et de gestion pour l´évaluation devrait être clairement définie, et les rôles et responsabilités des acteurs clés devraient être déterminés. Le tableau 25 présente brièvement les rôles et responsabilités des commissaires de l´évaluation (PNUD), des partenaires, des évaluateurs et des parties prenantes au sein du processus d´évaluation. Le schéma 16 expose la structure de gestion.

Tableau 25. Rôles clés et responsabilités au sein du processus d´évaluation

Le PNUD et les parties prenantes de l´évaluation devraient nommer un responsable de l´évaluation, qui assumera  les responsabilités quotidiennes ayant trait à la gestion de l´évaluation et sera le lien entre les différents acteurs clés. Dans la mesure du possible, un spécialiste d´évaluation ou de S&E devrait assumer ce rôle au sein de l´unité de programme afin de renforcer l´indépendance de l´action par rapport aux personnes directement responsables de l´objet d´une évaluation. En vue d´assurer un lien solide entre le programme ou le projet évalué et l´évaluation, le responsable désigné devrait travailler étroitement avec une équipe compétente du programme ou du projet. En l´absence d´un tel spécialiste, un agent de programme du PNUD assumera ce rôle.

L´appropriation nationale signifie que les partenaires et les parties prenantes clés assument un rôle essentiel dans le processus d´évaluation depuis le début de celle-ci. Chaque évaluation devrait disposer d´un groupe de référence, composé de parties prenantes clés, collaborant étroitement avec le responsable de l´évaluation, afin  d´orienter le processus. La plupart des programmes et des projets gérés par le PNUD, disposent déjà d´un mécanisme et d´une structure garantissant un niveau convenable d´engagement et d´appropriation de la part des parties prenantes et des partenaires. Si une telle entité - par exemple un groupe de pilotage, un programme, un conseil de résultat ou de projet ou un groupe thématique - existe déjà, des membres de ces conseils et autres parties prenantes destinées à une évaluation particulière peuvent constituer le groupe de parties prenantes de l´évaluation, c´est à dire, le groupe de référence. Tant qu´une structure existante permettra un niveau convenable de participation des parties prenantes au sein du processus d´évaluation, il ne sera pas nécessaire de créer une nouvelle structure. S´il n´existe pas de structure, un processus d´identification devrait être mis en œuvre afin de déterminer les parties prenantes clés pour une évaluation particulière. En situation de crise, il est peu probable qu´une structure formelle opérationnelle existe. Si elle se crée dans de telles circonstances, il est important de s´assurer que la représentation est équilibrée, afin de ne favoriser aucun groupe de personnes au sein de la structure, et d´éviter les tensions entre les différents groupes de personnes.

Chaque évaluation devrait également disposer d´un mécanisme veillant à la qualité du processus et des produits de l´évaluation, tel que le mandat et les rapports d´évaluation. Les responsables des unités de programmes du PNUD sont, en fin de compte, responsables de la qualité du processus d´évaluation et des produits et ont le devoir de rendre compte de celle-ci. L´expertise nécessaire pourra être trouvée auprès des conseillers d´évaluation dans des centres régionaux du PNUD et au sein du système des NU dans le pays ou les pays voisins, ainsi que dans les associations d´évaluation nationales et régionales et les organismes de recherche (voir la liste de ces associations en Annexe 4).

Élaboration des termes de référence

Les termes de référence définissent la portée, les exigences et les attentes de l´évaluation et servent d´orientation et de point de repère tout au long de l´évaluation. Alors que le premier projet des termes de référence est généralement du ressort du bureau de délégation, les parties prenantes clés et les partenaires de l´évaluation devraient se consulter pour élaborer des termes de référence de l´évaluation, afin de s´assurer que leurs problèmes sont abordés et que la plupart du public de l´évaluation aura accès aux résultats de l´évaluation, s´ils sont pertinents et utiles. Des conseillers d´évaluation régionaux et autres conseillers suffisamment compétents en la matière peuvent émettre des commentaires sur le projet de termes de référence afin de garantir son adéquation aux standards de qualité. 
Des termes de référence de qualité devraient être explicites et ciblés. Une mission claire pour l´équipe d´évaluation devrait y figurer, présentant l´objet à évaluer et la raison de l´évaluation, ainsi que les personnes impliquées dans le processus d´évaluation et les produits escomptés. Chaque terme de référence sera propre aux circonstances particulières et aux objectifs de l´évaluation. Dans la mesure où les termes de référence jouent un rôle essentiel dans l´établissement des critères de qualité et dans l´utilisation du rapport d´évaluation, il est conseillé d´y accorder un temps suffisant. Des conseils supplémentaires sont fournis au chapitre 7 et un modèle est proposé en Annexe 3.
Les résultats, le projet, le domaine thématique et toute autre initiative choisis pour l´évaluation ainsi que le calendrier, l’objet, la durée et la portée de l´évaluation comportent l´essentiel du contenu des termes de référence. Néanmoins, étant donné qu´une évaluation n´est pas en mesure d´aborder tous les problèmes, l´élaboration des termes de référence implique des choix stratégiques concernant la priorité, les paramètres et les résultats de l´évaluation, à la portée des ressources disponibles.

Organisation de la documentation pertinente

Une fois la portée de l´évaluation définie, le responsable de l´évaluation, avec l´aide des parties prenantes clés, procède à la réunion de la documentation basique qui sera mise à disposition de l´équipe d´évaluation. Un travail de bureau préliminaire pourra avoir lieu afin de réunir l´information concernant les activités et les produits des partenaires, l´assistance précédente apportée par le PNUD, et la situation actuelle du projet, du programme ou de la réalisation. Le tableau 26 présente les différentes sources d´information susceptibles d´être utiles à une équipe d´évaluation.

Tableau 26. Sources d´information pour l´équipe d´évaluation

Recrutement des évaluateurs

Le PNUD recrute les évaluateurs grâce à un processus compétitif et transparent, conformément aux normes et aux règlementations d´appel d´offre. Les domaines de compétences à considérer lors de la constitution de l´équipe sont les suivants :

• Expérience et compétences démontrées dans la conduite d´évaluation
• Une connaissance technique et une expérience dans les domaines thématiques du PNUD, avec une spécialisation correspondant au thème spécifique de l´évaluation, et aux sujets tels que la parité des sexes, l´approche fondée sur les droits, et le renforcement de la capacité.
• Une connaissance de la situation et du contexte national
• Des compétences en matière de gestion axée sur les résultats
• Une pratique des processus de prise de décision (élaboration, adoption et mise en œuvre) si l´évaluation touche à des questions d´orientation et de concertation sur l´action à mener.

Les organismes, entreprises ou évaluateurs individuels, chargés de l´évaluation externe, peuvent se trouver au niveau national ou international ou une combinaison des deux. Les avantages et les inconvénients de collaborer avec des entreprises ou des évaluateurs particuliers sont comparés en Annexe 5. Il est recommandé de disposer d´une équipe formée d´au moins deux évaluateurs. Cela permettra aux membres de l´équipe de comparer leurs notes, de vérifier l´exactitude de l´information collectée et relevée, de diviser leurs efforts pour interviewer davantage de personnes et de confronter leurs idées. En outre, les équipes devraient, dans la mesure du possible, respecter la parité hommes-femmes et être réparties de manière égale géographiquement.

Outre la compétence des évaluateurs, la répartition géographique de l´équipe et la parité entre les sexes au sein de celle-ci, la préservation de l´indépendance de l´opération d´évaluation devrait être envisagée. Le concept d´indépendance implique impartialité et absence de conflits d´intérêts. Les conflits d´intérêts potentiels peuvent être abordés au moment du recrutement des membres de l´équipe de l´évaluation, et l´impartialité peut être garantie tout au long de l’élaboration, de l´analyse et de la mise en œuvre de l´évaluation. Un conflit d´intérêt lors du recrutement des évaluateurs peut être défini comme une situation dans laquelle, en raison de l´historique professionnel d´une personne ou de possibles engagements futurs, le consultant n´est pas en mesure de fournir une analyse objective et impartiale de l´objet de l´évaluation (voir encadré 34).

Une bonne pratique est de partager le CV des candidats potentiels avec l´ensemble des parties prenantes et des partenaires avant l´engagement. Elle permettrait de s´assurer qu´il n´y ait pas de conflit d´intérêt potentiel ou d´objection au recrutement. Vérifiez les références en consultant les collègues et les partenaires ayant travaillé avec les candidats antérieurement, afin de vous assurer de leurs compétences en tant qu´évaluateurs.

Troisième étape : Gestion de la conduite de l´évaluation

Instructions et soutien apporté à l´équipe d´évaluation

La préservation de l´indépendance de l´évaluation conduit souvent à la conclusion erronée qu´il ne faut pas intervenir au sein des équipes d´évaluation. Au contraire, le succès de l´évaluation dépend du degré de coopération avec l´entité adjudicatrice et du soutien apporté par celle-ci. Les rôles clés des entités adjudicatrices et du responsable des tâches sont définis ci-dessous :

• Communiquer des instructions aux évaluateurs concernant les objectifs et la portée de l´évaluation et indiquer les attentes du PNUD et de ses parties prenantes en termes de normes requises pour la qualité du processus et des produits de l´évaluation. Leur fournir des directives pertinentes en matière de politique d´évaluation, notamment les normes de qualité pour les rapports d´évaluation, la politique d´évaluation du PNUD et les règles et normes d´évaluation applicables au sein du système des NU de l´UNEG⁴⁴. Les évaluateurs devraient notamment approuver l´obligation de respecter les principes, exposés dans les directives éthiques pour les évaluateurs de l´UNEG, en signant le Code de conduite des évaluateurs au sein du système des NU.⁴⁵ 
• Assurer que toute l´information est mise à disposition des évaluateurs. Dans le cas de difficultés à obtenir l´information, qui est cruciale pour la conduite de l´évaluation, apporter le soutien nécessaire, dans la mesure du possible.
• Procurer aux évaluateurs, dans le cas où ces derniers en feraient la demande, une liste préliminaire avec les coordonnées des parties prenantes, que les évaluateurs devraient rencontrer. Les consultants de l´évaluation restent en définitive les responsables du choix des personnes à rencontrer et le PNUD ne peut s´opposer à leur décision. 
• Organiser un forum en vue de présenter l´équipe de l´évaluation aux partenaires et aux parties prenantes et de favoriser le premier contact. L´équipe d´évaluation peut également profiter de cette occasion pour accepter la contribution des parties prenantes au sujet de la formulation des questions d´évaluation, la clarification du mandat, et pour échanger des idées sur la manière dont l´évaluation sera conduite.
• Organiser des interviews, des réunions et des visites sur le terrain.
• Proposer des commentaires sur le plan de travail et le rapport initial (s´il existe), et en assurer la qualité, au moyen d´une méthodologie d´évaluation élaborée, préparée par l´équipe d´évaluation. 
• Garantir la sécurité des consultants, des parties prenantes et du personnel d´accompagnement du PNUD, notamment en situations de crises. Les membres de l´équipe d´évaluation devraient avoir passé les examens de sécurité des NU et devraient respecter les protocoles de sécurité et agir en conformité avec ces derniers.

Révision du rapport initial préparé par l´équipe d´évaluation

Les évaluateurs devraient élaborer un rapport initial, basé sur les termes de référence, les réunions initiales avec l´unité de programme du PNUD ou le responsable de l´évaluation et l´examen sur les documents. La description de l´objet de l´évaluation illustre la compréhension des évaluateurs de la logique ou de la théorie de la manière dont l´initiative est censée fonctionner. Y sont notamment décrits les stratégies, les activités, les produits et les résultats escomptés ainsi que les relations entre ces différents éléments. Le rapport initial devrait comporter entre autres :

• L´objet et la portée de l´évaluation : Objets de l´évaluation clairement exposés et principaux aspects ou éléments de l´initiative à examiner.
• Critères et questions de l´évaluation : Critères et les questions retenus lors de l´évaluation pour apprécier la performance et la logique.
• Méthodologie de l´évaluation : Description des méthodes de collecte d´information et des sources de données à utiliser, notamment la logique de leur sélection (manière d´informer sur l´avancement de l´évaluation) et leurs restrictions ; les outils de collecte d´information, les instruments, protocoles et discussions au sujet de la fiabilité et la validité de l´évaluation et du plan d’échantillonnage. Matrice d´évaluation : Identifie les questions clés au sujet de l´évaluation et la manière d´y répondre par les méthodes choisies (voir Annexe 3).
•  Un programme amendé des étapes clés, des prestations et des responsabilités.
• Une liste détaillée des exigences en matière de ressources associées aux activités de l´évaluation et aux prestations présentées dans le plan de travail.

Révision du projet de rapport d´évaluation

Suite à la présentation du premier projet de rapport d´évaluation, l´agent de coordination de l´évaluation et les parties prenantes de l´évaluation principales devraient s´assurer de la qualité de ce dernier et présenter leurs observations. Les unités de programme du PNUD peuvent éventuellement faire appel à des experts d´évaluation ou au groupe de conseillers afin d´apprécier la rigueur technique de l´évaluation. Le rapport d´évaluation devrait être structuré de manière logique ; contenir les conclusions fondées sur les résultats, les leçons et les recommandations et devrait être présenté de manière à ce que l´information soit accessible et compréhensible. Il devrait respecter les critères exposés dans l´encadré 35.

Les normes de qualité pour les rapports d´évaluation fournies en Annexe 7 peuvent être utilisées comme base pour apprécier la qualité du rapport. En cas de points faibles et de doutes sur la rigueur méthodologique, les unités de programme devraient demander aux évaluateurs de parfaire le rapport.
Selon la complexité des résultats de l´évaluation, l´unité de programme devrait envisager d´organiser une réunion, pour présenter le rapport aux partenaires et aux parties prenantes. Une interprétation commune des résultats sera ainsi assurée, le retour d´information sur le projet de rapport facilité et l´appropriation et l´utilisation future de l´évaluation favorisée. Un soin particulier devrait être apporté lorsque les observations des parties prenantes sont sollicitées, afin de ne pas compromettre l´indépendance des jugements formulés pendant l´évaluation. L´évaluation est une opération indépendante. Les observations devraient se limiter aux problèmes concernant la méthodologie appliquée (pour plus d´informations, voir chapitre 7 sur l’élaboration de l´évaluation) et les erreurs basées sur les faits et les omissions.

Quatrième étape : Utilisation de l´évaluation : réponse de gestion, partage et diffusion du savoir

Préparation de la réponse de gestion pour les évaluations décentralisées

En vue de garantir une utilisation efficace de l´évaluation, le PNUD a institutionnalisé un système de réponse de gestion (un modèle est fourni en Annexe 6). Les unités de programme sont responsables de la préparation d´une réponse de gestion concernant les problèmes clés et les recommandations soulevées lors des évaluations,  et de déterminer les actions de suivi, les unités chargées de la mise en œuvre et les délais estimés de ces actions. 
Afin de favoriser l´apprentissage et le partage du savoir, le processus de développement de la réponse de gestion devrait inciter toutes les parties prenantes de l´évaluation à réfléchir aux problèmes clés, aux résultats et aux recommandations. Durant ce processus, des actions de suivi, ainsi que les organismes et le calendrier correspondant à celles-ci, sont déterminés collectivement. Lors de la préparation de la réponse, le PNUD, les partenaires et les autres parties prenantes devraient non seulement prendre en considération les problèmes de gestion internes, tels que la mise en œuvre et le calendrier des ressources et des produits, mais aussi traiter les questions concernant les contributions du PNUD envers les résultats de développement et la focalisation sur les problèmes stratégiques.

La préparation d´une réponse de gestion ne devrait pas être considérée comme une activité unique. Les enseignements tirés du processus de la réponse de gestion devraient servir de documentation et de base de réflexion au moment de l’élaboration d´un nouveau projet ou programme ou lors de la définition de résultats à atteindre. Il existe souvent un manque de motivation à l´heure de préparer une réponse de gestion aux évaluations finales lorsque le projet est clos au niveau opérationnel. Cependant, le processus de développement d´une réponse de gestion aux évaluations de projets en phase terminale permet aux parties prenantes clés de réfléchir aux résultats des projets et d´en tirer des enseignements qui pourront être appliqués à d´autres projets. Cela permet également de satisfaire la volonté de rendre compte du PNUD, en étant réceptif aux résultats des évaluations et en se responsabilisant des actions de suivi. C´est pourquoi, la politique d´évaluation exige des réponses de gestion à toutes les évaluations sans tenir compte du statut de l´initiative qui était évaluée.

Partage et diffusion du savoir

Le processus d´évaluation ne s´achève pas à l´issue du rapport. En réalité, l´apprentissage et l´utilisation active du savoir provenant de l´évaluation est l´élément le plus important de l´évaluation. Le temps et les ressources exigées pour un suivi et un apprentissage efficaces devraient être affectés au moment de l’élaboration du programme et du projet.

Révision des évaluations avant le nouveau processus de planification

Les leçons tirées et le savoir provenant des évaluations devraient être révisés avec les parties prenantes nationales et les partenaires afin d´assurer leur incorporation à l’élaboration de nouveaux programmes et projets. Cette mise en application systématique des enseignements tirés des évaluations est un élément clé de la gestion axée sur les résultats. Pour plus d´information sur le partage et la diffusion du savoir provenant de l´évaluation, veuillez vous référer au chapitre 8.