6.3 Éléments clés du processus de l´évaluation conjointe

En principe, les étapes suggérées pour la planification et la conduite d´une évaluation conjointe sont celles de toute autre évaluation bien gérée. Cependant, il existe un certain nombre de questions spécifiques aux évaluations conjointes qui justifient une attention particulière.

Décision d´une évaluation conjointe. Existe-t-il une raison d´être?

Il est important d´évaluer si le programme ou le projet nécessite une évaluation conjointe. Pour cela, posez-vous les questions suivantes :

  • Le programme est-il orienté vers un résultat englobant plusieurs secteurs et agences?
  • Le programme est-il co-financé par plusieurs partenaires?
  • S´agit-il d´un sujet conflictuel, exigeant par conséquent  une approche objective?

En outre, il est possible qu´une étude au sujet du but de l´évaluation du programme soit nécessaire. Si l´évaluation du programme est réalisée dans le seul but de rendre compte, une évaluation conjointe à grande échelle n´est pas justifiée. Les restrictions temporelles pour la production d´un rapport d´évaluation peuvent également représenter un problème. Les évaluations conjointes ont tendance à être des processus plus lents, exigeants en outre de plus grands efforts de coordination. Les avantages et les inconvénients des évaluations conjointes devraient être soupesés aussi bien au niveau interne qu´avec les parties prenantes (voir Avantages et inconvénients des évaluations conjointes dans l´encadré 29).

Détermination des partenaires. Qui est important?

Les évaluations conjointes, comme toutes autres évaluations, reposent sur l´appropriation nationale et devraient contribuer, dans la mesure du possible, au développement de la capacité des parties prenantes. Elles contribuent également à faire entendre la voix de toutes les parties prenantes et à aider les partenaires à travailler ensemble pour évaluer les contributions d´un programme ou d´un projet.  Cependant, il est essentiel de déterminer les partenaires, au début de l´évaluation afin d´assurer leur implication et leur appropriation. Les partenaires pourraient être sélectionnés en fonction de l´origine des fonds, de l´identité des partenaires de mise en œuvre, ou à l´issu d´une recherche d´autres agences réalisant un travail similaire et qui, par conséquent, pourraient contribuer au résultat global de développement. Il est également important d´apprécier, à ce stade, les contributions potentielles des partenaires. Si, par exemple, un partenaire est impliqué dans de nombreuses autres activités, ou doit faire face à des contraintes extérieures, il n´est peut être pas le partenaire idéal avec lequel s´associer. Il est toujours important d´étudier l´objectivité que les partenaires peuvent ou non apporter, afin de garantir l´indépendance et l´impartialité de l´évaluation.

Choix d´une structure de gestion et division des tâches

Les structures de gestion et les systèmes de communication efficaces sont des éléments essentiels au bon fonctionnement des évaluations conjointes. Les suggestions suivantes s´inspirent de différentes sources du domaine de l´évaluation46 :

  • Définition de la structure de gestion : La structure recommandée est une structure à deux vitesses comportant un comité directeur supervisant le processus et un groupe de gestion plus restreint visant à s´assurer du bon fonctionnement de la mise en œuvre. Le comité directeur se compose en principe d´un représentant de chaque organisation partenaire et entité gouvernementale. Le comité directeur se réunira à des moments précis pour approuver les termes de référence et l´équipe d´évaluation, assurer la supervision de l´évaluation, introduire la cohérence dans les jugements d´évaluation définitifs, et se charger de l´utilisation des résultats. En fonction de la portée de l´évaluation conjointe, un groupe de gestion composé de représentants techniques des organisations ou des entités gouvernementales correspondantes devrait être crée. Le groupe de gestion désigne en principe une agence ou un particulier, pour agir en tant que responsable de l´évaluation et assurer le recrutement et la gestion de l´équipe d´évaluation. Il est du ressort des entités octroyant l´évaluation de déterminer les meilleures pratiques au sein de leur contexte particulier.
Encadré 36. Exemple de mesures de gestion adoptées pour une évaluation conjointe du PCNUAD
Dans le cas typique d´une évaluation du PCNUAD, les directeurs d´agences et les agents gouvernementaux clés sont susceptibles de faire partie d´un comité directeur, qui fournit une orientation globale au processus et en assure la conduite. Les agents de S&E et les agents techniques du groupe de gestion sont conjointement responsables de la rédaction des termes de référence ; ils doivent également assurer le recrutement des évaluateurs, avec qui ils collaborent régulièrement. Il est possible que le Bureau du Coordinateur Résident ou une autre organisation des NU soient désignés comme responsables d´évaluation, pour assurer la gestion quotidienne du processus d´évaluation et la coordination des agences qui y participent.
  • Définition de la division des tâches au sein du groupe de gestion : la direction de l´unité de programme du PNUD devrait s´entendre sur les procédures de prise de décision et sur la division des tâches avec d´autres partenaires, au début du processus d´évaluation. Cela implique le choix des personnes qui assumeront le rôle principal lors de chacune des étapes de l´évaluation à venir. Un processus de résolution de conflit devrait être crée pour traiter tout problème pouvant survenir.
Définition de la portée du travail

En principe, il est plus efficace que tous les partenaires d´une évaluation conjointe décident ensemble de la portée de l´évaluation. Certains sujets pratiques devraient être clarifiés, tels que la portée de l´évaluation, les problèmes à traiter et le calendrier de l´action. Cependant, cela n´est pas toujours possible étant donné la variété motivations qui conduisent à entreprendre une évaluation, telles que tirer des enseignements, établir une base pratique pour une réorientation de fond ou du financement, satisfaire les exigences politiques des pays donateurs ou respecter les contraintes institutionnelles particulières aux projets de grande envergure. 

  • Rédaction des termes de référence : Il est pratique de désigner une partie qui dirigera la rédaction des termes de référence. Ces derniers définissent la portée du travail et une fois rédigés, ils doivent être ensuite discutés et approuvés par les organisations partenaires. Il est important de satisfaire les intérêts de toutes les parties concernées par les termes de référence, dans la mesure du possible. Un programme commun qui définirait les priorités, cherchant à renforcer l´appropriation nationale tout en étant à la portée des possibilités, pourrait être envisagé.
  • Détermination des procédures à suivre : Dans la mesure où les organisations ont une approche différente de l´évaluation, il est important d´être flexible et de prévoir un temps d´adaptation pour faire face aux retards dus à ces différences. Deux approches communes sont possibles : accepter que l´évaluation soit gérée selon les systèmes et les procédures d´une agence, ou diviser l´évaluation en plusieurs parties et déterminer les systèmes utilisés pour chacune des parties.
Détermination des modalités de financement

Différentes modalités de financement sont possibles pour les évaluations conjointes.  Le PNUD préfère que les partenaires contribuent financièrement à l’évaluation dans le cadre d’un pool de fonds (similaire à un fonds d’affectation), géré par une agence et couvrant tous les coûts liés à l’évaluation. Une seconde possibilité serait que le (ou les) partenaire(s) finance(nt) certains éléments de l’évaluation et que le PNUD se charge des autres (une solution similaire à un financement parallèle). Cette option est moins avantageuse, dans la mesure où elle entraîne des coûts d´opération et de coordination.

Encadré 37. Négociation des modalités pour les évaluations conjointes

Ces modalités de financement mentionées antérieurement doivent se décider entre les gouvernements à l’élaboration du projet ou du programme, et des ressources nécessaires devraient être affectées dans le budget à l´évaluation conjointe. Si d´autres donateurs apportent une contribution financière, la décision devrait avoir lieu lors du développement du projet ou lors de la détermination du partage des coûts. Afin de faciliter les négociations entre les unités de programme du PNUD et les donateurs, le PNUD a préparé une clause pour l´évaluation dans les accords de partage des coûts avec une tierce partie.
 
Recrutement des évaluateurs

Plusieurs méthodes sont possibles pour sélectionner les experts participant à une évaluation conjointe. Une des possibilités est de charger l’un des partenaires de recruter l’équipe d’évaluation, en consultation avec les autres partenaires. Une autre possibilité est que chacun des partenaires fournisse ses propres experts. Dans certains cas, la méthode choisie est fonction des modalités de financement adoptées. Par exemple, si le mode de financement est un financement parallèle, chaque partenaire devrait désigner son propre expert pour faire partie de l’équipe. Dans le cas où l’équipe est composée des évaluateurs de chaque partie, ceux-ci peuvent avoir des difficultés à rendre compte à un acteur en particulier alors qu’ils sont membres de l’équipe commune. Pour résoudre ce problème, les responsables de l’évaluation de chaque institution impliquée devraient déterminer le responsable de l´équipe dès le début, ou charger une agence particulière de cette tâche et préciser clairement aux évaluateurs que l’indépendance de l’équipe est de rigueur et doit être respectée.

Stratégies de rapport et de diffusion

Les organisations suivent différentes pratiques quant à la décision finale du contenu du rapport.  En ce qui concerne les évaluations conjointes, le travail est facilité si les partenaires s´entendent sur le fait que : Ils ont la possibilité de corriger les erreurs de fait dans le rapport ; et s´il est impossible de résoudre les différends concernant les déductions et les conclusions, les points de vue divergents devraient néanmoins être inclus dans le rapport, et les conclusions et les recommandations devraient être du ressort des évaluateurs. Cependant, certaines mesures, telles que l´autorisation de conclusions séparées de l´évaluation, peuvent représenter un avantage pour les partenaires ayant une responsabilité de rendre compte.

Réponse de gestion, recommandations de suivi et de mise en œuvre

Tous les responsables doivent se rapporter aux déductions et aux recommandations de chaque rapport d´évaluation du PNUD. Cela peut, cependant, représenter un véritable défi en ce qui concerne les évaluations conjointes, étant donné que l´internalisation des déductions et la mise en œuvre des recommandations doivent se réaliser au niveau des organismes individuels et au niveau du partenariat entre ces derniers. C´est pourquoi, les partenaires doivent se mettre d´accord sur les actions à réaliser individuellement et conjointement, et décider d´un mécanisme de suivi qui assurerait un contrôle de l´état des changements mis en œuvre. Conformément aux exigences en matière de politique d´évaluation, il est possible que le PNUD retienne les recommandations qui lui semblent pertinentes et prépare une réponse de gestion basée sur celles-ci.