2.4 Finaliser le cadre de résultats (huitième prestation)

À cette étape du processus, les parties prenantes sont prêtes à convertir la carte des résultats en un cadre de résultats. Bien souvent, c’est un groupe plus restreint de participants qui se charge de cette opération. Le groupe élargi peut toutefois prendre part à la préparation d’un avant-projet de cadre en utilisant des méthodes simples et sans entrer dans le détail, les mécanismes et la terminologie de la GAR.

Élaborer le projet de cadre de résultats

Le tableau 5 propose un point de départ à la conversion de la carte des résultats en un projet de cadre pour les documents de projet ou de programme du PNUD et de l’UNCT. Il illustre la manière dont la terminologie et les questions générales qui sont employées lors de la planification doivent être traduites dans le langage commun que le PNUD et l’UNCT utilisent pour élaborer les programmes. Le tableau servira à élaborer un avant-projet de cadre de résultats avec l’ensemble ou la plupart des parties prenantes. Cet exercice peut se révéler particulièrement utile dans le cadre d’un projet ou lorsque le groupe des participants est hétérogène.

Tableau 5. Orientations générales pour l’élaboration d’un avant-projet de cadre de résultats

Questions et terminologie générale

Terminologie équivalente du PNUD et de la GAR

Termes : vision, but, objectif, réalisation à plus long terme, résultats à long terme
Questions : À quoi essayons-nous de parvenir ? Pourquoi travaillons-nous sur ce problème ? Quel est notre but global ?

Impact

Termes : résultat positif immédiat ou correspondant, conditions préalables, résultats à court et à moyen terme
Questions : Où voulons-nous être dans cinq ans ? Quels sont les éléments immédiats que nous essayons de changer ? Quels sont les éléments qui doivent être mis en place avant que nous puissions atteindre nos objectifs et avoir un impact ?

Effet

Termes : actions, programmes
Questions : Quels sont les éléments qui doivent être produits ou fournis par l’intermédiaire des projets ou des programmes pour que nous puissions obtenir nos résultats à court et à moyen terme ? Quels sont les éléments que les différentes parties prenantes doivent apporter ?

Produits

Termes : mesures
Questions : Que faut-il faire pour obtenir ces produits ?

Activités

Termes : mesure, mesure de la performance, norme de performance
Questions : Comment savoir si nous sommes sur la bonne voie pour parvenir à ce que nous avons planifié ?

Indicateurs17

Termes : source des données, preuves
Questions : De quelles informations avons-nous précisément besoin pour mesurer notre performance ? Comment allons-nous obtenir ces informations ? Combien cela va-t-il coûter ? Ces informations peuvent-elles faire l’objet d’un suivi ?

Moyens de vérification17

 
Établir des indicateurs et des résultats solides

Pour entreprendre cette tâche, il est plus aisé de s’entourer d’un groupe de personnes restreint et familiarisé avec la terminologie de la GAR. Il est en effet difficile d’avancer avec un groupe élargi, en raison du caractère technique de l’élaboration d’un cadre de résultats. Cependant, même en travaillant en petit groupe, l’information doit être partagée avec le groupe élargi en vue de son examen et de sa validation. Lors de cet exercice, les participants doivent procéder comme suit :

  • Utiliser le format du tableau 6.
  • Se reporter aux orientations ci-dessous pour établir les diverses composantes du cadre.
  • Remplir un tableau pour chaque résultat majeur. Chacun de ces résultats majeurs (effet) peut avoir un ou plusieurs impacts connexes. L’impact attendu doit être inscrit pour chaque résultat majeur (effet). De même, chaque réalisation donne lieu à un ou plusieurs produits, etc.

Des résultats de bonne qualité — c’est-à-dire des impacts, des effets, des produits, des activités et des indicateurs de progression bien établis — sont essentiels à la bonne tenue du suivi et de l’évaluation. Si les résultats ne sont pas clairs et si les indicateurs manquent ou sont mal conçus, la progression du suivi et de l’évaluation sera plus chaotique, et il sera plus difficile, pour les collaborateurs et pour les responsables, de déterminer dans quelle mesure le projet avance et comment prendre des mesures correctives.

Les termes de la GAR utilisés dans cette partie sont ceux qui ont été harmonisés par l’UNDG, en accord avec les définitions du Comité d’aide au développement de l’Organisation de coopération et de développement économiques (CAD/OCDE).

Résultats et chaîne de résultats

Jusqu’à cette étape, la planification a permis d’établir de nombreux résultats et d’élaborer une carte des résultats globale. Les résultats et la carte peuvent être convertis en une chaîne et un cadre de résultats en utilisant l’approche et la terminologie normalisées de la GAR.

En premier lieu, un « résultat » se définit comme un changement dans les conditions du développement qui soit descriptible ou mesurable et issu d’une relation de cause à effet. Différents niveaux de résultats permettent de rendre compte de différents niveaux de changement en matière de développement. La planification (voir partie 2.3) a conduit à l’élaboration de divers résultats désignés par les termes de vision, effets, résultats, conditions préalables, prérequis, actions, etc. Dans l’approche classique de la GAR, ils sont reliés entre eux par ce qu’il convient communément d’appeler une chaîne de résultats. Cette dernière nous renseigne essentiellement sur l’objectif des parties prenantes, leurs motivations et la manière dont ils vont procéder. La chaîne n’est pas très différente de la carte. Nous allons maintenant traduire les résultats dans le langage spécifique de la GAR et commencer à y ajouter des mesures de performance.

Comme le montre le projet de cadre de résultats (tableau 5), la vision et les objectifs à plus long terme, élaborés lors de la cartographie des résultats, constituent l’impact qui sera inscrit dans le cadre, les résultats positifs immédiats ainsi que certaines de leurs conditions préalables et certains des prérequis y figurent comme des réalisations, les conditions requises de niveau inférieur comme des produits, etc. Ces relations peuvent être illustrées (schéma 9) sous la forme d’une chaîne de résultats, où les conditions requises du niveau le plus bas sont désignées comme étant des ressources et celles du niveau le plus haut comme étant des impacts.

Schéma 9. La chaîne de résultats de la GAR

 

Énoncé d’impact
L’impact désigne les changements effectifs ou escomptés dans le développement humain, mesurés par le bien-être des individus. L’impact désigne généralement les changements dans la vie des personnes.

Le parachèvement des activités nous renseigne peu sur les changements dans les conditions du développement ou dans la vie des individus. Ce sont les résultats des activités qui sont significatifs. L’impact désigne les « grands » changements qui sont recherchés et représente la finalité sous-jacente du travail sur le développement. Au cours du processus de planification, il est important de replacer les actions ou les produits prévus dans le contexte de leur impact souhaité. Sans une vision claire de ce à quoi le projet ou le programme souhaite parvenir, il est souvent difficile de définir clairement les résultats. L’énonciation d’impact permet d’expliquer pourquoi le travail réalisé est important et peut constituer une source d’inspiration pour faire avancer les individus vers un avenir auquel ils contribuent par leurs activités.

Comme pour les réalisations, il est préférable, pour énoncer l’impact, d’utiliser un substantif comme « amélioration », « renforcement », « augmentation », « renversement » ou « réduction ». Ces termes sont liés au contexte social, économique et politique dans lequel vivent les individus, que ce soit au niveau mondial, régional, national ou local. L’impact est normalement formulé de manière à traduire les changements directs et importants de ces aspects sur le long terme — comme la réduction de la pauvreté ou l’amélioration de la santé et du bien-être, des conditions environnementales ou de la gouvernance. Ce sont généralement les OMD ou d’autres indicateurs régionaux et internationaux qui sont utilisés pour suivre la progression au niveau d’impact. 

Pour revenir à l’exemple de la carte des résultats (partie 2.3, étape 5), certains des impacts à plus long terme pourraient être la « hausse de la participation du public aux élections locales et nationales, et notamment parmi les femmes, les populations autochtones et les autres groupes traditionnellement marginalisés » et le « renforcement des processus démocratiques et la plus forte participation de l’ensemble des citoyens aux décisions qui affectent leur vie ». Ces impacts s’inscrivent dans la vision globale d’une société plus dynamique et démocratique.

Énoncé des effets

Les effets sont les changements effectifs ou recherchés dans les conditions du développement que les actions tentent de promouvoir.

Les effets représentent les changements recherchés dans les conditions du développement qui résultent de l’action des pouvoirs publics et des autres parties prenantes, dont les organisations internationales de développement telles que le PNUD. Il s’agit de résultats à moyen terme, obtenus grâce aux produits et à la contribution de divers partenaires et protagonistes tiers. Les effets offrent une vision claire de ce qui a changé ou va changer, au niveau mondial, régional, national ou local, au cours d’une période donnée. Ils sont généralement liés aux changements en matière de performance des institutions ou de comportement des individus ou des groupes. Normalement, les effets ne peuvent pas être obtenus par une seule organisation, et ne font pas l’objet d’une supervision directe par un directeur de projet.  
Puisque les effets occupent l’espace situé entre les produits et l’impact, il est possible d’en donner une définition selon divers niveaux d’ambition. C’est pourquoi certains documents évoquent des effets à des échéances immédiates, intermédiaires ou à plus long terme, ou à court, moyen et long terme. Les Nations Unies utilisent deux niveaux d’effet, qui sont liés et qui reflètent deux paliers d’ambition différents :

  • Les effets des PCNUAD
  • Les effets des programmes de pays ou d’une organisation

Les effets des PCNUAD constituent les résultats stratégiques de haut niveau qui sont attendus de la coopération du système des Nations Unies avec les pouvoirs publics et la société civile. Ils sont très ambitieux et représentent des changements dont l’importance s’approche de celle d’impact. Les effets des PCNUAD sont obtenus grâce à la combinaison des réalisations de niveau inférieur dans le cadre des programmes de pays. Ils nécessitent généralement la contribution de deux organisations ou plus, travaillant en étroite collaboration avec leurs partenaires des pouvoirs publics et de la société civile.

Les effets des programmes de pays constituent généralement le résultat de programmes de coopération ou de projets de grande envergure menés par une organisation et ses partenaires nationaux. Le succès des effets des programmes de pays dépend de l’engagement et des efforts déployés par les partenaires. 

Lors de l’élaboration de l’énoncé des effets, en vue de son intégration au document d’un programme du PNUD, les responsables et les collaborateurs sont encouragés à placer les effets à un niveau auquel le PNUD et ses partenaires (ainsi que les protagonistes tiers) peuvent vraisemblablement exercer une influence. En clair, si les objectifs nationaux visent des changements au niveau du pays, et que les effets des PCNUAD constituent des changements stratégiques de haut niveau dans les conditions du développement, alors les réalisations intégrées aux documents des programmes du PNUD doivent rendre compte des avantages comparatifs de la contribution du PNUD, et être formulées à un niveau permettant de démontrer que cette dernière peut vraisemblablement influer sur le succès de ces effets. Par exemple, si le PNUD soutient les pouvoirs publics et d’autres partenaires pour améliorer la capacité de l’autorité administrant les élections à mieux gérer les scrutins, la réalisation ne doit pas être énoncée comme étant « l’amélioration des capacités nationales », une expression qui couvre certes ce résultat, mais comme « l’amélioration des capacités des organisations administrant les élections ». La première option peut laisser entendre que toutes les administrations et tous les ministères connaissent une amélioration de leurs capacités, voire que ces dernières sont même renforcées pour les organisations qui ne sont pas liées aux pouvoirs publics. Si telle était réellement l’intention de départ, alors « l’amélioration des capacités nationales » serait une formulation exacte. Néanmoins, de manière générale, les réalisations des programmes du PNUD et des partenaires publics doivent donner un aperçu précis de la contribution du PNUD, tout en étant suffisamment large pour rendre compte des efforts déployés par les autres partenaires et les protagonistes tiers pour atteindre le changement recherché.

Idéalement, les effets devraient être formulés au moyen d’un substantif, tel que « amélioration », « renforcement » ou « augmentation », en lien avec un processus ou une institution au niveau mondial, régional, national ou local. Un effet ne doit pas être désigné comme le « soutien du PNUD à Y » ou encore le « conseil technique fourni en appui à Y », mais doit plutôt décrire le résultat des efforts déployés par le PNUD et les autres parties prenantes en faveur des habitants du pays concerné.

  • La formulation des effets doit éviter des termes tels que « aide / appui / supervision / renforcement / identification / suivi / préparation en faveur de X ou Y ».
  • De même, un effet  ne doit pas décrire la manière dont il est obtenu, et doit éviter des termes tels que « amélioration grâce à » ou « soutien au moyen de ».
  • Un effet doit être mesurable à l’aide d’indicateurs. Il est important que la formulation prenne en compte la nécessité de mesurer les progrès liés à l’effet et de vérifier le moment ou celui-ci a été obtenu. La réalisation doit donc être spécifique, mesurable, réalisable, pertinente et limitée dans le temps (modèle « SMART »).
  • Idéalement, l’énoncé des effets doit communiquer un changement dans le comportement individuel ou institutionnel ou dans la qualité de vie des individus, même si ce changement est modeste.
Schéma 10. Modèle « SMART » pour l’impact et les effets
S

Spécifique (Specific) : impact, effets et produits doivent utiliser la langue du changement — ils doivent décrire une situation spécifique dans l’avenir.

M

Mesurable (Measurable) : les résultats, qu’ils soient quantitatifs ou qualitatifs, doivent disposer d’indicateurs mesurables qui rendent possible l’évaluation de leurs succès ou de leur échec.

A

Réalisable (Achievable) : les résultats doivent correspondre aux capacités des partenaires.

R

Pertinent (Relevant) : les résultats doivent contribuer aux priorités définies dans le cadre du développement national.

T

Limité dans le temps (Time-bound: les résultats ne sont jamais illimités — une date est prévue pour leur accomplissement.

Les exemples suivants illustrent différents niveaux des effets:

  • Réforme du cadre politique, législatif et réglementaire pour étendre de manière substantielle la connectivité des technologies de l’information et de la communication (court à moyen terme).
  • Amélioration de l’accès des personnes démunies aux produits et aux services financiers dans les régions rurales (moyen à long terme).
  • Réduction de la violence domestique à l’égard des femmes dans cinq provinces d’ici 2014 (moyen à long terme).
  • Augmentation du volume des transactions régionales et intra-régionales d’ici 2015 (moyen à long terme).

Pour en revenir à l’exemple précédent sur les élections, l’effet du programme de pays pourrait être le « renforcement des processus et des systèmes d’administration des élections afin de promouvoir des scrutins libres et équitables » ou la « réforme des politiques et des systèmes d’administration des élections afin de garantir des scrutins plus libres et plus équitables et de favoriser la participation parmi les groupes marginalisés ».

Énoncé des produits

Les produits sont les résultats de développement à court terme générés par les activités liées ou non à un projet. Ils sont obtenus au moyen des ressources fournies et dans la limite de temps impartie (généralement moins de cinq ans).

Puisque les produits constituent les résultats les plus immédiats des activités d’un projet ou d’un programme, ils sont généralement ceux sur lesquels les pouvoirs publics, le PNUD ou le directeur de projet ont le plus d’influence. Il est important de définir les produits qui sont susceptibles d’apporter une contribution significative au succès des effets. 

Lors de la formulation des produits, les questions suivantes doivent être posées :

  • De quels types de politiques, d’orientations, d’accords, de produits et de services avons-nous besoin pour accomplir un effet donné ?
  • Ces éléments sont-ils réalisables et pouvons-nous les contrôler directement ?
  • Ces produits relèvent-ils d’une stratégie appropriée pour accomplir l’effet ? Existe-t-il une relation de cause à effet adéquate ?
  • Avons-nous besoin de produits complémentaires pour atténuer les risques potentiels qui pourraient nous empêcher d’accomplir l’effet ?
  • Le produit respecte-t-il le modèle « SMART » — spécifique, mesurable, réalisable, pertinent et limité dans le temps ?

Il est important de garder à l’esprit les éléments suivants :

  • Les produits doivent pouvoir être fournis pendant le cycle d’élaboration du programme donné.
  • Généralement, plus d’un produit est nécessaire pour accomplir un effet.
  • Si la majeure partie du résultat ne tombe pas sous le contrôle ou l’influence du programme ou du projet, il ne peut pas s’agir d’un produit.

Les produits sont habituellement désignés au moyen d’un substantif, qualifié par un participe passé qui en décrit le changement positif. Voici quelques exemples :

  • Étude des liens entre l’environnement et la pauvreté achevée.
  • Forces de police et personnel de justice formés pour mieux comprendre les violences à l’encontre des femmes.
  • Forum participatif national programmé pour débattre d’un projet de stratégie nationale de lutte contre la pauvreté.
  • Rapport national sur le développement humain produit et diffusé.

Notre exemple précédent pourrait donner lieu à plusieurs produits en lien avec l’effet « réforme des politiques et des systèmes d’administration des élections afin de garantir des scrutins plus libres et plus équitables et de favoriser la participation parmi les groupes marginalisés ». Voici quelques exemples de produits :

  • Campagne de plaidoyer visant à établir un consensus sur la nécessité de réformer le système et le droit électoraux élaborée et mise en application.
  • Systèmes et procédures mis en œuvre et compétences renforcées dans l’autorité nationale administrant les élections afin de parvenir à organiser des scrutins libres et équitables.
  • Programme de formation sur l’utilisation d’une nouvelle technologie d’administration des élections conçu et mis en œuvre pour l’autorité ou les responsables de l’administration des scrutins.
  • Projet de loi révisé sur les droits des femmes et des populations autochtones à participer aux élections préparé.
  • Mécanisme de résolution des conflits électoraux mis au point. 
Établir les activités

Les activités désignent les mesures nécessaires pour obtenir les produits énoncés. Elles comprennent la coordination, l’assistance technique et les missions de formation organisées et mises en place par le personnel responsable du projet.

Dans le cadre de la GAR, le fait de mener une activité au sein d’un programme ou d’un projet ne constitue pas en soi un résultat en matière de développement. Les activités désignent les processus utilisés pour générer des biens et services tangibles, les produits, qui contribuent à leur tour aux effets puis à l’impact.

Lors de la mise au point des activités, il convient de poser les questions suivantes :         

  • Quelles mesures sont nécessaires pour obtenir le produit ?
  • Toutes les mesures réunies suffiront-elles à générer le produit ?
  • Quelles ressources (moyens) sont-elles nécessaires pour entreprendre ces activités ?

Il est important de garder à l’esprit les éléments suivants :

  • Les activités fournissent généralement une information quantitative et peuvent indiquer la périodicité des mesures.
  • Habituellement, plus d’une activité est nécessaire pour obtenir un produit.

           
L’énoncé des activités commence généralement par un verbe et décrit une activité ou une mesure. Voici quelques exemples tirés du cas précédent :

  • Fournir une assistance technique assurée par des spécialistes de la réforme des lois électorales.
  • Élaborer et dispenser une formation et des programmes de préparation professionnelle à destination du personnel.
  • Organiser des ateliers et des séminaires de sensibilisation dans le domaine des élections.
  • Publier des bulletins d’information et des brochures sur les droits électoraux des femmes et des minorités.
  • Obtenir l’équipement et les fournitures pour l’autorité administrant les élections.
  • Faire intervenir des consultants pour élaborer un projet de révision des lois électorales.
Établir les ressources
Les ressources constituent principalement les éléments qui doivent être mis en place ou investis pour que les activités puissent être menées à bien.

Bien qu’elles ne soient pas traitées dans ce Guide, les ressources font également partie de la chaîne des résultats. Elles comprennent le temps de travail du personnel, des parties prenantes et des bénévoles, les moyens financiers, les consultants, l’équipement, la technologie et le matériel. La tendance générale est de recourir aux moyens financiers comme ressource principale, puisque ceux-ci permettent de couvrir les coûts liés aux consultants, au personnel, au matériel, etc. Néanmoins, dans les premières phases de la planification, il convient de s’efforcer d’identifier les diverses ressources nécessaires avant de les convertir en termes monétaires. 

L’orientation proposée ci-dessus devrait aider à la préparation de la première colonne (« résultats ») dans le cadre de résultats.

Tableau 7. Les parties « résultats » du cadre

Résultats

Énoncé d’impact
Bénéfices finaux pour la population ciblée

Énoncé de la réalisation
Changement à court à moyen terme dans les conditions du développement
Normalement, plus d’un effet est nécessaire pour parvenir à l’impact

Produits
Produits et services (tangibles/intangibles) procurés ou fournis
Normalement, plus d’un produit est nécessaire pour parvenir à l’effet

Activités
Mesures prises afin d’obtenir des résultats de recherche 
Chaque produit dépend normalement de plusieurs activités



Encadré 12. Note sur le cadre de résultats
Le cadre de résultats peut être complété avec l’ensemble des effets, des produits, des activités et des ressources que les participants ont identifiés. Cependant, bien souvent, un cadre plus restreint, ne précisant que les effets et les produits spécifiques à une organisation en particulier (par exemple le PNUD) et à ses partenaires, est nécessaire pour se conformer à des exigences internes. Pour les cas où un cadre de résultats plus resserré est élaboré, il convient de tout mettre en œuvre pour montrer que les mesures inscrites à un ordre du jour plus global sont entreprises et que les partenaires et les protagonistes tiers travaillent pour parvenir aux effets et aux impacts globaux dans le cadre du document de stratégie général (comme le PCNUAD, le plan d’action du programme au niveau mondial, régional ou national ou le document du projet). Le document de stratégie ne doit pas se restreindre à ce que l’organisation va produire. Il doit à l’inverse illustrer la manière dont les efforts des différentes parties prenantes va contribuer à obtenir une vision globale commune et produire les impact recherchés, ce qui facilitera également les processus de suivi et d’évaluation.
 
Établir les indicateurs de performance
Les indicateurs sont les balises du changement sur le chemin du développement. Ils permettent de repérer les résultats visés et revêtent une importance cruciale pour le suivi et l’évaluation.

De bons indicateurs de performance constituent une partie essentielle du cadre de résultats. Les indicateurs sont particulièrement utiles aux fins suivantes :

  • Documenter la prise de décision dans le cadre de la gestion d’un programme ou d’un projet en cours.
  • Mesurer les progrès et les accomplissements, tel que les parties prenantes les conçoivent.
  • Établir de manière claire une relation cohérente entre les activités, les produits, les effets et les impacts.
  • Garantir à l’ensemble des participants la légitimité et la responsabilité des partenaires en démontrant les progrès obtenus.
  • Évaluer la performance du projet et du personnel18 .

Les indicateurs peuvent être utilisés à tout moment dans la chaîne des résultats, pour mesurer les activités, les produits, les effets et les impacts, mais doivent toujours être en lien direct avec le résultat mesuré. Voici quelques points importants :

  • Savoir quidéfinit les indicateurs est un point fondamental, pas seulement en termes d’appropriation et de transparence, mais également en matière d’efficacité des indicateurs. Le fait de fixer des objectifs et d’établir des indicateurs doit être un processus participatif.
  • La diversitédans les typesd’indicateurs permet une plus grande efficacité. L’exigence de vérification des objectifs peut conduire à privilégier des donnés quantitatives ou simplistes, au détriment d’indicateurs plus difficiles à évaluer mais qui rendent mieux compte de la nature des changements en cours.
  • Il faut restreindre le nombre d’indicateurs. La mesure des changements représente un coût élevé, il convient donc d’utiliser aussi peu d’indicateurs que possible. Ceux-ci doivent toutefois être suffisamment nombreux pour évaluer l’ampleur des évolutions et procéder à une vérification croisée.

Encadré 13. Note sur les indicateurs de performance

L’un des défauts fréquents de l’élaboration des indicateurs est la tendance à recourir à des mesures générales et purement quantitatives, qui évaluent le nombre ou le pourcentage d’un phénomène donné, par exemple le « nombre de nouvelles politiques adoptées ». Ces indicateurs sont souvent peu efficaces car ils communiquent uniquement un événement, sans préciser si cette évolution constitue une mesure importante de l’objectif. Ainsi, si un rapport d’audit identifie 10 défauts dans une unité commerciale, dont 3 sont considérés comme sérieux et les 7 autres comme habituels, et que ces 7 problèmes ont été résolus, un indicateur qui mesurerait la performance comme le « nombre ou le pourcentage de recommandations suivies d’actions » pourrait signaler que des mesures ont bel et bien été prises, mais sans pouvoir préciser si ces mesures ont été importantes.
En général, les indicateurs doivent se concentrer sur ce qui est essentiel. Par exemple, il existe plusieurs moyens de mesurer le fait qu’un effet découle d’un engagement plus fort de la part des pouvoirs publics partenaires sur les enjeux liés au VIH/SIDA.
Examinons l’indicateur suivant : « Nombre de ministères qui disposent d’une stratégie dans le domaine du VIH/SIDA ».

Maintenant, comparons-le avec celui-ci : « Nombre de ministères qui disposent d’une stratégie dans le domaine du VIH/SIDA, élaborée en consultation avec des parties prenantes non gouvernementales ».

Cet indicateur peut également être complété par une mesure qualitative : « Nombre de ministères qui disposent d’une stratégie solide dans le domaine du VIH/SIDA ».

mesurée par les éléments suivants :

  • La stratégie a été élaborée en consultation avec des parties prenantes non gouvernementales (X points).
  • Des hauts fonctionnaires du ministère ont participé aux processus d’élaboration et de mise en œuvre de la stratégie (Y points).
  • Le ministère a mis en place un budget pour financer la mise en œuvre de la stratégie (X points).

Dans la première option, une stratégie peut avoir été conçue sans consultation avec les parties prenantes, sans participation à haut niveau et sans budget. Le simple décompte des ministères qui se trouveraient dans ce cas ne permettrait pas de mesurer les véritables progrès par rapport à l’effet, qui concerne l’engagement réel des partenaires au sein des pouvoirs publics.


Le processus de formulation des indicateurs doit commencer par les questions suivantes :
  • Comment pouvons-nous mesurer le fait que les résultats attendus sont en voie d’être obtenus ?
  • Quel type d’information peut démontrer un changement positif ?
  • Qu’est-ce qui peut véritablement faire l’objet d’un suivi en fonction des ressources disponibles et des obstacles en matière de capacités ?
  • L’information sera-t-elle disponible en temps voulu pour les différents processus de suivi ?
  • Quel sera le système de collecte des données et qui en sera responsable ?
  • Les systèmes nationaux peuvent-ils être utilisés ou renforcés ?
  • Les indicateurs des pouvoirs publics peuvent-ils être utilisé19?


Encadré 14. Indicateurs selon le modèle « SMART »

Spécifique : l’indicateur est-il suffisamment spécifique pour mesurer la progression en direction des résultats ?
Mesurable : l’indicateur est-il suffisamment fiable et clair pour mesurer les résultats ?
Réalisable : les résultats que l’indicateur vise à mesurer sont-ils réalistes ?
Pertinent : l’indicateur est-il pertinent par rapport aux effets et aux produits visés ?

Limité dans le temps : les données sont-elles disponibles à un coût et au moyen d’efforts raisonnables ?

Indicateurs quantitatifs et qualitatifs

Les indicateurs peuvent être soit quantitatifs soit qualitatifs. Les indicateurs quantitatifs sont des mesures statistiques qui évaluent les résultats en termes de :

  • Nombre.
  • Pourcentage.
  • Taux (exemple : taux de natalité — naissances pour 1 000 habitants).
  • Ratio (exemple: ratio sexuel — nombre d’hommes par rapport à celui des femmes).

Les indicateurs qualitatifs reflètent ce que les individus pensent, leurs opinions, leurs perceptions et leurs attitudes à l’égard d’une situation ou d’un sujet. Ils peuvent signaler des changements dans la sensibilité, la satisfaction, l’influence, la sensibilisation, la compréhension, les comportements, la qualité, la perception, le dialogue ou le sentiment de bien-être.

Les indicateurs qualitatifs mesurent les résultats en termes de :

  • Respect de…
  • Qualité de…
  • Mesure de…
  • Niveau de …

Dans l’exemple de l’encadré 13 sur l’engagement des partenaires des pouvoirs publics, des sous-indicateurs sont utilisés pour évaluer la qualité de la stratégie, « Des avantages ont-ils été tirés de la participation d’autres parties prenantes ? », la mesure dans laquelle les hauts fonctionnaires y ont pris part et le niveau d’engagement, « Un budget a-t-il également été mis en place » ?

Dans la mesure du possible, les indicateurs doivent être ventilés. Les moyennes ont tendance à dissimuler les disparités, et la reconnaissance de ces dernières est essentielle à l’élaboration des programmes pour traiter les besoins spécifiques de groupes tels que les femmes et les populations autochtones ou marginalisées. Les indicateurs peuvent notamment être ventilés par sexe, par âge ou par zone géographique.

La clé d’un bon indicateur est sa crédibilité, non pas le volume des données ni la précision de la mesure. Des quantités importantes de données peuvent perturber la compréhension plutôt que d’attirer l’attention sur un élément en particulier, et les observations quantitatives ne sont pas par nature plus objectives que les mesures qualitatives. Le fait qu’un indicateur soit approprié dépend de la manière dont il est lié au résultat qu’il cherche à décrire.

Indicateurs supplétifs

Parfois, les données correspondant aux indicateurs les mieux adaptés à un résultat ne sont pas disponibles. Les parties prenantes doivent alors recourir à des indicateurs supplétifs. Ceux-ci constituent un moyen moins direct de mesurer les progrès par rapport à un résultat.

Par exemple, dans le cas de l’effet « amélioration de la capacité des autorités publiques locales à assurer un service de gestion des déchets solides de manière efficace et efficiente », les indicateurs directs suivants pourraient être utilisés :

  • Nombre d’heures d’interruption de service (temps hors service) de la flotte de véhicules évacuant les déchets solides en raison de la maintenance ou d’autres problèmes.
  • Évolution du pourcentage de foyers desservis chaque semaine.
  • Évolution du nombre de sites commerciaux desservis chaque semaine.
  • Pourcentage de prise en charge en temps voulu des déchets solides dans [préciser la région] au cours des six derniers mois.

Dans l’hypothèse où aucun système n’a été mis en place pour obtenir ces données, l’indicateur supplétif ou indirect suivant pourrait être utilisé :

  • Un questionnaire permettant de connaître le pourcentage d’usagers satisfaits de la qualité et de la ponctualité des services fournis par le prestataire de gestion des déchets solides. (Il peut s’avérer plus aisé pour l’agence de réaliser cette enquête plutôt que de mettre en place les systèmes nécessaires pour collecter les données d’indicateurs plus directs).

L’hypothèse retenue est que si le questionnaire révèle une hausse de la satisfaction des usagers, alors il est vraisemblable que certaines améliorations aient été apportées aux services. Ce n’est toutefois pas forcément le cas, voilà pourquoi il s’agit d’un indicateur supplétif, plutôt que d’une mesure directe de l’amélioration. 

De même, en l’absence de données nationales fiables sur la corruption, de nombreuses organisations de développement utilisent comme indicateur supplétif l’information récoltée grâce à des enquêtes menées par de nombreux acteurs nationaux et internationaux sur la perception de la corruption.

Pour l’indice de développement humain, le PNUD et d’autres organisations des Nations Unies utilisent « l’espérance de vie » comme indicateur supplétif des soins de santé et des conditions de vie. L’hypothèse retenue est que si les individus vivent plus longtemps, alors il est vraisemblable que les soins et les conditions de vie se soient améliorés. Le produit intérieur brut réel et par habitant (parité de pouvoir d’achat) est également utilisé comme indicateur supplétif du revenu disponible dans le calcul de cet indice.

Niveaux d’indicateurs

Différents types d’indicateurs sont nécessaires pour évaluer la progression en direction des résultats. Dans le cadre de la GAR, le PNUD en utilise trois sortes :

  • Indicateurs d’impact.
  • Indicateurs des effets.
  • Indicateurs des produits.

Les indicateurs d’impact décrivent le changement survenus dans la vie de populations et les conditions du développement aux niveaux mondial, régional et national. Dans le cas d’initiatives au niveau des communautés, les indicateurs d’impact peuvent décrire ces changements aux niveaux infranational et des communautés.  Ils offrent un aperçu global de l’importance des changements dans les conditions du développement, du point de vue des individus concernés et du PNUD. Dans le contexte d’une planification à niveau national (CPD), les indicateurs d’impact se situent généralement au niveau du PCNUAD ou des OMD, et apparaissent souvent dans le cadre de résultats du PCNUAD. Les indicateurs d’impact sont les plus pertinents pour les parties prenantes mondiales, régionales et nationales, ainsi que pour les membres chevronnés de l’UNCT, qui les utilisent pour le suivi. Le tableau 8 contient quelques exemples d’indicateurs d’impact.

Tableau 8. Indicateurs d’impact

Exemples d’impacts

Exemples d’indicateurs
(« Que pouvons-nous observer pour savoir si le changement se produit » ?)

  • Hausse de la participation du public aux élections locales et nationales, et notamment parmi les femmes, les populations autochtones et les autres groupes traditionnellement marginalisés.
  • Proportion globale des électeurs qui votent aux scrutins nationaux (ou locaux).
  • Pourcentage d’électrices qui votent aux scrutins.
  • Pourcentage d’électeurs autochtones qui votent aux scrutins.
  • Amélioration de la performance en matière d’éducation dans la région du pays.
  • Pourcentage d’élèves achevant leur cursus d’enseignement primaire.
  • Taux de réussite aux tests normalisés destinés aux écoliers.
  • Réduction de la pauvreté et de la faim.
  • Taux de pauvreté.
  • Coefficient de Gini.
  • Pourcentage de la population vivant dans l’extrême pauvreté.
  • Niveau de malnutrition infantile.
  • Les individus sont en meilleure santé et vivent plus longtemps.
  • Longévité.
  • Mortalité infantile.
  • Taux de prévalence du VIH/SIDA.

Les indicateurs des effets évaluent les progrès par rapport à des effets spécifiques. Ils aident à vérifier que le changement positif visé a effectivement eu lieu, et sont conçus dans le cadre de résultats des programmes au niveau mondial, régional ou national. Ils sont surtout utiles aux organisations des Nations Unies et à leurs partenaires qui travaillent à des effets spécifiques. Le tableau 9 en propose quelques exemples.

Note : Les indicateurs des effets ne sont pas destinés à mesurer uniquement ce qu’une organisation (comme le PNUD) fait ou contribue à accomplir. Ce sont des indicateurs du changement dans les conditions du développement, ils relèvent donc d’un niveau supérieur à celui des indicateurs des produits de l’organisation.


Table 9. Indicateurs des effets

Exemples d’effets

Exemples d’indicateurs
(« Que pouvons-nous observer pour savoir si le changement se produit » ?)

  • Réforme des politiques et des systèmes d’administration des élections afin d’assurer des scrutins plus libres et plus équitables et de favoriser la participation des groupes marginalisés.
  • Pourcentage des citoyens interrogés qui estiment que le processus d’administration des élections est libre et équitable. (Il s’agit d’un indicateur supplétif. Au lieu d’une enquête auprès des citoyens, une étude plus limitée peut également interroger un groupe de personnes sélectionnées).
  • Pourcentage des femmes et des individus issus des minorités interrogés qui connaissent les droits que leur ouvre la nouvelle législation sur l’administration des élections.
  • Hausse annuelle du pourcentage de femmes inscrites sur les listes électorales. (Il s’agit d’un indicateur intermédiaire des progrès, qui remonte jusqu’au point où la participation électorale des groupes concernés a pu être effectivement mesurée).
  • Hausse annuelle du pourcentage des personnes autochtones inscrites sur les listes électorales.
  • Ratio de centres d’inscription aux listes électorales par rapport à la population dans les zones rurales.
  • Réforme du cadre politique, législatif et réglementaire afin d’étendre de manière substantielle la connectivité des technologies de l’information et de la communication.
  • Nombre et part de la population ayant accès à Internet, ventilés par sexe. (Une évolution peut se produire sans changement de fond. Il est utile de trouver un indicateur de cette nature car il dépasse le résultat immédiat pour traiter d’impact qui intéresse les partenaires).
  • Nombre des grandes politiques nationales sur les technologies de l’information qui sont révisées et promulguées. (Cet indicateur peut être utilisé lorsqu’il est établi, par exemple, qu’il existe quelques lois spécifiques devant être réformées).
  • Amélioration des capacités de gouvernance en ligne des ministères centraux et des organisations étatiques clés d’ici 2015.
  • Mesure dans laquelle les principales organisations étatiques disposent d’une solide infrastructure en ligne à destination des citoyens. La mesure est obtenue par un indicateur composite comprenant plusieurs éléments :
    • Les ministères centraux clés ont mis en place des sites Internet (10 points).
    • Les sites contiennent des informations fonctionnelles permettant d’obtenir un contact (10 points).
    • Les sites offrent un accès fonctionnel aux documents et aux publications sur les principales politiques menées par les pouvoirs publics (10 points).
    • Les sites favorisent l’accès aux personnes désavantagées (ou sont disponibles dans une seconde langue) (10 points).
    • Les sites proposent des liens vers d’autres grands services étatiques (10 points).
    • Les sites facilitent le paiement en ligne pour les services étatiques importants (impôts, immatriculation des véhicules, etc.) (10 points).
  • Pourcentage du revenu de la fiscalité immobilière collecté au moyen des systèmes de paiement en ligne.
  • Réduction de la corruption dans le secteur public d’ici 2016.
  • Indice de perception de la corruption. (La mesure provient généralement d’un indicateur composite obtenu par une enquête sur la perception qu’ont les spécialistes nationaux et internationaux de la corruption dans le pays concerné).
  • Conclusion globale ou notation de la performance des pouvoirs publics dans le cadre de la lutte contre la corruption dans le rapport annuel du comité de contrôle indépendant.
  • Réduction de la violence contre les femmes d’ici 2013.
  • Nombre de cas signalés de violence domestique à l’égard des femmes20.
  • Pourcentage des femmes qui estiment que la violence à l’égard des femmes s’est réduite au cours des cinq dernières années (d’après l’enquête).
  • Proportion des hommes qui considèrent que battre sa femme se justifie dans un cas au moins (d’après l’enquête).

Dans le second exemple du tableau 9, associer un indicateur permettant de déterminer si un changement est en cours dans les politiques menées à un autre, portant sur le nombre d’individus ayant accès à Internet, peut donner un aperçu large et complémentaire des progrès globaux par rapport à la réalisation. Il est souvent nécessaire de recourir à un ensemble d’indicateurs complémentaires pour mesurer les évolutions attribuables à des raisons extérieures à l’action qui est conduite. En outre, des indicateurs composites peuvent être utilisés pour apporter une mesure plus qualitative des progrès. Les participants peuvent s’accorder sur leurs propres indicateurs composites dans les domaines où il n’en existe encore aucun.

Les indicateurs des produits évaluent les progrès par rapport à des produits spécifiques. Ces derniers étant tangibles et pouvant faire l’objet d’une prestation, leurs indicateurs peuvent se révéler plus faciles à identifier. En fait, le produit lui-même peut être mesurable et servir d’indicateur pour déterminer s’il a été ou non généré. Le tableau 10 propose quelques exemples.

Tableau 10. Indicateurs des produits

Exemples de produits

Exemples d’indicateurs
(« Que pouvons-nous observer pour savoir si le changement se produit » ?)

  • Projet de réforme électorale formulé et soumis au gouvernement.
  • Progrès accomplis dans l’élaboration du projet de réforme (encadré 15).
  • L’autorité nationale administrant les élections dispose des systèmes, des procédures et des compétences nécessaires pour organiser des scrutins libres et équitables.
  • Pourcentage des centres électoraux qui utilisent plusieurs mesures d’identification des votants.
  • Nombre de centres qui sont dirigés par des professionnels qualifiés.
  • Pourcentage des bénévoles et du personnel supervisant les élections qui sont formés aux méthodes permettant de réduire les fraudes.
  • Pourcentage du personnel supervisant les élections qui estime que leur organisation est plus professionnelle et fonctionne mieux que l’année précédente.
  • Formations des enseignants dans les écoles locales
  • Nombre d’enseignants formés d’ici la fin 2010.
  • Pourcentage d’enseignants formés dont la notation a révélé qu’ils étaient plus efficaces dans leur métier que l’année précédente*.
  • Production et diffusion du Rapport sur le développement humain. 
  • Nombre d’exemplaires du Rapport national sur le développement humain qui ont été distribués.
  • Pourcentage des parlementaires qui reçoivent le Rapport. 
  • Mesure dans laquelle les conclusions et les recommandations du Rapport national sur le développement humain ont été utilisées pour documenter les débats politiques de haut niveau (la mesure peut être un indicateur composite qui observe si un débat a eu lieu pour discuter des conclusions au Parlement, dans le gouvernement, lors du sommet des ministres des Affaires sociales, etc.)*.
  • Les organisations locales et issues de la société civile possèdent des ressources et des compétences, et contribuent au suivi des stratégies locales de réduction de la pauvreté. 
  • Nombre de personnes travaillant pour des ONG qui achèvent leur formation en analyse de la pauvreté d’ici la fin 2009.
  • Pourcentage du personnel des ONG qui estime être plus efficace dans son travail que l’année précédente*.
  • Pourcentage des régions administratives disposant de comités de suivi.
  • Pourcentage des régions administratives disposant de conseils locaux des citoyens.

* Il s’agit là d’indicateurs de résultats. Il est pratique de disposer d’au moins deux indicateurs pour un produit : un indicateur de processus qui permet de savoir si le service ou le produit a été achevé ou fourni, et un indicateur de résultat qui évalue si le produit finalisé apporte les changements visés. Ainsi, les responsables des programmes et des projets peuvent non seulement débattre de la progression des activités et des produits prévus, mais également de la qualité et de l’effet de ces activités et de ces produits.

Encadré 15. Utiliser le « niveau des progrès accomplis » comme un indicateur des produits
 
Bien souvent, il est difficile de déterminer le type d’indicateur qu’il faut utiliser pour certains effets, notamment lorsque le nombre de produits ne donne pas de renseignement significatif. Dans ce Guide, nous proposons, pour certains produits complexes ou pour ceux dont la qualité compte plus que la quantité, de recourir à une mesure qui serait le « niveau des progrès accomplis ». Les objectifs sont fixés en fonction d’un niveau de progression à atteindre chaque année. Ces indicateurs de la progression peuvent être complétés par d’autres, mesurant la satisfaction des usagers, ce qui permet d’évaluer à quel point les individus sont satisfaits des produits.


LISTE DE CONTRÔLE POUR L’EXAMEN DES EFFETS ET DE LEURS INDICATEURS

OUI

NON

  • Les effets et leurs indicateurs sont spécifiques, mesurables, réalisables, pertinents et limités dans le temps (modèle « SMART »).

 

 

  • Les effets se situent clairement dans un domaine de travail sur lequel l’organisation et ses partenaires exercent une influence significative.

 

 

  • Les effets sont formulés de manière à indiquer ce qui change, pour qui (si c’est pertinent) et quand. (Les effets doivent généralement être réalisables en 5 ans).

 

 

  • Les effets abordent les intérêts et les préoccupations des hommes, des femmes et des groupes marginalisés (si c’est pertinent).

 

 

  • Les effets abordent les changements dans les capacités et dans le comportement des institutions qui doivent conduire au développement durable du pays ou de la région.

 

 

  • Les effets concernent les changements apportés à la situation et aux capacités et non la prestation de produits ou de services.

 

 

  • Les effets sont accompagnés d’indicateurs qui renseignent sur la manière dont le changement visé sera mesuré.

 

 

  • Les indicateurs des effets permettent de mesurer les changements au-delà de ce qu’une seule organisation peut générer ou fournir et d’évaluer les changements dans un pays ou une région plutôt que de mesurer les résultats d’un projet.

 

 

  • Les effets et leurs indicateurs offrent un aperçu clair et précis de ce à quoi ressemblera l’avenir, mais ne donnent pas une vision générale au point de quasiment tout décrire.

 

 



LISTE DE CONTRÔLE POUR L’EXAMEN DES PRODUITS ET DE LEURS INDICATEURS

OUI

NON

  • Les produits et leurs indicateurs sont spécifiques, mesurables, réalisables, pertinents et limités dans le temps (modèle « SMART »).

 

 

  • Les produits sont définis comme des produits ou des services qu’il est possible d’obtenir grâce aux ressources mobilisées pour un projet.

 

 

  • La formulation utilisée pour décrire un produit emploie un substantif ou le nom de l’élément devant être produit, ainsi que le participe passé qui précise l'état d’avancement de la production.

 

 

  • Les produits sont définis comme des éléments sur lesquels une ou plusieurs organisations exercent un contrôle et dont elles peuvent être tenues responsables de leur fourniture.

 

 

  • Les produits sont définis comme les ingrédients nécessaires à l’accomplissement des effets.

 

 

  • Il existe des indicateurs qui mesurent à la fois le processus de production (par exemple combien d’éléments ont été crées) et la qualité et/ou l’effet de ce qui a été produit (par exemple le degré d’utilisation ou la satisfaction des usagers à l’égard du produit).

 

 


Points de repère et objectifs

Une fois les indicateurs identifiés, les participants doivent établir des points de repère et des objectifs en fonction de l’ampleur du changement qu’ils veulent observer. Il est souvent préférable de fonctionner en groupe restreint pour entreprendre le travail de recherche sur les points de repère, les parties prenantes ne disposant pas toujours de l’ensemble des données à ce moment. Le point de repère et l’objectif doivent clairement correspondre à l’indicateur, en utilisant la même unité de mesure. (Pour des raisons pratiques, certains indicateurs peuvent nécessiter un ajustement afin de les faire correspondre avec les mesures existantes, telles que les enquêtes nationales ou les recensements).

Les points de repère constituent la base à partir de laquelle le changement est mesuré. Sans ces données, il est très difficile d’évaluer le changement dans le temps ou d’effectuer le suivi et l’évaluation. Grâce aux points de repère, les progrès peuvent être mesurés par rapport à la situation qui précédait l’action21.  

Une fois le point de repère établi, il convient de fixer un objectif. Celui-ci dépend normalement de la période du programme et de la durée de l’action et des activités. Par exemple, dans le contexte d’un PCNUAD, les objectifs sont normalement fixés pour cinq ans, de manière à correspondre à la durée du PCNUAD. De même, les programmes mondiaux, régionaux et nationaux s’accompagnent d’objectifs sur une durée de quatre à cinq ans. Si les changements dans les conditions du développement peuvent être longs à s’opérer, souvent 10 ans ou plus, le fait de fixer un objectif pour le cycle du projet ou du programme permet aux participants d’observer les « signes » d’un changement global. Si des objectifs ne peuvent être fixés sur une durée de quatre à cinq ans, alors l’indicateur utilisé est probablement d’un niveau trop élevé, et l’équipe doit trouver de nouveaux moyens de mesurer les progrès à court et à moyen terme.

Au niveau des produits, les objectifs peuvent être fixés sur une durée beaucoup plus courte (un an, six mois, etc.). En reprenant les types d’indicateurs évoqués plus haut, le tableau 11 propose quelques exemples de points de repère et d’objectifs.


Tableau 11. Indicateurs, points de repère et objectifs

Indicateur

Point de repère

Objectif

IMPACT : Hausse de la participation du public aux élections locales et nationales, notamment parmi les femmes, les populations autochtones et les autres groupes traditionnellement marginalisés
  • Pourcentage des électrices qui votent aux scrutins.
  • 2006 : 0 % ont voté (les femmes n’avaient pas le droit de vote).
  • 2010 : 50 % des électrices votent aux scrutins nationaux.
  • Proportion globale des électeurs qui votent aux scrutins nationaux (ou locaux).
  • 2006 : 42 % des électeurs ont voté aux scrutins nationaux.
  • 2010 : 70 % des électeurs votent aux scrutins nationaux.
  • Pourcentage des électrices qui votent aux scrutins.
  • 2006 : 0 % ont voté (les femmes n’avaient pas le droit de vote).
  • 2010 : 50 % des électrices votent aux scrutins nationaux.
  • Pourcentage d’électeurs autochtones qui votent aux scrutins.
  • 2006 : 15 % ont voté (aucun effort n’a été déployé pour encourager ou soutenir le vote des populations autochtones vivant sur le territoire).
  • 2010 : 45 % d’électeurs autochtones votent aux scrutins nationaux.

EFFET : Réforme des politiques et des systèmes d’administration des élections afin d’assurer des scrutins plus libres et plus équitables et de favoriser la participation des groupes marginalisés

  • Pourcentage de la population qui estime que le processus de gestion des élections est libre et équitable.
  • 2006 : 30 % (d’après la dernière enquête menée).
  • 2010 : 80 %.
  • Pourcentage de femmes et d’individus issus des minorités interrogés qui connaissent les droits que leur ouvre la nouvelle législation sur l’administration des élections.
  • 2007 : 20 % des individus issus de minorités déclaraient connaître leurs droits (enquête menée par [préciser l’organisation] ; note : les femmes n’avaient pas le droit de vote).
  • 2010 : 70 % des femmes et des individus issus de minorités connaissent leurs droits.
  • Hausse annuelle du pourcentage de femmes inscrites sur les listes électorales.
  • 2007 : 0 % des femmes se sont inscrites sur les listes électorales (les femmes n’avaient pas le droit de vote).
  • Hausse annuelle de 20 % du pourcentage des électrices qui s’inscrivent sur les listes électorales.
  • Hausse annuelle du pourcentage de personnes autochtones inscrites sur les listes électorales.
  • 2007 : 30 % des électeurs issus de minorités se sont inscrits sur les listes électorales
  • Hausse annuelle de 20 % des électeurs issus de minorités qui s’inscrivent sur les listes électorales.
  • Ratio de centres d’inscription aux listes électorales par rapport à la population dans les zones rurales.
  • 2006 : 1 centre pour 11 000 habitants.
  • 2010 : 1 centre pour 4 000 habitants.

PRODUIT 1 : Projet de réforme électorale formulé et soumis au gouvernement

  • Progrès accomplis dans l’élaboration du projet de réforme.
  • 2008 : accord obtenu entre les principaux partis politiques sur la nécessité de réviser les lois électorales.
  • 2009 : tenue de 5 grandes consultations publiques et préparation d’un livre blanc sur la nouvelle politique.

PRODUIT 2 : L’autorité nationale supervisant les élections dispose des systèmes, des procédures et des compétences nécessaires pour administrer des scrutins libres et équitables

  • Pourcentage des centres électoraux qui utilisent plusieurs mesures d’identification des votants.
  • 2006 : 0 % des centres ont utilisé plusieurs mesures d’identification des votants.
  • 2009 : 70 % des centres utilisent deux formes ou plus d’identification des votants, dont les empreintes digitales (des objectifs annuels peuvent être fixés).
  • Nombre de centres qui sont dirigés par des professionnels qualifiés.
  • 2006 : 20 % des centres étaient dirigés par des professionnels embauchés à l’issue d’un recrutement public (d’après l’enquête menée par [préciser l’organisation]).
  • 2009 : 80 % des centres sont dirigés par des professionnels embauchés à l’issue d’un recrutement public.
  • Pourcentage des bénévoles et du personnel supervisant les élections qui estime que leur organisation est plus professionnelle et fonctionne mieux que l’année précédente.
  • Il n’existe aucun point de repère ; la première enquête sera conduite en 2008.
  • 2009 : 70 % du personnel estiment que leur organisation est plus professionnelle et fonctionne mieux que l’année précédente.
  • Pourcentage des bénévoles et du personnel supervisant les élections qui sont formés aux méthodes permettant de réduire les fraudes.
  • 2006 : 0 %.
  • 2009 : 80 %.

Il n’est pas toujours possible de fixer un objectif fort ou ambitieux pour les indicateurs des produits lors de la première année de la mise en œuvre. Observons par exemple le dernier indicateur cité ci-dessus : « le pourcentage des bénévoles et du personnel supervisant les élections qui sont formés aux méthodes permettant de réduire les fraudes ». Un certain nombre de mesures devront peut-être être prises la première année, avant que la formation ne commence, à partir de la seconde année. L’objectif, pour cet indicateur, pourrait donc être de 0 % en 2009, ce qui ne signifie pas que l’indicateur est mauvais. Dans ce type de cas, un champ de « commentaire » peut être ajouté pour expliquer l’objectif. Voilà une autre raison pour laquelle il est recommandé de disposer de deux indicateurs ou plus pour saisir les différentes dimensions du produit (ce qui s’applique également aux effets). Ici, il peut être d’utile d’ajouter à l’indicateur numérique une autre mesure du « niveau des progrès accomplis », pour décrire la mise en place de systèmes de base, des supports de formation, etc., ce qui permet de fixer des objectifs qualitatifs annuels, pour évaluer les éléments qui doivent être mis en place et constituer le socle des activités qui seront conduites dans les années à venir.

Moyens de vérification

Le schéma 9 et l’encadré 10 soulignent à quel point il est important de respecter le modèle « SMART » pour les réalisations, les impacts et les indicateurs. Le « M » de « SMART » signifie « mesurable », ce qui veut dire que les données doivent être aisément disponibles pour estimer les progrès accomplis grâce aux résultats. Lors de la définition des résultats et de leurs indicateurs, il est donc important de garder à l’esprit la manière dont les données seront collectées dans le cadre des processus de suivi et d’évaluation.

Les moyens de vérification jouent un rôle clé pour ancrer les initiatives dans la réalité d’un contexte donné. Souvent, les plans top ambitieux ou ceux élaborés trop hâtivement ne prennent pas en compte les difficultés propres à la collecte des preuves, qui permettront aux responsables du programme de démontrer le succès de l’action menée. Sans une définition claire du type de preuves nécessaire pour garantir que les résultats sont obtenus, et si les implications de cette collecte, en termes de travail et de coût, ne sont pas pleinement prises en compte, les responsables de la planification mettent en danger l’intégrité du programme. Si les résultats et les indicateurs ne s’appuient pas sur des données mesurables et vérifiables par des experts indépendants, il est permis de s’interroger sur le caractère réalisable ou réaliste de l’initiative.

L’identification des moyens de vérification doit avoir lieu dans le cadre d’une coordination étroite entre les parties prenantes clés. Les preuves portant sur les réalisations (sans parler de celles d’impact) doivent être apportées par le groupe ciblé, les bénéficiaires ou les partenaires de l’action pour le développement. Il est donc important qu’au cours de la planification des projets ou des programmes, ces protagonistes participent à la réflexion sur la manière dont les preuves permettant d’évaluer les progrès seront obtenues, pendant la mise en œuvre comme au terme de l’initiative. Des moyens de vérification clairs facilitent donc l’établissement de systèmes de suivi et contribuent de manière significative au fait que les projets et les programmes puissent faire l’objet d’une évaluation.

Tableau 12. Exemple de cadre de résultats assorti de moyens de vérification

Indicateur

Point de repère

Objectif

Moyen de vérification

IMPACT : Hausse de la participation du public aux élections locales et nationales, notamment parmi les femmes, les populations autochtones et les autres groupes traditionnellement marginalisés
  • Proportion globale des électeurs qui votent aux scrutins nationaux (ou locaux).
  • 2006 : 42 % des électeurs ont voté aux scrutins nationaux.
  • 2010 : 70 % des électeurs votent aux scrutins nationaux.
  • Rapport final du comité électoral concernant le scrutin.

EFFET : Réforme des politiques et des systèmes d’administration des élections afin d’assurer des scrutins plus libres et plus équitables et de favoriser la participation des groupes marginalisés

  • Pourcentage des individus qui estiment que le processus d’administration des élections est libre et équitable.
  • 2006 : 30 % (d’après la dernière enquête menée).
  • 2010 : 80 %.
  • Enquête spéciale devant être menée dans le cadre du projet d’assistance aux élections en 2008 et 2010.
  • Hausse du pourcentage des femmes inscrites sur les listes électorales.
  • 2007 : 0 % des femmes se sont inscrites sur les listes électorales (les femmes n’avaient pas le droit de vote).
  • Hausse annuelle de 20 % du pourcentage des électrices qui s’inscrivent sur les listes électorales.
  • Base de données du comité électoral.
  • Ratio de centres d’inscription aux listes électorales par rapport à la population dans les zones rurales.
  • 2006 : 1 centre pour 11 000 habitants.
  • 2010 : 1 centre pour 4 000 habitants.
  • Calcul à effectuer d’après le nombre de centres (base de données du comité électoral) par rapport à la population dans les zones rurales (enquête démographique de l’autorité nationale de planification en 2010).

PRODUIT 1 : Projet de réforme électorale formulé et soumis au gouvernement

  • Progrès accomplis dans l’élaboration du projet de réforme.
  • 2008 : accord obtenu entre les principaux partis politiques sur la nécessité de réviser les lois électorales.
  • 2009 : tenue de 5 grandes consultations publiques et préparation d’un livre blanc sur la nouvelle politique.
  • Rapport de l’administration centrale organisant les ateliers
  • Archives des procédures parlementaires (pour la soumission du livre blanc) devant être obtenu auprès du bureau de l’information sur le secteur public.

PRODUIT 2 : L’autorité nationale supervisant les élections dispose des systèmes, des procédures et des compétences nécessaires pour administrer des scrutins libres et équitables

  • Pourcentage de centres électoraux qui utilisent plusieurs mesures d’identification des votants.
  • 2006 : 0 % des centres ont utilisé plusieurs mesures d’identification des votants.
  • 2009 : 70 % des centres utilisent deux formes ou plus d’identification des votants, dont les empreintes digitales (des objectifs annuels peuvent être fixés).
  • Base de données du comité électoral.

Sur la base de ces orientations, l’équipe des participants doit perfectionner ou finaliser le cadre de résultats du projet ou du programme en cours d’élaboration.

L’élaboration d’un cadre de résultats est un processus participatif et itératif. La participation est essentielle pour s’assurer que les parties prenantes comprennent et appuient l’initiative, et qu’elles soient conscientes des répercussions de l’ensemble des éléments qui composent le cadre de résultats. Lors de la préparation de ce dernier, les nouveaux éléments (comme l’élaboration de produits après avoir identifié les effets, la définition d’indicateurs après avoir déterminé un résultat particulier ou encore l’établissement de moyens de vérification après avoir arrêté des indicateurs) doivent être définis afin de tester la validité de ceux qui ont été définis précédemment

Liens entre le cadre de résultats et les systèmes de GAR du PNUD

Les données générées lors de la planification peuvent apparaître à des moments différents dans divers documents et systèmes de planification. Voici quelques exemples :

  • Les impacts et/ou les priorités nationales apparaissent dans les parties concernées du cadre de résultats du PCNUAD ou du programme mondial, régional ou national.
  • L’impact identifié pour un programme mondial, régional ou national est également saisi dans la plateforme de la GAR (home.undp.org), dans le champ objectif mondial, régional ou national.
  • Les indicateurs d’impact sont normalement inscrits dans les documents et les plans de stratégie nationale ainsi que dans le cadre de résultats du PCNUAD. Ces indicateurs peuvent également être évoqués dans l’analyse de situation et dans l’énoncé des objectifs d’un CPD ou d’un CPAP.
  • L’analyse des causes du problème est normalement reprise dans la partie sur l’analyse de la situation du document pour le projet ou le programme.
  • L’analyse de ce qui doit arriver ou être mis en place afin d’atteindre les objectifs et l’impact est également inscrite dans le document du projet ou du programme, assortie de toute mesure devant être prise par les pouvoirs publics ou le PNUD, de manière à influencer les partenaires et les protagonistes tiers. Ces éléments se trouvent dans les sections des documents dédiées aux objectifs et à la stratégie. 
  • Les effets spécifiques auxquelles le PNUD apporte son appui doivent figurer dans les parties correspondantes du PCNUAD.
  • Les effets du PNUD identifiés dans le PCNUAD servent à élaborer le CPD, qui est approuvé par le Conseil d’administration du PNUD.
  • Les mêmes effets (ou des effets légèrement révisés en fonction du processus du CPAP, mais avec la même intention) sont saisis dans Atlas et forment une partie de l’ébauche d’arbre du programme. Ces effets sont ensuite insérés sur la page de planification et de suivi du programme, sur la plateforme de la GAR.
  • Les indicateurs des effets figurent dans les parties correspondantes des documents des programmes. Ils sont également (ceux-là ou des indicateurs légèrement révisés en fonction du processus de finition du CPAP) insérés sur la plateforme de la GAR au début du programme.
  • Les points de repère et les objectifs sont également saisis pour les indicateurs des effets.
  • Le PCNUAD et le CPD intègrent normalement un ensemble de produits que le programme vise à générer.
  • Ces produits sont normalement peaufinés au cours du processus d’élaboration du CPAP lorsque les parties prenantes acquièrent une vision plus détaillée de la mise en œuvre du programme, ce qui peut arriver plusieurs mois après la finalisation du PCNUAD ou du CPD.
  • Les produits du CPAP sont crées en tant que projets de produits dans Atlas, assortis de leurs indicateurs, points de repère et objectifs. Cette information est ensuite saisie sur la plateforme de la GAR afin de faciliter le suivi et la communication d’information par rapport à ces produits. Dans la mesure du possible, les produits des projets contenus dans Atlas doivent être formulés de la même manière que les produits du cadre de résultats, y compris dans leur description longue. De même, les indicateurs et les points de repère pour les produits sont les mêmes que ceux qui doivent être saisis dans Atlas. Les objectifs des produits sont également les mêmes que ceux d’Atlas, et sont normalement inscrits lors de l’élaboration du plan de travail et lorsque les objectifs annuels sont fixés.Le schéma 11 propose une illustration de ces exigences.
Schéma 11. Illustration de l’endroit où les données sur les résultats doivent être entrées dans les systèmes du PNUD
  • Les risques et les hypothèses sont renseignés dans la colonne correspondante du tableau des ressources et des résultats du programme. Les risques sont également saisis dans Atlas et mis en relation avec un Award (un Award est un ensemble de produits). Ces éléments sont ensuite reportés dans la plateforme de la GAR aux fins du suivi.
  • L’information sur les partenaires est inscrite dans le cadre de résultats, et le document du programme explique les efforts déployés à la fois par les partenaires et par les protagonistes tiers, ainsi que leur contribution aux effets et à l’impact. Le rôle des partenaires doit être indiqué dans le processus formel de suivi et d’évaluation (comme dans le cas du bilan commun d’un PCNUAD). Le travail des protagonistes tiers peut faire l’objet d’un suivi informel, par exemple en organisant des rencontres.

Atlas et la plateforme de la GAR doivent être utilisés comme des instruments permettant d’enregistrer l’information contenue dans le cadre de résultats, de conduire des opérations et d’effectuer le suivi de la progression. La composante « plan de travail pour le développement » de la plateforme constitue donc un outil de suivi pour les programmes mondiaux, régionaux ou nationaux (ou les CPAP), et rappellent les effets et leurs indicateurs, les produits et leurs indicateurs, les budgets et les risques clés en lien avec les projets. Les données sont saisies par le directeur de projet ou de programme du PNUD, et l’assurance qualité est garantie par le responsable désigné à cet effet (consulter les politiques et procédures pour des informations complémentaires sur l’attribution des rôles et des responsabilités dans le cadre de l’élaboration de projets et de programmes).

Au terme du processus de planification, les parties prenantes doivent donc disposer de leur huitième prestation — un cadre de résultats qui ressemble à celui du tableau 13.

Tableau 13. Exemple de cadre de résultats

Priorité/Finalité nationale

« Plus grande confiance et hausse de la participation du public dans les processus de gouvernance locaux et nationaux » ou « Processus démocratiques plus dynamiques, qui intègrent plus largement les citoyens »

Effet A1 du PCNUAD

Hausse de la participation des citoyens aux élections locales et nationales d’ici 2015

Effets du programme

Indicateurs des effets, points de repère et objectifs

Produits du programme

Rôle des partenaires

Ressources financières

  1. Réforme des politiques et des systèmes d’administration des élections afin d’assurer des scrutins plus libres et plus équitables et de favoriser la participation des groupes marginalisés.
  1. Perception qu’a le public de la capacité de l’autorité supervisant les élections à administrer des scrutins libres et équitables (ventilée par sexe, par groupe de population, etc.).

Point de repère : 40 % du public avait confiance dans l’autorité supervisant les élections en 2008 (50 % d’hommes, 30 % de femmes, 20 % de personnes autochtones).
Objectif : 70 % de la population globale a confiance dans l’autorité supervisant les élections d’ici 2016 (75 % d’hommes, 65 % de femmes, 60 % de personnes autochtones).

  1. Campagne de plaidoyer visant à établir un consensus sur la nécessité de réformer le droit et le système électoraux.
  2. Recrutement de personnel adéquat et mise en œuvre de systèmes au sein de l’autorité supervisant les élections pour administrer des scrutins libres et équitables.
  3. Programme de formation sur l’utilisation des nouvelles technologies de gestion des élections conçues et mises en place pour le personnel de l’autorité supervisant les élections.

Le PNUD, le ministère du Développement international britannique (DFID), l’Union européenne (UE), l’Agence des États-Unis pour le développement international (USAID) et la Banque mondiale (coopération sur le travail de réforme institutionnelle de l’autorité supervisant les élections).

 

  1. Hausse de la participation des femmes et des populations autochtones aux processus électoraux locaux et nationaux dans cinq régions d’ici 2016.
  1. Pourcentage des électrices qui se sont inscrites sur les listes électorales dans 5 régions.

Point de repère :30 % des électrices se sont inscrites sur les listes électorales dans 5 régions en 2008.
Objectif :60 % des électrices s’inscrivent sur les listes électorales dans 5 régions d’ici 2016.

  1. Projet de loi préparé et révisé sur les droits des femmes et des populations autochtones à participer aux élections.

 

L’UNESCO travaille sur des programmes de communication en rapport avec la culture et à destination des femmes et des populations autochtones.

 

Dans le PCNUAD, tous les indicateurs qui sont pertinents par rapport aux effets de niveau correspondant sont également inscrits, ainsi que les produits des différentes organisations des Nations Unies qui ont contribué aux réalisations. De même, les priorités nationales sont assorties de leurs indicateurs et de leurs produits dans les stratégies de développement des pouvoirs publics. Le personnel du PNUD (à la fois des programmes et des opérations) doit être familiarisé avec les résultats et les objectifs de performance de haut niveau, afin de mieux gérer les résultats dans leurs propres programmes et projets.

Au PNUD et dans bien d’autres organisations, l’information obtenue au cours du processus de planification est généralement exploitée pour élaborer non seulement le cadre de résultats, mais également un programme explicatif ou un document de projet. Ce document peut comporter des exigences qui vont au-delà des enjeux abordés dans ce Guide. Le lecteur doit donc se référer aux manuels sur les politiques et les procédures de sa propre organisation pour obtenir des conseils.