Contenu du sommaire : Malaise dans l'évaluation : quelles leçons tirer de l'expérience du développement ?

L'article met l'accent sur les questions en jeu et les difficultés impliquées dans l'évaluation des politiques au niveau « macro ». Bien que l'évaluation soit un domaine complexe où le consensus est difficile à obtenir, elle reste toutefois un instrument indispensable et nécessaire pour éclairer la prise de décision. En ce qui concerne l'évaluation au niveau « macro », les décisions qui ont besoin d'être éclairées sont celles qui conduisent à la croissance, et on utilise le PIB comme le principal critère pour évaluer la croissance. L'article soutient que, bien qu'il soit facile à utiliser, le PIB se heurte toutefois à de nombreux problèmes techniques et conceptuels qui font qu'il n'est pas satisfaisant pour évaluer ce que l'économie produit. On aurait besoin de mieux prendre en compte, sur le plan des investissements, d'autres déterminants de la croissance (comme le capital humain, les coûts liés à l'environnement, la valeur de l'expertise requise pour l'évaluation) afin de fournir une mesure plus fidèle de la valeur économique des politiques. L'article conclut sur les autres utilisations qui peuvent être faites de l'évaluation, et rappelle que cette dernière peut être aussi un instrument efficace pour estimer et récompenser la performance des gestionnaires et des preneurs de décision en encourageant la mise en œuvre des résultats de développement attendus.

Cet article rend compte de l'expérience de l'Agence Française de Développement (AFD) en matière d'évaluations d'impact. Il s'agit d'apprécier dans quelle mesure ces études peuvent, quand elles sont conçues avant la mise en œuvre d'un programme, fournir les données probantes sommatives que les bailleurs de fonds cherchent à obtenir en préconisant une telle démarche. Nous nous appuyons plus spécifiquement sur trois essais contrôlés randomisés (ECR) à grande échelle, afin de voir s'ils peuvent nous apporter des réponses en termes d'impact du programme considéré – « sur qui », « sur quoi » et « de quoi ». Nous parvenons à la conclusion que ces études expérimentales sont tout à fait indiquées pour des problématiques de type « tunnel », caractérisées par un nombre limité d'intrants homogènes bien spécifiques, un processus éprouvé et testé, une chaîne causale d'événements et de preuves courte et extérieure, une appropriation rapide et durable par les bénéficiaires, une participation large et stable et un ensemble de résultats (outcomes) quantifiables à court terme. Si bon nombre de ces problématiques, bien réelles, méritent d'être étudiées de manière expérimentale pour apporter des éléments qui seront pris en compte dans les ­politiques futures de développement, rares sont les interventions de développement qui réunissent ces conditions, de sorte que leur utilisation à des fins sommatives est réduite.

Cet article réfléchit à l'utilisation optimale de la gestion par indicateurs dans le développement. Face au « malaise dans l'évaluation », au cœur de cette conférence, l'auteur avance que l'incapacité de la communauté du développement à apprendre n'est pas tant liée à l'échec de l'évaluation ou des systèmes de mesure au sens large qu'à un manque de clarté stratégique. Elle commence par une rapide analyse de l'approche du cadre logique, de l'expérience de la gestion axée sur les résultats dans le développement, des critiques entourant les objectifs du Millénaire pour le développement (OMD) et d'un ouvrage récent sur la mesure de la performance dans les entreprises. Tous ces exemples tendent vers la même conclusion : les indicateurs ne sont des instruments de mesure utiles qu'à partir du moment où ils sont la partie visible d'une stratégie de développement tendue vers l'obtention de résultats. Les indicateurs « indépendants de toute stratégie », pour paraphraser David Apgar, n'ont pas d'intérêt. L'auteur suggère que c'est bien cette absence de clarté stratégique qui empêche la communauté du développement de tirer les enseignements de la pratique et non le système de mesure en tant que tel (dans le cas précis, le suivi des indicateurs).

La conduite d'une politique fondée sur les indicateurs est fermement intégrée à une approche technique sous-jacente et à une philosophie gestionnaire qui s'appuie sur une vision simplifiée des relations organisationnelles entre concepteurs, utilisateurs, conseillers et contrôleurs des politiques. Ce modèle de gouvernance reposant sur le principe de la responsabilité pose deux questions. L'une concerne l'efficience – sa capacité à améliorer la productivité en termes d'outputs. L'autre concerne sa contribution à l'effectivité des politiques publiques – en d'autres mots, leur capacité à produire les outcomes (les objectifs ultimes) visés par ces politiques, souvent liés au bien-être social ou à la croissance économique.Après avoir examiné la place que tiennent maintenant ces indicateurs dans la décision publique et après avoir identifié leurs propriétés, leurs vertus et leurs effets pervers, l'article analyse leur performance en termes d'efficience des organisations publiques et d'effectivité de la politique publique. L'article conclut en soulignant les conditions pour une utilisation adaptée des indicateurs dans la prise de décision et la gestion du secteur public.

La plupart des discussions sur l'efficacité de l'aide en termes de développement se concentrent généralement sur les flux agrégés d'aide, sans prêter attention aux diverses catégories d'aide ni aux différents mécanismes d'acheminement. Nous affirmons pourtant que la question centrale n'est pas de savoir si l'aide fonctionne, mais bien quel type d'aide fonctionne. L'impact potentiel de l'aide – positif ou négatif – semble résulter principalement des modalités selon lesquelles l'aide est délivrée. Cet article répond à deux questions : quelle forme d'aide fonctionne et comment est-elle acheminée ? Alors que la confiance de la société dans l'aide publique s'étiole et que l'intérêt pour la nouvelle architecture de l'aide s'accroît, ces questions ont une pertinence croissante.Nous abordons trois aspects fondamentaux – et pourtant souvent sous-estimés – qui sont déterminants pour l'efficacité du développement : (a) les complémentarités de ressources entre les différents volets d'un programme ; (b) les effets de substitution entre les différentes activités ; et (c) les effets d'entraînement influençant l'efficacité de l'aide au niveau global. Nous présentons plusieurs exemples empiriques de ces mécanismes, en montrant leur pertinence spécifique pour les nouveaux types de dispositifs institutionnels qui caractérisent les réformes à venir de l'architecture internationale de l'aide (partenariats public/privé, fonds fiduciaires multidonateurs et fonds d'appui à la société civile).

Sous l'effet notamment des tensions croissantes sur les équilibres budgétaires dans le sillage de la crise économique et financière mondiale, bailleurs de fonds et gouvernements des pays bénéficiaires de l'aide sont sous pression, obligés de démontrer l'efficacité de l'aide. Les données recueillies sur la question dressent un tableau au mieux mitigé : alors que les interventions spécifiques ciblées semblent produire des effets positifs, l'impact macroéconomique reste limité. En outre, les rapports sur les réalisations concrètes des interventions sont inadaptés et alimentent ce faisant des doutes sur l'efficacité de l'aide. Cet article s'attache à cette double problématique du fossé micro-macro de l'efficacité de l'aide et de l'établissement de rapports. Il indique comment des évaluations bien conçues et soigneusement mises en œuvre pourraient contribuer à réduire ces écarts et comment des rapports de meilleure qualité ainsi que la transparence sur les résultats de l'aide pourraient faire progresser l'ordre du jour de l'efficacité de l'aide.

Cet article examine deux questions qui, ces dernières années, ont pris une importance croissante dans la littérature consacrée aux politiques de développement et aux politiques sociales : d'une part, on considère que l'on manque de données probantes et de connaissances sur les effets des différents types d'interventions politiques sur les résultats du développement. D'autre part, les données disponibles ne sont que rarement exploitées afin d'améliorer les politiques. Nous démontrons que plusieurs raisons sont à l'origine de ce paradoxe apparent : (i) les évaluations produisent des informations limitées et n'ont qu'une portée réduite ; (ii) les incitations et les objectifs de l'ensemble des acteurs impliqués dans les processus de production et d'utilisation de l'évaluation sont fondamentalement différents ; (iii) il existe des différences importantes en termes de capacités à utiliser et à produire de l'information afin d'améliorer la conception des politiques. Nous mettons en évidence que, pour progresser, il convient d'examiner ces éléments et d'adopter des approches plus intégrées afin d'aller au-delà de l'approche prédominante actuellement, qui consiste à rechercher des données probantes en se focalisant uniquement sur l'offre ou sur la demande.

Deux courants ont récemment refaçonné l'aide au développement. Le mouvement en faveur des objectifs a unifié et inspiré les acteurs de l'aide avec des objectifs quantifiables ; le mouvement en faveur de l'évaluation a émis des normes pour mesurer les effets réels de l'aide. Ces deux courants semblent complémentaires, mais dans certains projets de l'aide ils se sont heurtés de manière improductive. Je passe en revue un tel affrontement, dans le projet Villages du Millénaire (MVP) mis en œuvre par les Nations Unies. L'histoire nous donne des leçons sur la façon dont les nouveaux objectifs de développement et les évaluations d'impact à venir pourraient davantage se renforcer mutuellement.