Accueil » Sommaires » revue : Economie et prévision » no 204-205, 2014/1

Contenu du sommaire : Méthodes d'évaluation des politiques publiques

Revue Economie et prévision Mir@bel
Numéro no 204-205, 2014/1
Titre du numéro Méthodes d'évaluation des politiques publiques
Texte intégral en ligne Accessible sur l'internet
  • Introduction générale - Hélène Erkel-Rousse accès libre

  • Méthodes microéconométriques athéoriques d'évaluation d'impact

    • Méthodes économétriques pour l'évaluation de politiques publiques - Pauline Givord p. 1-28 accès libre avec résumé avec résumé en anglais
      Cet article présente les principales méthodes économétriques utilisées pour l'évaluation ex post de l'impact d'une politique publique. Il met l'accent sur les problèmes de sélection qui se posent lors d'une évaluation (en particulier en expliquant comment distinguer ce qui relève de l'effet d'une politique des spécificités éventuelles de ses bénéficiaires). Il trace les différentes étapes d'une feuille de route d'un tel exercice (données nécessaires, hypothèse d'identification, interprétation des résultats), illustrées par les exemples issus d'articles récents de la littérature économique. On commence par rappeler le cadre classique d'inférence causale dit “de Rubin”, puis on décrit en détail les quatre principales méthodes empiriques d'évaluation : sélection sur observables, différence de différences, variables instrumentales et régression sur discontinuités.
      Econometric Methods for Public Policy Evaluation This paper presents an overview of the econometric tools recently developed for empirical ex post policy evaluation. The author begins by emphasising the selection problems involved in evaluation (how to disentangle the real effect of a policy from the individual characteristics of the persons impacted). Next, she examines the practical aspects of policy evaluation, such as access to relevant data, identification hypotheses and interpretation of results. Illustrations are taken from recent empirical papers published in the economic literature. After presenting the Rubin framework for causal inference, the author focuses on the four main empirical designs for evaluation: selection on observables, difference-in-differences, instrumental variables, and regression on discontinuity.
    • Évaluation du suivi mensuel personnalisé mis en place par l'ANPE en 2006 - Maëlle Fontaine, Thomas Le Barbanchon p. 29-52 accès libre avec résumé avec résumé en anglais
      Dans cet article, nous évaluons l'effet du suivi mensuel personnalisé (SMP) mis en place à l'ANPE à partir de 2006. Le SMP organise un suivi précoce (à partir du quatrième mois de chômage) et intensif des demandeurs d'emploi présentant un risque de chômage de longue durée de faible à modéré. À partir d'une méthode de double différence, nous estimons que l'intensification du suivi réduit significativement la durée passée sur les listes de l'ANPE, de 5 à 12 %. L'effet est plus fort en 2007 qu'en 2006 et pour les demandeurs d'emploi en filière longue d'indemnisation. La réduction de la durée d'inscription provient à la fois de reprises d'emploi et de radiations administratives qui interviennent plus rapidement après l'inscription.
      Do Job Seekers Benefit from More Frequent Interviews with Their Caseworkers? In January 2006, the French public employment service (ANPE) implemented the “Suivi Mensuel Personnalisé” (SMP), a new massive follow-up programme to monitor and counsel job seekers. The programme starts four months after their registration and consists in interviewing them every month. This paper evaluates the effect of SMP on registered unemployment spells. Using a difference-in-differences method, we find that SMP shortened unemployment spells to a significant degree, by between 5 % and 12 %. The impact was greater in 2007 than in 2006, and for long-term recipients of unemployment benefits. Unemployment spells were shortened thanks to higher job finding rates and higher deregistration rates.
    • Évaluation de la transformation de la réduction d'impôt pour l'emploi de salariés à domicile en crédit d'impôt en 2007 - Claire Marbot, Delphine Roy p. 53-88 accès libre avec résumé avec résumé en anglais
      Depuis 1991, les utilisateurs de services à domicile peuvent déduire de leur impôt 50 % des sommes dépensées pour ces services. Cette réduction d'impôt s'est transformée en 2007 en crédit d'impôt, mais pour les ménages actifs uniquement, ce qui limite fortement l'impact de la mesure. En effet, en 2008, le crédit d'impôt a remboursé 1,9 % des 7,8 milliards d'euros dépensés dans l'année, la réduction d'impôt, 34 %. L'impact de la mesure est estimé à partir de données fiscales exhaustives disponibles sous forme de panel sur la période 2006-2008 et en combinant les méthodes de différence de différences et d'appariement. Selon ces estimations, la mesure aurait incité entre 86 000 et 120 000 ménages supplémentaires à utiliser des services à domicile en les déclarant.
      The Impact of Turning a Tax Reduction into a Tax Credit to Subsidise In-Home Services : An Evaluation of the 2007 Reform in France. Since 1991, users of in-home services have been eligible for a tax refund equal to 50 % of their spending on these services. The tax reduction was turned into a tax credit in 2007, but only for economically active households. This condition greatly limited the impact of the policy change: in 2008, the tax credit covered 1.9 % of the total €7.8 bn annual expenditure, against 34 % for the earlier tax reduction. We evaluate the impact of the reform using an exhaustive panel database of tax returns available for 2006-2008, and combining difference-in-differences and matching methods. Our results suggest that the reform induced an additional 86,000 to 120,000 households to use declared in-home services.
    • Le crédit d'impôt dédié au développement durable : une évaluation économétrique - Amélie Mauroux p. 89-117 accès libre avec résumé avec résumé en anglais
      Cet article évalue l'impact incitatif de la hausse en 2006 de 25 % à 40 % du taux de crédit d'impôt sur les travaux d'amélioration de l'efficacité énergétique réservée aux propriétaires depuis deux ans au plus d'un logement achevé avant 1977. Un modèle d'appariement combiné à des triples différences est estimé sur données fiscales exhaustives. Si le taux avait été maintenu à 25 %, un ménage éligible sur quinze, parmi les déclarants occupant un logement achevé entre 1969 et 1976, n'aurait pas recouru au crédit d'impôt en 2006, un sur huit en 2007 et 2008. Sauf à supposer des économies d'émissions de CO2 très importantes après travaux, le montant d'aide publique par tonne de CO2 évitée serait supérieur à 32 €, la valeur tutélaire du carbone.
      The French Tax Credit for Sustainable Development: An Econometric Assessment. This article evaluates the incentive impact of the 2006 increase from 25 % to 40 % in the tax credit on residential energy-efficiency improvement for homeowners who have lived for two years or less in a dwelling built before 1977. We estimate a triple-differences model combined with matching on exhaustive fiscal data. If the credit rate had stayed at 25 %, one in fifteen eligible households among households filing tax returns and living in buildings completed between 1969 and 1976 would not have used this tax credit in 2006; the proportion would have risen to one in eight in 2007 and 2008. Unless we assume substantial CO2 emission reductions after energy conservation investments, our model shows that public spending per tonne of CO2 not emitted would exceed €32, the social cost of carbon in France.
    • L'assignation aléatoire comme méthode d'évaluation des politiques publiques - Adrien Bouguen, Juliette Seban p. 119-143 accès libre avec résumé avec résumé en anglais
      L'évaluation d'impact d'une politique publique se heurte au problème de l'inférence causale, qui rend inopérantes les méthodes intuitives (comparaison entre avant et après le lancement de la politique ou entre bénéficiaires et non bénéficiaires). En comparant les résultats de deux groupes constitués aléatoirement avant le lancement de la politique, l'assignation aléatoire fournit une méthode rigoureuse d'évaluation d'impact. Cet article formule le problème de l'inférence causale puis montre comment, sous certaines conditions, l'assignation aléatoire permet de le résoudre. Les différents protocoles possibles et leurs conséquences en termes d'applicabilité, d'éthique et de précision statistique sont examinés. Les menaces potentielles pesant sur les résultats d'analyse sont détaillées, distinguant celles qui sont communes à toutes les méthodes d'évaluation de celles qui sont spécifiques à l'évaluation aléatoire.
      Random Assignment as a Method for Evaluating Public Policy. Public policy evaluation suffers from a causal inference problem that affects intuitive methods such as simple before-after comparison or beneficiary-non-beneficiary comparison. By comparing results obtained from two randomly selected groups before policy implementation, randomisation provides a rigorous evaluation method. We describe the formalisation of the causal inference problem and discuss how randomisation can, under certain conditions, provide a solution. We outline different evaluation designs, along with their influence on implementation, ethics and statistical accuracy. Lastly, we examine the threats to the validity of results, distinguishing between the threats that also weigh on other evaluation methods and those specific to Randomised Controlled Trials.
    • Le calcul de puissance en assignation aléatoire : un point de vue de statisticien - Hélène Erkel-Rousse p. 145-161 accès libre avec résumé avec résumé en anglais
      Le calcul de puissance revêt une grande importance pratique car il conditionne la capacité à évaluer de manière satisfaisante l'effet d'une mesure de politique économique sur la base d'un protocole expérimental, en influençant les choix de ses caractéristiques techniques. Ce commentaire vise à documenter le débat sur le type de test d'hypothèses sur lequel fonder de préférence le calcul de puissance. Il montre que le choix d'un test unilatéral ou d'un test bilatéral permet indifféremment de répondre aux questions qui se posent à l'évaluateur, dès lors que les propriétés de ces tests sont bien maîtrisées. Il rappelle en outre l'importance pour le calcul de puissance d'une bonne formulation de l'écart-type de l'estimateur de l'effet de la politique à évaluer.
      Power Analysis in Random Assignment: A Statistician's Perspective. Power analysis is extremely important in practical terms. By influencing the choice of technical characteristics of an experimental protocol, it determines the protocol's ability to yield a satisfactory assessment of the impact of a policy measure. This comment focuses on the discussions about which kind of hypothesis test should serve as the basis for the power analysis. We show that either one-sided tests or two-sided tests can be chosen to address evaluation questions, provided that the tests' properties are properly mastered. We also recall the importance of correctly expressing the standard deviation of the policy-effect estimator for the accuracy of the power analysis.
    • Expérimentation contrôlée contre appariement : le cas d'un dispositif d'accompagnement de jeunes diplômés demandeurs d'emploi - Marianne Bléhaut, Roland Rathelot p. 163-181 accès libre avec résumé avec résumé en anglais
      Cette étude vise à comparer les résultats d'une évaluation expérimentale avec ceux que l'on aurait pu obtenir si le même programme avait été évalué par des méthodes non-expérimentales. Nous utilisons l'exemple d'un programme d'accompagnement visant les jeunes diplômés demandeurs d'emploi, ayant fait l'objet d'une évaluation par expérimentation aléatoire. En l'absence d'expérimentation, aucun groupe de contrôle n'aurait pu être désigné. L'évaluation aurait dû comparer les jeunes entrés dans le dispositif avec ceux qui n'y sont pas entrés. En faisant abstraction du groupe de contrôle expérimental, nous utilisons des méthodes d'appariement afin de contrôler le mieux possible l'hétérogénéité observée entre les jeunes entrés ou non dans le programme. Les résultats obtenus sont très différents de ceux de l'évaluation par expérimentation aléatoire.
      Randomised Controlled Trial vs. Matching: The Evaluation of a French Job Search Assistance Programme for Young Job Seekers. This paper compares the results of an experimental evaluation with those that would have been obtained using non-experimental methods. We study the example of a job search assistance programme targeting young graduates. The programme was initially evaluated using a randomised controlled trial. Absent such a design, the only possible procedure would have consisted in using a non-experimental method and comparing the outcome of participants with those of non-participants. We remove the experimental control group from the sample and use propensity-score matching methods to best control for the observed heterogeneity between individuals who enter the programme and those who do not. The results obtained with matching methods are radically different from the experimental estimates.
    • “Expérimentation contrôlée contre appariement” - Sylvain Chabé-Ferret p. 183-191 accès libre avec résumé avec résumé en anglais
      Ce commentaire discute la portée des résultats de l'article de M. Bléhaut et R. Rathelot (BR) et leurs conséquences pour l'utilisation de l'appariement. L'article de BR démontre de manière indiscutable que les variables observées sont insuffisantes pour neutraliser simultanément biais de sélection, présence d'attrition et effets de déplacement. Ainsi, même s'il n'en apporte pas la preuve définitive, il jette un doute sérieux sur la capacité de l'appariement à résoudre le problème de biais de sélection. Ce doute est renforcé à la lumière des résultats de travaux similaires, dont sont résumés les principaux enseignements. Les conséquences de ces résultats sont tirées pour l'utilisation de l'appariement pour l'évaluation des politiques publiques, notamment de l'emploi.
      Randomised Controlled Trial vs. Matching. This comment discusses the scope of the results obtained by M. Bléhaut and R. Rathelot (BR) and their consequences for the use of matching. The BR paper demonstrates indisputably that observable variables do not suffice to neutralise selection bias, the presence of attrition and displacement effects simultaneously. Thus, even though it does not provide definitive evidence in this respect, the paper casts serious doubts on the ability of matching to solve the selection bias problem. These doubts are compounded by results of similar research work, whose key lessons are summarised. This comment draws the consequences of these findings for the use of matching for public policy evaluation, particularly in the field of employment.

  • Regards sur l'évaluation des politiques publiques

    • Évaluation des politiques publiques : faut-il de l'interdisciplinarité ? - Etienne Wasmer p. 193-209 accès libre avec résumé avec résumé en anglais
      L'évaluation des politiques publiques est devenue un champ de recherche très actif en sciences sociales, dont les travaux influencent de plus en plus les décisions publiques. Le choix de la méthodologie d'évaluation se pose dès lors avec d'autant plus d'acuité qu'elle n'est pas toujours neutre. Plus précisément, nous discutons des avantages et des inconvénients de l'interdisciplinarité lorsqu'il s'agit de porter un diagnostic qui soit à la fois juste, de portée opérationnelle, exact empiriquement et rigoureux scientifiquement. Des travaux de psychologie qui ont étudié la capacité prédictive des experts ont conclu que la spécialisation des experts semblait réduire leurs capacités prédictives. Nous en tirons des implications pour l'évaluation et passons en revue les coûts de transaction générés par les échanges interdisciplinaires.
      Public Policy Evaluation: Do We Need Inter-disciplinarity? Public policy evaluation has become a highly active field of social-science research, and evaluations increasingly influence public decisions. The choice of evaluation methodology may, however, not be neutral. More specifically, we discuss the advantages and disadvantages of inter-disciplinarity for producing an assessment that is fair, operational, empirically accurate and scientifically sound. Psychological research on the determinants of the predictive ability of experts has found that experts' specialisation seems to reduce their predictive abilities. From this result, we draw conclusions for public policy evaluation and weigh the pros of interdisciplinarity against the transaction costs generated by interdisciplinary exchanges.
    • L'évaluation des politiques publiques : qui et comment ? - Stéphane Gregoir p. 211-224 accès libre avec résumé avec résumé en anglais
      Si le discours politique est favorable à une évaluation des politiques, l'organisation de l'administration et des institutions françaises ne traduit pas ce souhait. Aucune institution clairement identifiée n'incarne cette mission. Une telle institutionnalisation permettrait une accumulation des expériences tant en termes de méthodologies pertinentes pour mener les évaluations que de modalités et consignes de mise en œuvre des mesures de politiques nouvelles. Elle créerait un cadre propice à une professionnalisation et une diffusion des bonnes pratiques. Elle faciliterait la conduite régulière de programmes d'évaluation et les rendrait plus visibles. Renforcées en moyens et en compétences, certaines instances françaises pourraient être en position de devenir vis-à-vis du public les institutions coordinatrices et porteuses de l'évaluation ex ante et ex post.
      Public Policy Evaluation: Who, How ? Despite official discourse in favour of public policy evaluation, there is no clearly-identifiable body in France at governmental or institutional level that does so. Policy evaluation responsibility is scattered among a range of departments and agencies. Consolidating the evaluation process would pool experience in relevant evaluation methodologies as well as in the ways and means for implementing new policies. Doing so would create an environment conducive to a more professional evaluation function and the promotion of best practices, and would also facilitate regular, higher-profile policy evaluation programmes. Certain French institutions, if given additional resources and greater skill capacity, could be in a position to coordinate and promote ex-post and ex-ante public policy evaluation.