Naviguer parmi les méthodes quantitatives d'évaluation de la PAC
- Évaluation
- Évaluation
- Méthodes d'évaluation
- Gestion des données
- Cadre de Suivi et d'Évaluation de la Performance (CSEP)
- Cadre de suivi et d'évaluation.
Cette page fournit des conseils aux non-spécialistes pour les aider à s'y retrouver dans les méthodes quantitatives utilisées dans l'évaluation de la PAC. Elle propose quelques indications destinées à aider les autorités de gestion (AG), les évaluateurs, les analystes des politiques et les parties prenantes à s'y retrouver parmi les nombreuses méthodes quantitatives différentes utilisées dans l'évaluation de la PAC.
Page contents
Il est important de souligner que :
- Cette section est destinée à des non-spécialistes. Le choix de la méthode, sa mise en œuvre et l'interprétation des résultats nécessitent l'intervention d'évaluateurs professionnels ayant des connaissances en économétrie.
- Unité d'analyse : les exemples utilisent principalement les exploitations agricoles comme unité concernée par la politique, mais les principes s'appliquent à d'autres bénéficiaires (par exemple, les organisations de producteurs).
- Besoins en données : les méthodes avancées nécessitent des ensembles de données volumineux et de haute qualité. La disponibilité des données limite souvent les choix méthodologiques.
Le présent guide se concentre uniquement sur l'évaluation ex post, c'est-à-dire basée sur des données historiques (et non issues de modèles de simulation) observées après que la politique analysée a été mise en œuvre.
Notions de base
Concepts fondamentaux
Les méthodes d'évaluation peuvent être classées selon plusieurs dimensions clés, notamment :
- Évaluation ex ante vs ex post
- Méthodes quantitatives vs qualitatives
- Données transversales vs données de panel
- Corrélation vs causalité
Chaque dimension est brièvement présentée ci-dessous.
Évaluation ex ante vs ex post
L'évaluation des politiques s'effectue selon deux calendriers complémentaires : tandis que l'analyse ex ante prévoit les impacts potentiels avant la mise en œuvre, soutenant ainsi la conception de politiques fondées sur des données probantes, l'évaluation ex post valide si les politiques ont atteint leurs effets escomptés dans la pratique en examinant les résultats réels après la mise en œuvre. Ensemble, elles créent un retour d'information essentiel pour l'élaboration, l'ajustement et la refonte des politiques.
Évaluation ex ante : cette approche prospective prévoit les impacts des politiques avant leur mise en œuvre à l'aide de modèles, de simulations et de projections économiques. Les évaluations ex ante soutiennent la conception des politiques et éclairent les choix entre différentes interventions possibles.
Évaluation ex post : cette approche rétrospective analyse les résultats réels après la mise en œuvre, en comparant les données empiriques réelles à des scénarios contrefactuels (ce qui se serait passé sans l'intervention). Les évaluations ex post fournissent des preuves permettant de déterminer si les impacts escomptés se sont concrétisés et dans quelle mesure.
Exemple – Prenons l'introduction d'un nouvel éco-régime dans le cadre de la PAC :
- Évaluation ex ante : avant le lancement, des modèles agricoles et économiques prédisent comment les agriculteurs pourraient modifier leurs choix de cultures, leurs pratiques de production et leurs niveaux de revenus en réponse à l'éco-régime.
- Évaluation ex post : après plusieurs années de fonctionnement de l'éco-régime, les évaluateurs examinent les données agricoles réelles des bénéficiaires et des non-bénéficiaires comparables afin de déterminer si les impacts prévus se sont produits et dans quelle mesure.
Méthodes quantitatives vs. qualitatives
Dans l'évaluation de la PAC, les méthodes quantitatives et qualitatives offrent des approches distinctes mais complémentaires pour comprendre les effets des politiques. Les méthodes quantitatives se concentrent sur la mesure de l'ampleur et de la signification statistique des changements, fournissant des réponses claires à la question « dans quelle mesure » une politique a influé sur les résultats. Les méthodes qualitatives, quant à elles, explorent les raisons sous-jacentes, cherchant à comprendre « pourquoi » et « comment » les politiques réussissent ou rencontrent des difficultés dans différents contextes. Ensemble, ces approches fournissent une image plus complète : l'analyse quantitative révèle ce qui s'est passé et dans quelle mesure, tandis que l'analyse qualitative explique les mécanismes et les conditions qui sous-tendent ces résultats.
Les méthodes quantitatives utilisent des données numériques, des analyses statistiques et des modèles mathématiques pour évaluer les relations entre les variables et estimer les impacts des politiques avec une précision statistique. Elles sont utilisées pour déterminer si les effets observés sont statistiquement significatifs et pour mesurer l'ampleur des changements, tels que les variations de rendement ou de revenu. En s'appuyant sur de grands ensembles de données et des techniques statistiques rigoureuses, les approches quantitatives fournissent des résultats objectifs et généralisables qui sont essentiels pour évaluer l'efficacité des politiques à grande échelle.
Les méthodes qualitatives utilisent des entretiens, des enquêtes, des Focus Groups, des études de cas, l'analyse de documents et l'interprétation de textes pour comprendre les mécanismes de mise en œuvre, les facteurs contextuels et les points de vue des parties prenantes. Ces approches sont précieuses pour mettre en évidence les obstacles, les conditions favorables et les raisons qui expliquent les résultats observés, des informations que les chiffres seuls ne peuvent pas fournir. Les principales méthodes qualitatives utilisées dans l'évaluation de la PAC comprennent notamment l'analyse acteur-réseau, l'analyse de contribution, l'analyse coûts-avantages et coût-efficacité dans le contexte de l'évaluation de la PAC, l'outil de notation de la capacité d'innovation, la cartographie des connaissances, la méthode d'évaluation de l'impact des programmes et des projets (MAPP), la méthode du changement le plus significatif, la cartographie des résultats, l'évaluation rapide des systèmes d'innovation agricole (RAAIS), l'analyse des réseaux sociaux, la cartographie des parties prenantes, les approches théoriques et la cartographie visuelle des SCIA.
Exemple – Supposons qu'une politique agricole ait introduit de nouvelles subventions pour les pratiques agricoles respectueuses de l'environnement.
- Une évaluation quantitative pourrait utiliser les données issues des registres agricoles pour calculer l'impact de ces subventions sur les rendements agricoles ou les revenus agricoles dans une région, en déterminant le changement moyen et sa signification statistique.
- Une évaluation qualitative consisterait à interroger les agriculteurs et les responsables locaux afin de comprendre pourquoi certains agriculteurs ont rapidement adopté les nouvelles pratiques, quels facteurs ont ralenti l'adoption chez d'autres et comment les traditions locales ou les réseaux communautaires ont influencé les résultats.
Données transversales vs données de panel
La principale différence entre les données transversales et les données de panel réside dans ce qu'elles nous permettent de comparer. Les données transversales fournissent un instantané, permettant de comparer différentes unités (telles que des exploitations agricoles) à un moment donné. En revanche, les données de panel suivent les mêmes unités sur plusieurs périodes, ce qui nous permet d'observer les changements au sein de ces unités et de mieux comprendre les effets des politiques ou des interventions au fil du temps. Ensemble, ces types de données offrent des perspectives complémentaires : les données transversales mettent en évidence les différences entre les unités à un moment donné, tandis que les données de panel révèlent l'évolution des résultats pour les mêmes unités.
Les données transversales capturent les informations provenant de plusieurs unités (par exemple, des exploitations agricoles) à un moment donné. Cette approche répond à des questions telles que « En quoi les participants diffèrent-ils des non-participants à l'heure actuelle ? ». Elle permet d'identifier des tendances et des différences entre les unités, mais sa capacité à établir des relations causales ou à tenir compte des différences préexistantes est limitée. Comme elles ne fournissent qu'un instantané, les données transversales ne permettent pas de déterminer si les différences observées sont dues à une politique ou à d'autres facteurs, tels que l'emplacement ou les compétences managériales.
Les données de panel suivent les mêmes unités de manière répétée sur plusieurs périodes (par exemple, de 2018 à 2023). Cette méthode permet aux chercheurs d'observer les changements qui se produisent au sein des unités après l'introduction d'une politique. Cette approche permet de répondre à des questions telles que « Comment les résultats des exploitations agricoles ont-ils évolué après l'introduction de la politique ? ». Les données de panel sont particulièrement précieuses car elles permettent de contrôler les caractéristiques stables et immuables (telles que la qualité du sol, l'emplacement ou les capacités de gestion inhérentes), ce qui aide à isoler l'effet réel d'une politique ou d'une intervention.
Exemple – Supposons que nous voulions évaluer si un nouvel éco-régime de la PAC (un programme volontaire lancé en 2023) augmente les revenus agricoles.
- À l'aide de données transversales : un évaluateur collecte des données auprès de 5 000 exploitations agricoles en 2023 et compare le revenu moyen des 2 500 exploitations qui ont adhéré à l'éco-régime à celui des 2 500 qui ne l'ont pas fait. Bien que cela montre des différences de revenus (par exemple, les exploitations participantes ont des revenus plus élevés), cela ne permet pas de déterminer si l'éco-régime est à l'origine de cette différence ou si les exploitations plus innovantes, plus rentables ou mieux situées étaient plus susceptibles de s'inscrire dès le départ. Cet « instantané » ne permet pas de distinguer l'effet de la politique de ces avantages préexistants.
- Utilisation de données de panel : un évaluateur collecterait des données auprès des mêmes 5 000 exploitations agricoles chaque année de 2020 à 2024. En suivant les revenus de chaque exploitation avant et après la mise en place de l'éco-régime, il pourrait comparer l'évolution des revenus des exploitations participantes et non participantes. Cette approche permet de contrôler les caractéristiques stables et immuables des exploitations (telles que la qualité du sol ou les compétences innées des agriculteurs) en comparant chaque exploitation à ses propres performances passées. Elle fournit ainsi une image plus claire de l'impact réel de l'éco-régime.
Corrélation vs. causalité
Il est essentiel de comprendre la différence entre corrélation et causalité dans l'évaluation des politiques. La corrélation décrit une association statistique entre deux variables : lorsque l'une change, l'autre a tendance à changer également. Cependant, la corrélation seule ne prouve pas qu'une variable entraîne le changement de l'autre. La causalité, en revanche, signifie que les changements d'une variable entraînent directement des changements dans une autre, établissant ainsi la direction spécifique dans laquelle l'effet a lieu. Si la corrélation est nécessaire à la causalité, elle n'est pas suffisante ; pour établir la causalité, il faut exclure les autres explications possibles et démontrer un lien direct.
La corrélation indique que deux variables évoluent ensemble de manière prévisible. Cette relation peut être positive (les deux augmentent ou diminuent ensemble), négative (l'une augmente tandis que l'autre diminue) ou avoir une signification statistique inférieure à zéro. La corrélation aide à identifier des modèles et des relations potentielles, mais elle n'explique pas pourquoi la relation existe ni si une variable influence l'autre.
La causalité signifie que les changements d'une variable entraînent directement des changements dans une autre. L'établissement d'un lien de causalité nécessite une analyse plus rigoureuse, notamment l'élimination d'autres explications possibles (telles que des facteurs de confusion ou des relations fallacieuses) et la démonstration que l'effet va dans une direction spécifique. L'inférence causale s'appuie souvent sur des méthodes expérimentales ou quasi expérimentales pour isoler l'effet réel d'une politique ou d'une intervention.
Exemple – Supposons que les exploitations agricoles bénéficiant de paiements plus élevés au titre du régime de soutien au revenu de base (BISS) affichent également des revenus moyens plus élevés.
- Cette corrélation peut s'expliquer par plusieurs raisons :
- Les grandes exploitations agricoles reçoivent des paiements plus importants et sont indépendamment plus rentables (corrélation fallacieuse).
- Les paiements entraînent réellement des revenus plus élevés (effet de causalité réel).
- Les niveaux de revenus et de paiements dépendent de caractéristiques agricoles non observées (facteurs de confusion).
Des méthodes de causalité rigoureuses sont nécessaires pour isoler systématiquement l'effet réel de la politique de ces autres explications.
Pour prouver qu'une politique de la PAC a entraîné un résultat, les évaluateurs ne doivent pas tomber dans l'un de ces trois « pièges » (les termes techniques correspondants sont indiqués entre parenthèses).
Le piège du « facteur manquant » (facteur de confusion)De quoi s'agit-il ? Parfois, deux choses semblent liées parce qu'une troisième, cachée, influence les deux. Ce « facteur caché » donne la fausse impression que l'une cause directement l'autre. Pourquoi est-ce délicat ? Il est facile de confondre coïncidence et causalité. Ignorer les facteurs cachés peut nous amener à attribuer à tort les effets de la politique à l'intervention, même si c'est en réalité autre chose qui est responsable des changements observés. Exemple : supposons que la PAC verse des subventions plus élevées aux exploitations agricoles biologiques et que celles-ci aient tendance à réaliser des bénéfices plus importants. Est-ce la subvention qui a rendu les exploitations agricoles biologiques rentables ? Peut-être pas. Les exploitations agricoles biologiques sont peut-être plus grandes ou situées dans des régions plus favorables, ce qui les rend à la fois plus susceptibles de demander des subventions et de réaliser des bénéfices plus élevés. Dans ce cas, la véritable cause de la rentabilité n'est pas la subvention, mais ces avantages cachés et non mesurés. Le piège de « l'œuf et de la poule » (causalité inverse)De quoi s'agit-il ? Ce piège se produit lorsque nous supposons qu'une politique a été mise en place en premier et a entraîné un résultat, alors que c'est l'inverse qui est vrai. Le résultat existait avant la mise en œuvre de la politique. Pourquoi est-ce délicat ? Cela brouille la chronologie des événements, nous amenant à croire que la politique a changé quelque chose, alors qu'en réalité ce n'est pas le cas. Exemple : imaginons un programme qui soutient les investissements agricoles. Si les exploitations agricoles soutenues sont celles qui ont les investissements les plus élevés, on pourrait penser que le programme a motivé ces investissements. Cependant, ces exploitations auraient pu prévoir d'investir avant de demander une aide. C'est leur volonté d'investir qui les a amenées à solliciter une aide. Dans ces circonstances, ce n'est pas l'aide qui a motivé l'investissement, mais plutôt l'intention d'investir qui est apparue en premier. Le piège du « cherry picking » (Biais de sélection)De quoi s'agit-il ? Ce phénomène se produit lorsque l'on compare des groupes qui ont choisi de participer à une politique avec ceux qui ne l'ont pas fait, sans tenir compte des différences préexistantes entre les groupes. La comparaison simple et directe suggère que la politique a eu un effet, alors qu'en réalité, cet effet pourrait être dû aux différences entre les groupes. Pourquoi est-ce délicat ? Cela attribue à la politique le mérite de résultats qui pourraient en réalité refléter les qualités de ceux qui ont choisi d'y participer, et non la politique elle-même. Exemple : prenons le cas d'un programme de la PAC visant à encourager les jeunes agriculteurs. Si l'on compare les jeunes agriculteurs (qui ont adhéré au programme) aux agriculteurs plus âgés (qui ne l'ont pas fait), les jeunes agriculteurs peuvent déjà être plus motivés, mieux formés ou plus disposés à essayer de nouvelles techniques. Leurs meilleurs résultats, leurs rendements ou leurs profits plus élevés pourraient être dus à ces caractéristiques, et non à la politique elle-même. |
Classification des méthodes quantitatives
Cette section fournit une brève description des méthodes les plus couramment utilisées. Comme démontré dans la section précédente, les méthodes peuvent être classées selon plusieurs dimensions clés. Ici, ces méthodes quantitatives sont classées en fonction de leur capacité à établir des relations corrélationnelles ou de causalité. Les lecteurs intéressés par plus de détails peuvent consulter le portail qui couvre chacune de ces approches ou se reporter à des ouvrages d'économétrie tels que Angrist & Pischke (2008) et (2015), Cerulli (2022), Cunningham (2021), Greene (2012) et Wooldridge (2010).
Méthodes d'évaluation de la corrélation
Ces méthodes identifient des associations statistiques, mais n'établissent pas de causalité.
Quand les utiliser ? Les méthodes de corrélation sont utiles pour l'analyse exploratoire, le suivi des politiques et lorsque les méthodes de causalité ne sont pas applicables.
Les principales méthodes de corrélation sont les suivantes :
- Les moindres carrés ordinaires (OLS) : une méthode de régression qui estime les relations linéaires en choisissant des coefficients qui minimisent la somme des résidus au carré ; principalement descriptive si les hypothèses causales clés ne sont pas justifiées.
- Modèles à effets fixes (FE) : régression de données de panel qui contrôle toutes les caractéristiques invariables dans le temps de chaque unité en utilisant uniquement la variation intra-unité au fil du temps.
- Différence-GMM (Diff-GMM) et système-GMM (SYS-GMM) : estimateurs de panel dynamiques qui utilisent des instruments internes (décalage de variables) pour traiter l'endogénéité dans les modèles avec des variables dépendantes décalées et des panels longs.
Méthodes permettant d'établir la causalité
Dans l'évaluation des politiques, l'évaluation de la causalité est beaucoup plus informative que la simple identification des corrélations. Pour établir rigoureusement des relations causales, des méthodes statistiques avancées sont nécessaires. Ces méthodes requièrent à la fois de solides compétences en économétrie et l'accès à des données exhaustives et de haute qualité, comme nous le verrons plus loin.
L'analyse causale s'appuie souvent sur des approches d'évaluation d'impact contrefactuelle (CIE), qui construisent un scénario contrefactuel, c'est-à-dire une estimation de ce qui se serait passé en l'absence d'intervention. Cela permet de remédier au biais de sélection et d'isoler l'effet réel d'une politique ou d'un programme.
Les méthodes CIE comparent généralement deux groupes :
- Groupe de traitement : unités (par exemple, exploitations agricoles) exposées à la politique, au programme ou à l'intervention étudiés.
- Groupe témoin : unités comparables qui ne sont pas exposées à l'intervention, servant de référence pour ce qui serait arrivé aux unités traitées sans la politique.
En comparant les résultats entre ces groupes, les évaluateurs peuvent attribuer avec plus de certitude les changements observés à l'intervention elle-même, plutôt qu'à d'autres facteurs.
Une liste des principales méthodes permettant d'établir la causalité est fournie ci-dessous.
- Essais contrôlés randomisés (ECR) : conception expérimentale dans laquelle les unités éligibles sont réparties de manière aléatoire dans un groupe de traitement ou un groupe témoin. La randomisation garantit que les deux groupes sont statistiquement comparables sur le plan des caractéristiques observées et non observées, ce qui permet d'attribuer la différence de résultats uniquement à l'intervention (considérée comme la « norme de référence » pour l'inférence en matière de causalité).
- Appariement par score de propension (PSM) : méthode qui apparie les unités traitées et les unités témoins ayant des probabilités similaires de recevoir le traitement (scores de propension) sur la base de covariables observées, afin de se rapprocher d'une expérience randomisée.
- Différence dans les différences (DiD) : méthode causale qui compare les changements dans les résultats au fil du temps entre les groupes traités et les groupes témoins, en se basant sur l'hypothèse de tendances parallèles en l'absence de traitement.
- PSM-DiD : approche hybride combinant le PSM et la DiD pour améliorer les estimations causales. Tout d'abord, le PSM est utilisé pour sélectionner un groupe témoin comparable sur la base de caractéristiques observables ; ensuite, la DiD est appliqué à cet échantillon apparié afin de contrôler l'hétérogénéité non observée invariante dans le temps, ce qui assouplit l'hypothèse de tendances parallèles et réduit le biais plus efficacement que chacune des deux méthodes prises séparément.
- Modèle par discontinuité de régression (RDD) : modèle de la causalité qui exploite une coupure nette dans une variable d'affectation (par exemple, le seuil d'éligibilité) et compare les unités situées juste au-dessus et juste en dessous du seuil.
- Méthode de contrôle synthétique (SCM) : approche causale pour les cas comportant une ou plusieurs unités traitées, consistant à construire une combinaison pondérée d'unités non traitées afin d'imiter la trajectoire pré-interventionnelle de l'unité traitée.
- Variables instrumentales (IV) : méthode utilisée lorsque l'affectation du traitement est endogène (corrélée au terme d'erreur). Elle utilise une variable externe (instrument) qui est corrélée au traitement mais qui n'affecte le résultat que par le biais du traitement (restriction d'exclusion), ce qui permet d'isoler la variation exogène afin d'estimer les effets de causalité.
- Méthodes quantiles
- Fonction dose-réponse quantile (QDRF) : estime l'effet du traitement sur l'ensemble de la distribution de la variable de résultat pour les traitements continus, en montrant comment différents niveaux (doses) de traitement affectent des quantiles spécifiques (par exemple, la partie inférieure par rapport à la partie supérieure) du résultat.
- Effet conditionnel quantile du traitement (QCTE) : mesure l'effet causal d'un traitement binaire sur différents quantiles de la distribution des résultats, sous réserve des covariables, permettant aux chercheurs de comprendre les impacts au-delà de l'effet moyen simple (par exemple, les effets sur les personnes très performantes par rapport aux personnes peu performantes).
Comment sélectionner la ou les méthodes les plus appropriées ?
Le choix de la bonne méthode d'évaluation implique la prise en compte de plusieurs aspects clés et est mieux réalisé avec le soutien d'experts ayant une solide expérience en économétrie appliquée à l'évaluation des politiques. Cependant, cette section offre des conseils pratiques aux non-experts qui doivent prendre cette décision complexe.
Les facteurs clés à prendre en compte lors du choix des méthodes d'évaluation sont les suivants :
- Caractéristiques de la politique et participation :
- L'intervention est-elle complètement nouvelle (rupture claire avec la politique précédente) ou s'agit-il d'une continuation avec seulement des ajustements mineurs ?
- Pouvez-vous clairement distinguer les exploitations agricoles (ou unités) qui participent à la politique de celles qui n'y participent pas ? Y a-t-il un seul groupe, deux groupes ou plus ?
- Avantages et limites de chaque méthode (pour/contre)
- Caractéristiques et disponibilité des données :
- Vos données sont-elles transversales (instantané à un moment donné) ou de panel (suivi des mêmes unités sur plusieurs périodes) ?
L'évaluation étant souvent limitée par la disponibilité et la qualité des données, cette section se concentre principalement sur les considérations relatives aux données, en particulier sur la disponibilité de données transversales ou de données de panel. Elle décrit également les étapes clés pour choisir une approche d'évaluation appropriée et met en évidence les méthodes adaptées à différents contextes d'évaluation.
La figure ci-dessous présente un arbre de décision simplifié pour aider à choisir les méthodes appropriées, en mettant l'accent sur la disponibilité des données. Veuillez interpréter cet outil avec prudence : le choix de la bonne méthode est complexe, nécessite la prise en compte de multiples facteurs et devrait idéalement être effectué avec l'aide d'experts.
Commencez par vous demander « de quelles données disposons-nous ? », puis passez en revue les différentes options.
-
Niveau 1 : Structure des données
- Données de panel ?
- OUI → Données de panel disponibles (observations multiples par unité au fil du temps)
- NON → Seules des données transversales sont disponibles (observation unique par unité)
Si des données de panel sont disponibles :
- Avant et après la politique ?
- OUI → Données pré et post disponibles (peut exploiter le calendrier de la politique)
- NON → Seules les données post-politique sont disponibles
Si les données pré et post sont disponibles :
- Objectif ?
- Causalité (estimation de l'effet du traitement) :
- Contrôle synthétique : peu d'unités traitées, longue période préalable
- Étude DiD/événement : plusieurs groupes de comparaison disponibles
- RDD : seuil strict d'éligibilité au traitement
- DESCRIPTIF (caractériser les modèles) :
- Durée du panel ?
- Effets fixes (FE) : 3 à 5 ans de données
- Diff-GMM/Sys-GMM : >5 ans de données
- Causalité (estimation de l'effet du traitement) :
Si seules les données post-politique sont disponibles :
- Informations sur le traitement disponibles ?
- OUI (informations riches sur le traitement) :
- PSM : appariement par score de propension (avec covariables riches)
- RDD : discontinuité de régression (avec seuil d'éligibilité clair)
- OUI (informations riches sur le traitement) :
Si données transversales uniquement :
- Objectif ?
- CAUSAL (estimer l'effet du traitement) :
- PSM : appariement sur les covariables observées
- RDD : seuil d'éligibilité (discontinuité de régression)
- DESCRIPTIF (caractériser les relations) :
- OLS : régression par les moindres carrés ordinaires
- CAUSAL (estimer l'effet du traitement) :
- Données de panel ?
Référence rapide : résumé du choix de la méthode
Le tableau ci-dessous fournit un guide de référence rapide pour choisir les méthodes d'évaluation appropriées en fonction de la structure des données et de l'exposition à la politique. Il résume les méthodes adaptées aux différentes combinaisons de types de données (transversales ou panel), à la présence ou à l'absence de groupes témoins et à la nature de la mise en œuvre de la politique. Pour chaque scénario, le tableau indique les méthodes recommandées et précise si l'analyse qui en résulte soutient la corrélation ou l'inférence causale.
Cet aperçu vise à aider les évaluateurs à identifier rapidement les options méthodologiques les plus pertinentes pour leur contexte d'évaluation spécifique.
| Structure des données | Exposition à la politique/groupe témoin | Méthodes appropriées | Type de relation |
|---|---|---|---|
| Coupe transversale | Toutes les exploitations agricoles concernées (pas de groupe témoin) | OLS | Corrélation |
| Coupe transversale | Certaines exploitations agricoles traitées, d'autres non ; covariables riches | Appariement par score de propension (PSM) | Causalité |
| Coupe transversale | Traitement attribué selon un critère d'éligibilité strict | Modèle de discontinuité de régression (RDD) | Causalité |
| Panel | Toutes les exploitations agricoles concernées ; panel de durée moyenne (≈3-5 ans) | Effets fixes (FE) | Corrélation (au sein de l'exploitation agricole) |
| Panel | Toutes les exploitations agricoles concernées ; panel long (> 5 ans, effets dynamiques) | Différence-GMM / Système-GMM | Corrélation (dynamique) |
| Panel | Certaines exploitations agricoles traitées, d'autres non ; données avant et après la politique | Différence dans les différences (DiD) ; étude d'événement | Causalité |
| Panel | Peu d'unités traitées ; longue série chronologique avant la politique | Contrôle synthétique | Causalité |
| Panel | Panel post-politique uniquement ; certaines unités traitées, d'autres non ; covariables riches | PSM (panel) ; RDD (seuil d'éligibilité, si la règle génère un traitement dans le panel) | Causalité |
Principes clés
- La structure des données (panel ou transversale) détermine les méthodes disponibles.
- La structure temporelle (disponibilité avant/après) permet des stratégies d'identification causale.
- Votre objectif de recherche (causal vs descriptif) détermine le choix de la méthode.
- Des informations covariables riches augmentent les options pour l'inférence causale.
- Validez toujours les hypothèses de la méthode que vous avez choisie.
Lectures complémentaires
- Réseau européen de développement rural (REDR) pour la PAC (2014), Capturer le succès de votre PDR : lignes directrices pour l'évaluation ex post des PDR 2007-2013
- Angrist, J. D., & Pischke, J.-S. (2008), Mostly harmless econometrics: An empiricist’s companion
- Angrist, J. D., & Pischke, J.-S. (2015), Mastering metrics: The cause from path to effect
- Cerulli, G. (2022), Econometric Evaluation of Socio-Economic Programs. In The Econometrics of Panel Data
- Cunningham, S. (2021), Causal Inference: The Mixtape
- Greene, W. H. (2012), Econometric Analysis
- Opatrny, M. (2021), Evaluating Economic Policy Using the Synthetic Control Method
- Wooldridge, J. M. (2010), Econometric Analysis of Cross Section and Panel Data
- Wooldridge, J. M. (2019), Introductory Econometrics: A Modern Approche (7e éd.)