Méthode de contrôle synthétique
- Évaluation
- Évaluation
- Méthodes d'évaluation
- Gestion des données
- Cadre de Suivi et d'Évaluation de la Performance (CSEP)
- Cadre de suivi et d'évaluation.
La méthode de contrôle synthétique (SCM) est une approche quasi-expérimentale qui offre un moyen fiable d'estimer ce qui se serait produit en l'absence d'une intervention de la PAC, en constituant un groupe de comparaison synthétique à partir de régions ou de pays similaires. Elle s'avère particulièrement utile pour évaluer l'impact des mesures politiques mises en œuvre au niveau régional ou national.
Page contents
Notions de base
En bref
La méthode SCM permet d’estimer l’impact d’une politique qui s’applique à un seul (ou à très peu) pays, région ou secteur. Elle consiste à créer un « jumeau artificiel » de l’unité traitée en combinant plusieurs unités non affectées (avec des pondérations), de sorte que ce jumeau synthétique se comporte comme l’unité traitée avant la mise en œuvre de la politique. Tout écart manifeste apparaissant après la mise en œuvre de la politique est interprété comme l’effet de celle-ci.
La SCM choisit des pondérations pour un groupe d’unités non traitées afin de construire un jumeau artificiel de l’unité traitée, de sorte que leur moyenne pondérée corresponde étroitement à l’unité traitée avant l’intervention, en termes de résultats (par exemple, la production agricole) et de caractéristiques clés (par exemple, la structure des exploitations agricoles).
Une fois la politique mise en œuvre (par exemple, une réforme de la PAC), la trajectoire de l’unité traitée est comparée à celle de son jumeau synthétique (artificiel). L’hypothèse centrale est que, sans la politique, l’unité traitée aurait continué à évoluer comme cette combinaison synthétique. Sous cette hypothèse, la différence entre les deux trajectoires après l’intervention est considérée comme l’effet de la politique.
- Exemple : Utilisation de la SCM pour évaluer l’impact d’une réforme de la PAC dans le pays A
Supposons que nous souhaitions évaluer l’impact d’une réforme de la PAC introduite en 2014 sur la valeur ajoutée agricole dans le pays A.
Nous commençons par sélectionner un groupe de pays non traités (par exemple, les pays B, C, D et E qui n’ont pas mis en œuvre la même réforme).
L’algorithme SCM choisit un ensemble de poids non négatifs pour ces pays donneurs de sorte que leurs tendances et caractéristiques d’avant la réforme ressemblent autant que possible à celles du pays A. Les pays dont les tendances et les caractéristiques d’avant la réforme sont plus proches de celles du pays A reçoivent des poids plus élevés. Les pays qui ne ressemblent pas au pays A reçoivent des poids proches de zéro. Par exemple, les poids optimaux pourraient être : B = 0,4, C = 0,3, D = 0,3, E = 0,
À l’aide de ces poids, nous construisons le « pays synthétique A » en tant que moyenne pondérée des pays donneurs.
Le même ensemble de pondérations est appliqué à :
- la valeur ajoutée agricole d’avant la réforme (par exemple, 2000–2013), et
- les covariables, telles que la répartition de la taille des exploitations, l’utilisation d’intrants par hectare ou la densité du cheptel.
Cela signifie que chaque indicateur du pays A synthétique est la combinaison pondérée des indicateurs correspondants dans B, C et D.
Après 2014, nous comparons l’évolution de la valeur ajoutée agricole dans :
- le pays A dans la réalité, et
- le pays A synthétique (ce à quoi aurait ressemblé la trajectoire de A sans la réforme).
Si, après la réforme de 2014, la valeur ajoutée agricole du pays A réel s’élève nettement au-dessus de la trajectoire synthétique, cet écart est interprété comme l’effet de la réforme de la PAC selon les hypothèses de la SCM (principalement qu’aucun autre choc majeur n’a affecté le pays A mais pas son groupe de référence).
Avantages et inconvénients
| Avantages | Inconvénients |
|---|---|
| Utile lorsque seule une ou quelques unités sont traitées et qu’il n’existe pas de groupe de contrôle clair. | Fortement dépendante des données : nécessite des données pré-politique longues et de haute qualité ainsi que plusieurs unités de référence appropriées |
| Plus flexible que la méthode DiD standard lorsque l’existence de tendances parallèles est incertaine, car la SCM choisit des pondérations de manière à ce que l’unité synthétique reproduise fidèlement les résultats de l’unité traitée pour toutes les années antérieures au traitement. | Les résultats sont spécifiques au contexte et ne peuvent pas être généralisés à d’autres États membres, régions ou périodes. La même mise en garde s’applique aux études SCM au niveau de l’UE, national ou régional, où les effets estimés sont propres à l’unité traitée, au pool de donneurs et à la fenêtre temporelle utilisée dans l’analyse. |
| Fournit une comparaison visuellement intuitive (trajectoire traitée vs trajectoire synthétique). | Les résultats peuvent varier en fonction de la manière dont la méthode est configurée. Ils dépendent notamment des pays ou régions utilisés pour la comparaison, des caractéristiques choisies pour l’appariement (par exemple, la structure des exploitations ou les niveaux de production) et des années examinées avant la réforme. Si le « jumeau » synthétique ne suit pas de près l’unité traitée avant le début de la politique, les résultats sont beaucoup moins convaincants. |
| L'inférence statistique est moins standard que dans les modèles de régression et peut être plus difficile à expliquer à des non-spécialistes. |
Quand l'utiliser ?
La SCM est particulièrement appropriée lorsqu'un changement à grande échelle de la PAC affecte un (ou très peu de) pays, régions ou secteurs (par exemple, une réforme majeure, une mise en œuvre nationale spécifique). La SCM s’applique généralement à de telles unités agrégées (pays, régions, secteurs), mais en principe, des concepts similaires peuvent être utilisés à des niveaux plus détaillés lorsque des données et des unités de comparaison appropriées existent.
Elle est particulièrement adaptée lorsque :
- d’autres unités globalement similaires n’ont pas subi le même changement dans la PAC, de sorte qu’elles peuvent être utilisées pour construire un jumeau synthétique crédible ;
- une longue période pré-intervention avec des données cohérentes est disponible pour documenter les tendances, et
- l’objectif est de construire une trajectoire contrefactuelle crédible pour une unité agrégée (pays, région, secteur).
La SCM n’est pas destinée à l’évaluation courante au niveau des exploitations agricoles ni aux mesures mises en œuvre partout en même temps, car il n’existe pas de groupe de comparaison non traité pour construire un contrôle synthétique.
Conditions préalables
Pour utiliser la SCM de manière crédible et obtenir des résultats significatifs, les évaluateurs ont besoin :
- D'une unité traitée clairement identifiée (par exemple, un État membre ou une région soumis à une réforme spécifique).
- D'un ensemble d’unités non traitées comparables pour construire le contrôle synthétique (jumeau artificiel).
- D'une série chronologique pré-politique longue et fiable (idéalement supérieure à 8-10 ans) pour le résultat et les covariables clés.
- Dûne connaissance approfondie du calendrier et du contexte de la politique pour définir de manière appropriée la date d’intervention et l’ensemble des donateurs.
Ces éléments garantissent que la SCM peut reproduire avec précision les tendances antérieures à la réforme et générer un contrefactuel synthétique crédible.
Quand utiliser la SCM dans le cadre des évaluations du plan stratégique relevant de la PAC
La SCM est principalement adapté aux indicateurs agrégés au niveau national ou de grandes régions, tels que :
- Les indices de production agricole, la valeur ajoutée sectorielle ou le PIB agricole
- Les indicateurs des niveaux de soutien agricole.
- Les indicateurs environnementaux ou structurels au niveau macroéconomique, lorsqu’il existe de bonnes séries historiques.
Comme mentionné précédemment, cette méthode est moins adaptée aux indicateurs détaillés au niveau des exploitations agricoles, pour lesquels les méthodes basées sur les microdonnées sont préférables.
Étape par étape
Étape 1 – Définissez l’unité traitée et le changement de politique (par exemple, un État membre au moment d’une réforme liée à la PAC).
Étape 2 – Sélectionnez le groupe de référence composé d’unités non traitées (pays/régions non soumis au même changement).
Étape 3 – Choisissez les éléments à faire correspondre et les années passées concernées :
- Tout d’abord, déterminez quelles caractéristiques clés (prédicteurs) du pays ou de la région doivent être similaires chez le jumeau synthétique, par exemple la structure des exploitations, l’utilisation des intrants ou les niveaux passés de production agricole.
- Sélectionnez ensuite une période de pré-intervention (une série d’années précédant le début de la politique) au cours de laquelle l’unité synthétique doit suivre de près la trajectoire des résultats de l’unité traitée.
La procédure SCM attribuera ensuite des pondérations aux unités de comparaison de sorte que, durant ces années, le jumeau synthétique corresponde autant que possible à la fois aux caractéristiques choisies et à la trajectoire des résultats.
Étape 4 – Comparez les trajectoires post-intervention de l'unité traitée et de son jumeau synthétique.
Par exemple, supposons qu'avant la réforme de la PAC de 2014, la valeur ajoutée agricole d'une région ait toujours suivi de près celle de son jumeau synthétique. Après la réforme, entre 2015 et 2020, la région réelle a atteint environ 110, tandis que la région synthétique est restée proche de 100. Pour chaque année post-réforme, nous examinons l'écart entre ces deux courbes (par exemple, 110 moins 100 = 10 points d'indice). Si la correspondance avant la réforme était bonne et qu'aucun autre choc majeur n'a affecté cette région seule, alors cet écart post-réforme est interprété comme l'effet estimé de la réforme de la PAC sur la valeur ajoutée agricole.
Étape 5 – Effectuez des contrôles placebo et de robustesse
Un contrôle placebo est un test où un « faux traitement » est mis en place pour évaluer si le plan de recherche détecterait toujours un effet alors qu'il ne devrait pas.
- Par exemple, nous répétons la même procédure SCM mais en supposant que d’autres pays ou régions non traités aient bénéficié de la politique (par exemple, le pays C n’a pas adopté la réforme, mais nous le traitons comme s’il l’avait fait en fixant une date d’intervention fictive, par exemple 2014, même si rien n’a changé dans C en 2014, puis nous construisons un contrôle synthétique pour le pays C, en utilisant la même méthode que pour le pays A).
- Si bon nombre de ces unités placebo présentent des écarts aussi importants que l’unité traitée, l’effet estimé peut simplement refléter un bruit aléatoire.
- Si l’unité traitée affiche un écart bien plus important que n’importe quelle unité placebo, cela renforce la crédibilité du résultat et corrobore l’interprétation selon laquelle la politique a eu un effet.
Principaux points à retenir
- La SCM construit un « jumeau artificiel » de l’unité traitée, basé sur les données, en combinant de manière optimale des unités non traitées afin d’estimer ce qui se serait passé sans la politique.
- Elle est particulièrement utile dans les cas où il n’y a que peu d’unités traitées, comme lors des grandes réformes de la PAC ou des choix de mise en œuvre nationaux
- Sa fiabilité dépend d’un bon ajustement pré-politique, d’une sélection appropriée des donneurs et d’une mise en œuvre experte.
- Il s’agit d’un outil spécialisé, conçu pour des questions d’évaluation spécifiques au niveau national, régional ou sectoriel, et non destiné à des mesures de routine, au niveau des exploitations agricoles ou à application universelle.
Leçons tirées de la pratique
Olper, A., Valenti, D., Raimondi, V., & Curzi, D., (2023), The EU enlargements treatment effect on agricultural policy, Applied Economic Perspectives and Policy, 45(2), 1134-1153.
Les auteurs utilisent la SCM pour examiner comment l'adhésion à l'UE a affecté le niveau de protection agricole dans les pays candidats. Chaque élargissement est considéré comme un « choc politique » pour le nouvel État membre, et un groupe de contrôle synthétique est constitué à partir de pays non adhérents présentant des indicateurs de protection agricole et des conditions macroéconomiques pré-adhésion similaires. En comparant les trajectoires post-adhésion, les auteurs constatent que lors des élargissements précédents (1973 et 1985), l’adhésion a entraîné une augmentation significative de l’aide agricole par rapport au scénario contrefactuel synthétique.