Portail d'apprentissage

Portail d'apprentissage - Méthode d'appariement des scores de propension -différence des différence (PSM-DiD)

Propensity score matching-difference in differences (PSM-DiD), is an innovative technique that balances the comparison of programme participants and non-participants, before and after a programme's implementation. It offers a more accurate insight into the actual programme effects with minimal bias.

Page contents

Principes de base

En bref

La méthode d'appariement des scores de propension avec différence de différences (PSM-DiD), également connue sous le nom de méthode DiD conditionnelle, est une méthodologie d'évaluation quasi-expérimentale.

Cette technique est un estimateur très utile lorsque les données sur les résultats des participants et des non-participants au programme sont disponibles avant et après la mise en œuvre du programme. La PSM-DiD mesure l'effet de l'aide en utilisant les différences entre des participants et des non-participants comparables avant et après la mise en œuvre d'un programme. Dans cette méthode, les participants au programme sont d'abord appariés à des non-participants comparables, en utilisant la technique de l'appariement par scores de propension (PSM). Ensuite, l'effet net de l'aide est calculé comme la différence de la valeur moyenne de l'indicateur (des indicateurs) d'impact entre les participants et les non-participants, avant et après la mise en œuvre d'un programme.

Un avantage décisif de l'estimateur PSM-DiD, par rapport à un estimateur DiD conventionnel et à la technique PSM appliquée séparément, est que cette méthode permet de mieux contrôler un biais de sélection à la fois dans les observables (PSM) et les inobservables (DiD). Un biais de sélection se produit lorsque les participants à un programme sont systématiquement différents des non-participants. Ces différences systémiques peuvent être dues à des caractéristiques spécifiques des participants et des non-participants, qui peuvent être observées à l'aide de variables disponibles dans les sources de données correspondantes (observables). Par exemple, les exploitations de certains secteurs ou d'une taille économique ou physique spécifique peuvent être plus motivées pour participer au programme. Ce biais peut être minimisé en appariant les participants et les non-participants, sur la base de leurs caractéristiques observées, à l'aide de la technique PSM (lien vers la méthode PSM). D'autre part, les différences systémiques peuvent provenir de caractéristiques qui ne peuvent être décrites à l'aide des données disponibles (inobservables). Par exemple, des participants et des non-participants très similaires peuvent différer par leur motivation interne, qui ne peut être observée directement par aucune variable. Pour minimiser ce biais, l'effet des caractéristiques non observées est différencié en soustrayant la valeur moyenne du ou des indicateurs de résultats des non-participants de la valeur correspondante des participants, avant et après la mise en œuvre d'un programme (DiD).

Ainsi, l'application d'un estimateur conditionnel de la différence de niveau (PSM-DiD) pour mesurer les effets d'un programme peut grandement améliorer les résultats de l'évaluation, car il minimise le biais de sélection en construisant et en comparant des groupes qui sont plus proches de ce qui aurait été constitué si les participants et les non-participants avaient été assignés de manière aléatoire.

Avantages et inconvénients

Avantages	Inconvénients
Meilleur contrôle du biais de sélection (dans les variables observables) parce que les unités qui ont reçu un soutien sont comparées à des unités très similaires qui n'en ont pas reçu. Permet un bien meilleur contrôle du biais de sélection (dans les variables non observables), car les déséquilibres non observés entre les unités qui ont reçu une aide et celles qui n'en ont pas reçu (qui sont supposés être constants dans le temps) sont éliminés par différence.	Peut ne pas générer de résultats plausibles si d'importantes caractéristiques observables expliquant les différences entre les participants au programme et les non-participants appariés ne sont pas incluses dans le modèle et si l'effet des éléments non observables n'est pas constant dans le temps. Généralisabilité limitée si les observations des participants et des non-participants ne sont pas suffisamment nombreuses et variées. Diminution de la validité lorsque le nombre d'unités non appariées augmente.

Quand l'utiliser ?

La méthode peut être appliquée pour évaluer les effets d'un programme aux niveaux microéconomique, régional ou de la zone du programme. Toutefois, elle nécessite des données abondantes sur les principales caractéristiques et la performance économique des bénéficiaires et des non-bénéficiaires d'un programme avant et après celui-ci. Une hypothèse importante pour cette méthode est que les caractéristiques les plus importantes qui déterminent la participation et la performance du programme peuvent être observées.

Conditions préalables

Données abondantes sur les participants et les non-participants à un programme avant et après celui-ci (données de panel).
Compétences quantitatives élevées de l'évaluateur.
Bonne compréhension des conditions déterminant la probabilité de participation à un programme.

La technique peut être appliquée pour évaluer l'effet du soutien de la PAC sur l'évolution des valeurs des indicateurs d'impact énumérés dans le tableau suivant.

Indicateur d'impact du PDR	Indicateur d'impact du plan stratégique relevant de la PAC
I.01 - Revenu d'entreprise agricole	I.2 - Évolution du revenu agricole par rapport à l'économie générale
I.02 - Revenu des facteurs agricoles	I.3 - Évolution du revenu agricole
I.03 - Productivité totale des facteurs dans l'agriculture	I.6 - Productivité totale des facteurs dans l'agriculture
I.07 - Émissions de l'agriculture	I.10 - Émissions de gaz à effet de serre provenant de l'agriculture I.14 - Émissions d'ammoniac provenant de l'agriculture
I.08 - Indice des oiseaux des terres agricoles	I.19 - Indice des oiseaux des terres agricoles
I.09 - Agriculture à haute valeur naturelle (HNV)
I.10 - Prélèvements d'eau dans l'agriculture	I.17 - Indice d'exploitation de l'eau plus (WEI+)
I.11 - Qualité de l'eau	I.15 - Bilan brut des éléments nutritifs sur les terres agricoles I.16 - Nitrates dans les eaux souterraines
I.13 - Erosion des sols par l'eau	I.13 - Pourcentage de terres agricoles soumises à une érosion modérée et sévère des sols
I.14 - Taux d'emploi rural	I.24 - Évolution du taux d'emploi dans les zones rurales, incluant une décomposition par sexe
I.15 - Degré de pauvreté rurale	I.27 - Évolution de l'indice de pauvreté en zone rurale
I.16 - PIB rural par habitant	I.25 - Évolution du produit intérieur brut (PIB) par habitant dans les zones rurales

En ce qui concerne plus particulièrement l'indice des oiseaux des terres agricoles, une approche d'évaluation à l'échelle du champ/de la parcelle (niveau micro) peut être réalisée en utilisant le programme de surveillance des oiseaux communs si les données disponibles sont suffisantes. Pour ce faire, on peut appliquer la technique PSM-DiD afin de mettre en relation les bénéficiaires et les non-bénéficiaires, puis comparer l'effet moyen du soutien de la PAC sur la biodiversité dans chaque groupe avant et après la mise en œuvre d'un programme. Au niveau macroéconomique, il est également recommandé de recourir à la méthode d'appariement des scores de propension pour déterminer l'effet de l'aide de la PAC sur la biodiversité au niveau des quadrants utilisés pour observer les populations d'oiseaux des terres agricoles dans le cadre du programme de surveillance des oiseaux communs. Les quadrants peuvent être utilisés comme unités fonctionnelles pour l'indice des oiseaux des terres agricoles, puis calculés par zones biogéographiques (différents habitats agricoles) ou au niveau régional sur la base de données géoréférencées.

En ce qui concerne les indicateurs mesurant l'emploi, le PIB par habitant et le taux de pauvreté dans les zones rurales, les groupes de bénéficiaires et de contrôle peuvent être constitués sur la base des régions géographiques soutenues et non soutenues, idéalement UAL 2 telle que définie par la typologie urbaine-rurale d'Eurostat. Dans ce cas, l'accès à une source complète de données statistiques et d'informations sur les caractéristiques des régions géographiques avant et après la mise en œuvre du programme est nécessaire.

Étape par étape

Étape 1 - Trouver un échantillon de bénéficiaires (par exemple, exploitations agricoles, agriculteurs, entreprises non agricoles, communautés, zones, régions, etc.) dans une base de données disponible (par exemple, le RICA) et utiliser le système électronique de suivi et d'évaluation (par exemple, le système d'information électronique de l'article 70, règlement (UE) 1305/2013, ou celui de l'article 130, règlement (UE) 2021/2115) comme point de référence.
Étape 2 - Dans la même base de données (par exemple, le RICA), sélectionner toutes les unités pertinentes qui n'ont pas reçu d'aide ou qui ont reçu un niveau d'aide arbitrairement faible (non-bénéficiaires) au cours de la même période. Dans ce dernier cas, il peut être préférable de définir le faible niveau de soutien en utilisant non pas les niveaux absolus de soutien, mais plutôt les niveaux de soutien normalisés par une autre variable, comme la superficie agricole utilisée par l'agriculteur ou la superficie ou la population d'une région géographique.
Étape 3 - Dans un groupe de non-bénéficiaires, identifier les unités qui ne peuvent pas remplir les conditions d'éligibilité du programme (en raison d'un revenu élevé, de la taille, de la localisation, etc.) et les retirer de l'analyse.
Étape 4 - Collecte de données pour toutes les unités des deux groupes (bénéficiaires et non-bénéficiaires) sur leurs caractéristiques significatives (variables) au début d'une période de mise en œuvre. Il convient de noter que les variables incluses dans l'analyse doivent affecter à la fois la sélection d'une unité et les indicateurs calculés au niveau microéconomique (indicateurs d'impact communs et supplémentaires). Certaines des variables proposées (utilisées comme variables de contrôle importantes) peuvent être :
- le niveau de soutien reçu par une unité donnée au cours des périodes de programmation précédentes ; et/ou
- le niveau de soutien reçu par une unité donnée de la part d'autres sources publiques (par exemple, les fonds structurels de l'UE, le pilier I) au cours de la période analysée.
Étape 5 - Appliquer les techniques appropriées pour identifier un groupe de contrôle adéquat à partir de l'échantillon de non-bénéficiaires (voir étapes 2-3), dont les membres ont la même propension à participer à un programme (certains des non-bénéficiaires et/ou des bénéficiaires seront exclus de l'analyse en raison de l'absence d'unités de contrôle adéquates).
Étape 6 - Vérifier statistiquement la similitude des deux groupes avant qu'ils ne bénéficient d'un soutien de la part d'un programme (par exemple, en effectuant des tests statistiques sur les covariables incluses dans l'analyse). La valeur moyenne d'une unité dans le groupe bénéficiaire ne doit pas différer de manière significative de l'unité correspondante dans le groupe de contrôle. Une fois le groupe de bénéficiaires et le groupe de contrôle constitués, l'effet net de l'aide peut être estimé au cours des étapes suivantes.
Étape 7 - Calculer la valeur moyenne des indicateurs de résultats pour le groupe de bénéficiaires et le groupe de contrôle avant l'aide et au moment de l'évaluation.
Étape 8 - Calculer la différence entre la valeur moyenne des indicateurs de résultats pour le groupe de bénéficiaires avant l'aide et au moment de l'évaluation (première différence).
Étape 9 - Calculer la différence entre la valeur moyenne des indicateurs de résultats pour le groupe des non-bénéficiaires avant le soutien et au moment de l'évaluation (deuxième différence).
Étape 10 - Calculer l'effet net du soutien de la PAC en soustrayant la deuxième différence (étape 9) à la première différence (étape 8).
Étape 11 - Effectuer une analyse de sensibilité (par exemple, l'approche des Rosenbaum bounds) pour évaluer les effets possibles des éléments non observables sur les résultats obtenus.
Étape 12 - Agréger les résultats et calculer les effets du soutien de la PAC sur les indicateurs d'impact analysés au niveau macroéconomique et au niveau de la zone de programmation. Dans cette étape, l'évaluateur doit calculer les effets directs nets du soutien de la PAC sur les indicateurs d'impact au niveau de la zone de programmation en appliquant des techniques d'extrapolation (c'est-à-dire en multipliant les micro-résultats moyens calculés à un niveau micro par le nombre de bénéficiaires/non-bénéficiaires).

Principaux points à retenir

La méthode PSM-DiD est très efficace pour contrôler les biais de sélection observables et non observables.
La méthode consiste à apparier les participants avec des non-participants similaires, puis à mesurer l'évolution des indicateurs d'impact au fil du temps.
Elle est plus efficace dans les situations où les données sont complètes et nécessite un évaluateur ayant une solide formation quantitative.
La PSM-DiD permet d'obtenir des informations détaillées sur l'efficacité et l'efficience des interventions.
Le succès de cette méthode dépend de la profondeur des données disponibles et de la méthodologie utilisée pour l'appariement et la comparaison.

Apprendre de la pratique

Caliendo, M., & Kopeinig, S. (2008),
Some Practical Guidance for the Implementation of Propensity Score Matching. (Quelques conseils pratiques pour la mise en œuvre de l'appariement par score de propension) Journal of Economic Surveys, 22(1), 31-72

Pour en savoir plus

Réseau européen d'évaluation du développement rural pour la PAC (2014)
Saisir la réussite de votre PDR : Lignes directrices pour l'évaluation ex post des PDR 2007-2013