Portail d'apprentissage

Portail d'apprentissage - L'appariement sur score de propension

L'appariement par score de propension (PSM) est une méthode d'évaluation de pointe dont la principale caractéristique est de minimiser le biais de sélection dans les évaluations de programmes, causé par des caractéristiques observables. Il permet d'établir des comparaisons précises et fiables entre les participants et les non-participants à un programme, tout en renforçant la crédibilité des résultats.

Page contents

Three farmers with laptop

Principes de base

En bref

Les méthodes d'appariement font partie de la famille des méthodes d'évaluation quasi-expérimentale. La technique de l'appariement par score de propension (PSM) est actuellement l'un des outils les plus avancés et les plus efficaces appliqués à l'évaluation de divers programmes. On peut distinguer deux types d'approches de l'appariement des scores de propension :

  1. le PSM standard, conventionnel ou binaire ; et
  2. le PSM généralisé.

Minimiser les biais

Le PSM est une approche quasi-expérimentale puissante qui permet de minimiser le biais de sélection découlant des caractéristiques observables des participants et des non-participants. Le biais de sélection se produit lorsque les participants à un programme sont systématiquement différents des non-participants. Ces différences systémiques peuvent être dues à des caractéristiques spécifiques des participants et des non-participants, qui peuvent être observées à l'aide de variables disponibles dans les sources de données correspondantes (observables). Par exemple, les exploitations agricoles de certains secteurs ou ayant une envergure économique ou physique spécifique peuvent être plus motivées pour participer à un programme. Ce biais peut être minimisé en appariant les participants avec les non-participants qui, sur la base de leurs caractéristiques observables, avaient la même probabilité de participer à un programme mais ont décidé de ne pas le faire. Cette probabilité est mesurée par ce que l'on appelle le score de propension, qui est calculé pour chaque unité sur la base d'un ensemble de caractéristiques observables non affectées par un programme.

Comparer les comparables

Dans le cas d'un PSM binaire, l'idée est de trouver des unités qui sont similaires, d'un point de vue observationnel, entre un groupe de non-participants et un groupe de participants au programme, en termes de caractéristiques antérieures au programme. Chaque participant est apparié à un ou plusieurs non-participants similaires d'un point de vue observationnel, sur la base de leurs scores de propension correspondants. La différence moyenne de résultats entre les deux groupes est ensuite calculée pour estimer l'effet de traitement moyen du programme. Dans la pratique, différentes techniques ou algorithmes peuvent être utilisés pour apparier les participants et les non-participants sur la base du score de propension. Il s'agit notamment de l'appariement avec le plus proche voisin (NN), de l'appariement par compas et rayon (radius matching), de l'appariement par stratification et par intervalle, de l'appariement par noyau ou de l'appariement linéaire local (LLM).

Avantages et inconvénients

Avantages

Inconvénients
  • Efficace pour trouver des groupes de contrôle appropriés (contrefactuels).
  • Fonctionne bien lorsque la participation au programme est affectée uniquement par les caractéristiques observables d'une unité (par exemple, l'exploitation agricole, la personne, la communauté, la région).
  • Si le biais de sélection dû aux caractéristiques non observées est probablement négligeable, le modèle PSM offre une bonne comparaison avec les estimations randomisées.
  • Permet un calcul simple d'indices tels que ATT (effet moyen du traitement sur les personnes traitées), ATE (effet moyen du traitement) et ATNT (effet moyen du traitement sur les personnes non traitées).
  • Repose fortement sur l'hypothèse que les caractéristiques observables utilisées pour estimer le score de propension expliquent toutes les différences entre les unités soutenues et le groupe de comparaison avant la mise en œuvre du programme.
  • Ne peut pas produire de résultats plausibles en cas d'omission de caractéristiques observables expliquant les différences de performance.
  • Le PSM est une méthode qui nécessite beaucoup de données.

Quand l'utiliser ?

Cette technique peut être utilisée lorsque l'on dispose de suffisamment de données avant la mise en œuvre d'un programme pour apparier les participants et les non-participants. Elle suppose que la probabilité de participer à un programme est principalement influencée par des caractéristiques qui peuvent être observées et décrites à l'aide de variables correspondantes disponibles pour les deux groupes. En outre, cette technique ne peut être utilisée que lorsqu'il est possible de calculer la valeur d'un ou de plusieurs indicateurs d'impact au moment de l'évaluation et non avant la mise en œuvre d'un programme.

En appliquant une méthode de PSM binaire pour identifier un groupe de contrôle valide, il faut s'assurer qu'il n'y a pas de différences systémiques dans les caractéristiques non observées entre les unités soutenues par un programme et les unités de comparaison appariées qui pourraient influencer le résultat. Cette méthode ne produira pas de résultats raisonnables si d'autres caractéristiques observables importantes ne sont pas incluses dans le modèle qui explique les différences.

Conditions préalables

  • Bonne compréhension des conditions déterminant la probabilité de participer à un programme.
  • Données abondantes sur les participants et les non-participants au programme avant sa mise en œuvre, ce qui permet d'observer les principales caractéristiques qui affectent la probabilité de participation à un programme.
  • Capacité à calculer la valeur des indicateurs d'impact pour les groupes appariés de participants et de non-participants au cours d'une évaluation.
  • Compétences quantitatives élevées de l'évaluateur.

La technique peut être appliquée pour évaluer l'effet du soutien de la PAC sur l'évolution des valeurs des indicateurs d'impact énumérés dans le tableau suivant.

Indicateur d'impact du PDR Indicateur d'impact du plan stratégique relevant de la PAC
I.01 - Revenu d'entreprise agricole I.2 - Evolution du revenu agricole par rapport à l'économie générale
I.02 - Revenu des facteurs agricoles I.3 - Évolution du revenu agricole
  I.4 - Evolution du niveau de revenu agricole par type d'exploitation (par rapport à la moyenne agricole)
  I.5 - Evolution du revenu agricole dans les zones à contraintes naturelles (par rapport à la moyenne)
I.03 - Productivité totale des facteurs dans l'agriculture I.6 - Productivité totale des facteurs dans l'agriculture
I.07 - Émissions de l'agriculture

I.10 - Émissions de gaz à effet de serre provenant de l'agriculture

I.14 - Émissions d'ammoniac provenant de l'agriculture
I.08 - Indice des oiseaux des terres agricoles I.19 - Indice des oiseaux des terres agricoles
I.09 - Agriculture à haute valeur naturelle (HNV)  
I.10 - Prélèvements d'eau dans l'agriculture I.17 - Indice d'exploitation de l'eau plus (WEI+)
I.11 - Qualité de l'eau

I.15 - Bilan brut des éléments nutritifs sur les terres agricoles

I.16 - Nitrates dans les eaux souterraines
I.13 - Erosion des sols par l'eau I.13 - Pourcentage de terres agricoles soumises à une érosion modérée et sévère des sols
I.14 - Taux d'emploi rural I.24 - Évolution du taux d'emploi dans les zones rurales, incluant une décomposition selon les sexes
I.15 - Degré de pauvreté rurale I.27 - Évolution de l'indice de pauvreté en zone rurale
I.16 - PIB rural par habitant I.25 - Évolution du produit intérieur brut (PIB) par habitant dans les zones rurales

En ce qui concerne l'indice des oiseaux des terres agricoles, une approche d'évaluation à l'échelle du champ/de la parcelle (niveau micro) peut être réalisée à l'aide du programme de surveillance des oiseaux communs, si les données disponibles sont suffisantes. Pour ce faire, il convient d'appliquer la technique du PSM afin de mettre en relation les bénéficiaires et les non-bénéficiaires, puis de comparer l'effet moyen du soutien de la PAC sur la biodiversité dans chaque groupe. Au niveau macroéconomique, il est également recommandé d'appliquer la technique du PSM pour déterminer l'effet des aides de la PAC sur la biodiversité au niveau des quadrants utilisés pour observer les populations d'oiseaux des terres agricoles dans le cadre du programme de surveillance des oiseaux communs. Les quadrants peuvent être utilisés comme unités fonctionnelles pour l'indice des oiseaux des terres agricoles et calculés ultérieurement par zones biogéographiques (différents habitats agricoles) ou au niveau régional sur la base de données géoréférencées.

En ce qui concerne les indicateurs mesurant l'emploi, le PIB par habitant et le taux de pauvreté dans les zones rurales, les groupes de bénéficiaires et de contrôle peuvent être construits sur la base des régions géographiques soutenues et non soutenues, idéalement LAU 2 (vérifier si dans NUTS2) telles que définies par la typologie urbaine-rurale d'Eurostat. Dans ce cas, l'accès à une source complète de données statistiques et d'informations sur les caractéristiques des régions géographiques avant la mise en œuvre du programme est nécessaire.

Étape par étape

  • Étape 1 - Trouvez un échantillon de bénéficiaires (par exemple, exploitations agricoles, agriculteurs, entreprises non agricoles, communautés, zones, régions, etc.) dans une base de données disponible (par exemple, le RICA) et utilisez le système électronique de suivi et d'évaluation (par exemple, le système d'information électronique de l'article 70, règlement (UE) 1305/2013, ou celui de l'article 130, règlement (UE) 2021/2115) comme point de référence.
  • Étape 2 - Dans la même base de données (par exemple le RICA), sélectionner toutes les unités pertinentes qui n'ont pas reçu d'aide ou qui ont reçu un niveau d'aide arbitrairement bas au cours de la même période (non-bénéficiaires). Dans ce dernier cas, il peut être préférable de définir le faible niveau de soutien en utilisant non pas les niveaux absolus de soutien, mais plutôt les niveaux de soutien pondérés par une autre variable, comme la superficie agricole utilisée par l'agriculteur ou la superficie ou la population d'une région géographique.
  • Étape 3 - Dans un groupe de non-bénéficiaires, identifier les unités qui ne pouvaient pas remplir les conditions d'éligibilité du programme (en raison d'un revenu élevé, de la taille, de la localisation, etc) et les retirer de l'analyse.
  • Étape 4 - Collecter des données pour toutes les unités des deux groupes (bénéficiaires et non-bénéficiaires) sur leurs principales caractéristiques (variables) au début d'une période de mise en œuvre. Il convient de noter que les variables incluses dans l'analyse doivent affecter à la fois la sélection d'une unité et les indicateurs calculés au niveau microéconomique (par exemple, les indicateurs d'impact). Certaines des variables proposées (utilisées comme variables de contrôle importantes) peuvent être :
    • le niveau de soutien reçu par une unité donnée au cours des périodes de programmation précédentes ; et/ou
    • le niveau de soutien reçu par une unité donnée de la part d'autres sources publiques (par exemple, les fonds structurels de l'UE, ou issus du pilier I) au cours de la période analysée.
  • Étape 5 - Appliquer les techniques appropriées pour identifier un groupe de contrôle adéquat à partir de l'échantillon de non-bénéficiaires (voir étapes 2-3), dont les membres ont la même propension à participer à un programme (certains des non-bénéficiaires et/ou des bénéficiaires seront exclus de l'analyse en raison de l'absence d'unités de contrôle adéquates).
  • Étape 6 - Vérifier statistiquement la similitude des deux groupes avant qu'ils ne bénéficient d'un soutien de la part d'un programme (par exemple, en effectuant des tests statistiques sur les covariables incluses dans l'analyse). La valeur moyenne d'une unité dans le groupe bénéficiaire ne doit pas différer de manière significative de l'unité correspondante dans le groupe de contrôle. Une fois que le groupe de bénéficiaires et le groupe de contrôle ont été constitués, l'effet net de l'aide peut être estimé au cours des étapes suivantes.
  • Étape 7 - Calculer la valeur moyenne de l'indicateur (des indicateurs) d'impact commun(s) ou supplémentaire(s) pour le groupe de bénéficiaires et le groupe de contrôle au moment de l'évaluation.
  • Étape 8 - Calculer l'effet net en tant que différence dans la valeur moyenne de l'indicateur d'impact commun ou additionnel entre le groupe de bénéficiaires et le groupe de contrôle (moyenne traitement sur traité).
  • Étape 9 - Effectuer une analyse de sensibilité (par exemple, l'approche des Rosenbaum bounds) pour évaluer les effets possibles des éléments non observables sur les résultats obtenus.
  • Étape 10 - Agréger les résultats et calculer les effets du soutien de la PAC sur les indicateurs d'impact analysés au niveau macroéconomique et au niveau de la zone de programmation. Dans cette étape, l'évaluateur doit calculer les effets directs nets du soutien de la PAC sur les indicateurs d'impact au niveau de la zone de programmation en appliquant des techniques d'extrapolation (c'est-à-dire en multipliant les micro-résultats moyens calculés à un niveau micro par le nombre de bénéficiaires/non-bénéficiaires).

Principaux points à retenir

  • Le PSM se distingue par sa capacité à réduire les biais de sélection en comparant les participants et les non-participants sur la base de caractéristiques observables.
  • Le PSM binaire se concentre sur la recherche de non-participants similaires aux participants en ce qui concerne les caractéristiques antérieures au programme, tandis que le PSM généralisé étend cette comparaison.
  • Le PSM contrôle efficacement le biais de sélection en appariant les groupes sur la base de leurs scores de propension, calculés à partir des caractéristiques observables.
  • Le PSM est très utile pour évaluer l'efficacité de divers programmes, en particulier dans les contextes où les données antérieures au programme sont abondantes.
  • Les indices ATT, ATE et ATNT sont calculés pour mesurer l'impact du programme sur les participants et sur l'ensemble de la population.

Tirer les leçons de la pratique

Pour en savoir plus