Portail d'apprentissage

Portail pédagogique - méthode de discontinuité de la régression

La méthode de discontinuité de la régression (RDD) est une méthode d'évaluation puissante, principalement utilisée dans l'évaluation des programmes. Elle tire parti d'un point limite dans les critères d'éligibilité pour comparer ceux qui se situent juste au-dessus et en dessous de ce seuil. Cette approche unique permet de mieux comprendre les effets d'un programme avec un minimum de biais.

people holding a tablet and analyzing plants in the fields

Principes de base

En bref

La méthode de discontinuité de la régression (RDD) est une méthodologie d'évaluation quasi-expérimentale.

Cette technique peut être utilisée pour évaluer les effets ou les mesures d'un programme qui ont un indice d'éligibilité continu avec une valeur seuil clairement définie déterminant quelles fermes, entreprises, exploitations ou communautés sont éligibles et lesquelles ne le sont pas. L'idée principale de cette conception est que les unités de la population cible situées juste en dessous du seuil (ne bénéficiant pas d'une intervention) constituent de bonnes comparaisons avec celles situées juste au-dessus du seuil (exposées à une intervention). Ainsi, dans ce cadre, l'analyste peut évaluer le résultat d'une intervention en comparant la valeur moyenne de l'indicateur de résultat pour les bénéficiaires situés juste au-dessus du seuil avec la valeur correspondante pour les non-bénéficiaires situés juste en dessous. Dans certaines conditions de comparabilité, l'affectation à proximité du seuil peut être considérée comme presque aléatoire. La méthode RDD suppose que les unités individuelles autour du seuil d'éligibilité (des deux côtés) sont similaires, de sorte que le biais de sélection devrait être minime.

Avantages et inconvénients

Avantages

Inconvénients

  • Peut être utilisé pour des programmes avec un indice d'éligibilité continu et des seuils clairement définis pour déterminer qui est éligible et qui ne l'est pas.
  • Semblable à une expérience à proximité du seuil de sélection.
  • Identifie les effets causaux sans hypothèses arbitraires sur le processus de sélection (sans exclure aucune population éligible).
  • Les impacts estimés ne sont valables qu'autour du seuil d'éligibilité. Cela ne dit pas grand-chose de l'effet du programme sur les unités situées loin du seuil d'éligibilité (dans chaque direction).
  • La prise en compte d'autres facteurs susceptibles d'influencer le biais de sélection est limitée.
  • La détermination de l'étendue prise en compte autour du seuil de sélection est plutôt arbitraire.
  • Ne convient pas pour estimer l'effet moyen du traitement (ATT) pour tous les bénéficiaires du programme.
  • Validité externe limitée (produit des effets de traitement moyens locaux qui ne peuvent être généralisés).

Quand l'utiliser ?

La RDD peut être utilisée lorsqu'un programme prévoit un seuil d'éligibilité distinctif (qui est éligible et qui ne l'est pas) sur la base d'un ou de plusieurs critères. Pour appliquer la RDD, deux conditions principales sont nécessaires :

  1. un indice d'éligibilité continu selon lequel la population concernée peut être classée ; et
  2. un seuil clairement défini sur l'indice, au-dessus ou au-dessous duquel la population est classée comme éligible à un programme ou à une mesure.

Selon la nature de la règle d'éligibilité (si elle a changé au fil du temps), il convient d'utiliser des données de panel ou des données transversales. Les principales étapes de la mise en œuvre des méthodes RDD devraient inclure : a) la spécification de l'indice d'éligibilité et de la valeur seuil ; b) le choix de de l'étendue prise en compte autour de la valeur seuil ; c) la vérification du type de discontinuité ; d) l'estimation des effets du programme ; e) la discussion de la validité externe des résultats obtenus.

Conditions préalables

  • Ensemble de données disponible contenant l'indice d'éligibilité et des observations sur les unités éligibles et non éligibles.
  • Série chronologique de données transversales.

La technique peut être appliquée pour évaluer l'effet du soutien de la PAC sur l'évolution des effets du programme énumérés dans le tableau suivant.

Indicateur d'impact du PDR Indicateur d'impact du plan stratégique relevant de la PAC
I.01 - Revenu d'entreprise agricole I.2 - Evolution du revenu agricole par rapport à l'économie générale
I.02 - Revenu des facteurs agricoles I.3 - Évolution du revenu agricole
  I.5 - Évolution du revenu agricole dans les zones à contraintes naturelles (par rapport à la moyenne)
I.03 - Productivité totale des facteurs agricoles I.6 - Productivité totale des facteurs agricoles
I.07 - Émissions issues de l'agriculture

I.10 - Émissions de gaz à effet de serre provenant de l'agriculture

I.14 - Émissions d'ammoniac provenant de l'agriculture

I.08 - Indice des oiseaux des terres agricoles I.19 - Indice des oiseaux des terres agricoles
I.09 - Agriculture à haute valeur naturelle (HNV)  
I.10 - Prélèvements d'eau dans l'agriculture I.17 - Indice d'exploitation de l'eau plus (WEI+)
I.11 - Qualité de l'eau

I.15 - Bilan brut des éléments nutritifs sur les terres agricoles

I.16 - Nitrates dans les eaux souterraines

I.13 - Érosion des sols par l'eau I.13 - Pourcentage de terres agricoles en situation d'érosion modérée et sévère du sol

Étape par étape

  • Étape 1 - S'assurer que le traitement est attribué exclusivement sur la base d'une valeur seuil d'un indice d'éligibilité.
  • Étape 2 - L'analyse RDD doit commencer par une présentation via un graphique, où la valeur de l'indicateur de résultat pour chaque point de données est reportée sur l'axe vertical et la valeur correspondante de l'indice d'éligibilité est reportée sur l'axe horizontal. La présentation via un graphique permet de bien visualiser la discontinuité (« saut ») de la valeur de l'indicateur de résultat au point de coupure.
    • Il est recommandé de procéder à l'analyse via un graphique à travers quatre étapes :
      • Diviser l'indice d'éligibilité en un certain nombre d'intervalles de taille égale, souvent appelés « cases » ;
      • Calculer la valeur moyenne de l'indicateur de résultat et la valeur médiane de l'indice d'éligibilité pour chaque case et compter le nombre d'observations dans chaque case ;
      • Tracer les valeurs moyennes de l'indicateur de résultat pour chaque case sur l'axe des ordonnées par rapport aux valeurs médianes de l'indice d'éligibilité pour chaque case sur l'axe des abscisses, en utilisant le nombre d'observations dans chaque case comme pondération. La taille d'un point de données représenté doit refléter le nombre d'observations contenues dans la case correspondante ;
      • Pour aider les lecteurs à mieux visualiser les tendances potentielles existant dans les données, l'évaluation peut superposer des lignes de régression flexibles sur les données tracées. Cela fournit également une estimation de la quantité de « bruit » dans les données.
    • L'une des difficultés de l'évaluation graphique est de déterminer la largeur des cases. Il existe des tests formels recommandés qui peuvent être consultés dans Jacob et al. (2012).
  • Étape 3 - Ensuite, l'évaluateur peut estimer formellement les effets du traitement à l'aide d'une RDD. Il existe deux types de stratégies pour spécifier correctement la forme fonctionnelle entre un indice d'éligibilité et un indicateur de résultat :
    • Discontinuité au point de coupure : Cette stratégie paramétrique utilise chaque observation de l'échantillon pour modéliser la valeur de l'indicateur de résultat en fonction de l'indice d'éligibilité et de l'état du traitement. Cette méthode prend en compte toutes les observations disponibles, y compris celles qui sont éloignées de la valeur seuil, afin d'estimer la valeur moyenne de l'indicateur de résultat pour les observations proches de la valeur seuil. Pour minimiser les biais, différentes formes fonctionnelles pour l'indice d'éligibilité (linéaire, quadratique, cubique), ainsi que les interactions avec le traitement, sont testées en inspectant les résidus et en effectuant des tests F sur les termes d'interaction.
    • Randomisation locale : Cette stratégie non paramétrique/locale adopte la randomisation locale pour l'estimation des effets du traitement et limite l'analyse aux observations qui se situent dans l'étendue prise en compte autour du seuil de sélection, où la forme fonctionnelle est plus susceptible d'être linéaire. La principale difficulté consiste à choisir la bonne étendue. Une fois l'étendue sélectionnée, une régression linéaire (ou polynomiale) est estimée, en utilisant les observations situées dans une étendue de part et d'autre de la valeur seuil.
  • Étape 4 - Évaluer la validité interne des estimations de l'impact de la RDD. Si la valeur seuil doit être choisie à l'aide d'informations sur un indice d'éligibilité observé, les évaluateurs peuvent fixer cette valeur de manière à inclure ou à exclure des observations spécifiques. À l'inverse, si l'indice d'éligibilité de chaque observation est déterminé sur la base de la connaissance de la valeur seuil correspondante, il peut être manipulé pour inclure ou exclure des observations spécifiques. Les méthodes que les chercheurs peuvent utiliser pour déterminer si les indices d'éligibilité ou les valeurs seuils ont pu être manipulés (c'est-à-dire, si un questionnaire RDD est valide en interne ou non) sont les suivantes :
    • L'examen du processus de mise en œuvre ;
    • La représentation graphique de la probabilité de recevoir un traitement en fonction de l'indice d'éligibilité. Pour une RDD valide, il devrait y avoir une discontinuité (ou un « saut ») à la valeur limite dans la probabilité de recevoir un traitement ;
    • Tracer la relation entre les variables non liées aux résultats et un indice d'éligibilité. Les variables non liées aux résultats se réfèrent ici principalement à des covariables potentielles qui, selon la théorie de l'action, ne devraient pas être affectées par un traitement.
  • Étape 5 - Évaluer la précision des estimations obtenues à partir d'une RDD. Cette étape est particulièrement importante lorsque l'on utilise un ensemble de données existant. La précision des effets estimés du traitement est généralement exprimée en termes d'effet minimum détectable (MDE) ou de taille d'effet minimum détectable.
  • Étape 6 - Les résultats de la RDD doivent être accompagnés d'une discussion critique des preuves obtenues, y compris la triangulation avec d'autres résultats quantitatifs et qualitatifs.

Principaux points à retenir

  • La RDD se distingue par l'utilisation de seuils d'éligibilité pour l'évaluation des programmes.
  • En comparant les unités qui se situent juste au-dessus et au-dessous du seuil, la RDD minimise le biais de sélection.
  • Les conditions essentielles de la RDD sont un indice d'éligibilité continu et un seuil d'éligibilité clair.
  • La RDD diffère des autres méthodes en se concentrant sur les impacts localisés plutôt que sur les effets généralisés.
  • Elle permet d'obtenir des informations précieuses sur les effets causaux d'interventions ou de programmes spécifiques.

Apprendre de la pratique

Pour en savoir plus

Publication - FAQ |

Assessing RDP Achievements and Impacts in 2019