Portail d'apprentissage

Portail d'apprentissage - Méthode de la différence des différences

La méthode des doubles différences (DiD) est une méthode d'évaluation quasi-expérimentale qui se concentre sur les changements dans les effets d'un programme. Elle compare les effets sur les participants avant et après un programme avec ceux sur les non-participants, en éliminant les biais pour isoler l'effet net du programme.

a wheat field with numbers and circles

Principes de base

En bref

La méthode des doubles différences (DiD) est une méthodologie d'évaluation quasi-expérimentale.

Cette technique compare les changements dans les effets du programme pour les participants au programme, avant et après la mise en œuvre du programme, avec les changements correspondants pour des non-participants sélectionnés arbitrairement.

L'hypothèse sous-jacente

La principale hypothèse qui sous-tend cette technique est que les changements dans les effets du programme sur les participants et les non-participants seraient très similaires en l'absence du programme. Par conséquent, si les changements observés par les non-participants sont soustraits de ceux observés par les participants, la partie du changement qui se serait produite même en l'absence du programme est éliminée, et ce qui reste est l'effet net du programme.

L'estimation des effets du programme s'effectue en deux étapes :

  1. calculer la différence moyenne des indicateurs de résultats séparément pour les participants et les non-participants au programme ; et
  2. établir la différence entre les changements moyens des indicateurs de résultats pour ces deux groupes.

La différence entre les résultats avant et après pour les bénéficiaires soutenus par le programme (la première différence) contrôle les facteurs qui sont constants dans le temps dans ce groupe. Après soustraction de la seconde différence (dans un groupe de contrôle), la technique peut éliminer la principale source de biais (c'est-à-dire le changement qui se serait produit de toute façon), qui était présente dans les comparaisons de base avant et après. L'approche DiD combine donc deux techniques « naïves », à savoir les comparaisons avant et après des bénéficiaires du programme et les comparaisons entre les bénéficiaires et les non-bénéficiaires, afin de produire une meilleure estimation d'un contrefactuel.

Avec cette méthode, toute tendance commune dans les résultats des participants et des non-participants au programme (biais de sélection) est éliminée, mais l'hypothèse clé justifiant cette méthode est que le biais de sélection reste constant dans le temps (ce que l'on appelle l'effet fixe). Par conséquent, la méthode DiD ne permet pas d'éliminer les différences entre les bénéficiaires et les non-bénéficiaires du programme qui évoluent dans le temps.

Selon la méthode DiD, un groupe de bénéficiaires du programme n'a pas besoin d'avoir les mêmes conditions préalables au soutien qu'un groupe de non-bénéficiaires. Toutefois, pour que la méthode DiD soit valable, un groupe de non-bénéficiaires du programme doit représenter avec précision l'évolution des résultats que les bénéficiaires du programme auraient connue en son absence.

Avantages et inconvénients

Avantages

Inconvénients

  • Permet de contrôler l'hétérogénéité non observée (qui peut avoir un impact sur les résultats), mais uniquement dans l'hypothèse où celle-ci ne varie pas dans le temps.
  • Approche flexible permettant une interprétation illustrative.
  • Facile à combiner avec des estimateurs liés pour permettre une meilleure précision des résultats.
  • Repose sur l'hypothèse d'une évolution similaire des résultats pour les participants et les non-participants en l'absence du programme. Si, toutefois, les tendances des résultats sont différentes pour les participants et les non-participants, l'estimation de l'effet du traitement obtenue par la méthode DiD sera invalide ou biaisée.
  • Généralement moins robuste que d'autres méthodes quasi-expérimentales (par exemple, PSM ou GPSM). L'hypothèse de tendance commune peut n'être pas toujours vérifiable ou testable.

Quand l'utiliser ?

La méthode DiD peut être utilisée lorsque les données disponibles permettent d'estimer les effets d'un programme sur les participants et les non-participants, avant et après la mise en œuvre du programme, mais qu'elles ne permettent pas de comparer les deux groupes sur la base de la similitude de leurs caractéristiques.

L'approche peut être utilisée à condition que, sans le programme, les résultats augmentent ou diminuent au même rythme pour les participants et les non-participants à ce programme. Une manière de vérifier cette hypothèse consiste à comparer l'évolution des résultats dans les deux groupes sur une période plus longue, avant la mise en œuvre d'un programme. Toutefois, cela n'implique pas que seules les valeurs moyennes agrégées simples des bénéficiaires et des non-bénéficiaires doivent être comparées. Au contraire, une conception minutieuse des comparaisons par paire et des groupes de comparaison multiples différenciés par des facteurs connus et des observables, accompagnée de la méthode DiD, devrait être appliquée pour réduire les biais.

Dans l'ensemble, les données disponibles montrent que la capacité ou la performance des estimateurs standards de la méthode DiD en fait un choix insuffisant dans de nombreux contextes d'évaluation.

Conditions préalables

  • La méthode nécessite des données longitudinales ou transversales répétées (séries temporelles de données transversales) sur les indicateurs de résultats collectés pour les bénéficiaires et les non-bénéficiaires du programme.
  • Il existe des preuves solides qu'en l'absence de programme, les performances des bénéficiaires et des non-bénéficiaires du programme seraient identiques (ou similaires).
  • Le soutien doit avoir eu lieu entre deux périodes observées par le chercheur.

La technique peut être appliquée pour évaluer l'effet du soutien de la PAC sur l'évolution des effets du programme énumérés dans le tableau suivant.

Indicateur d'impact du PDR Indicateur d'impact du plan stratégique relevant de la PAC
I.01 - Revenu d'entreprise agricole I.2 - Evolution du revenu agricole par rapport à l'économie générale
I.02 - Revenu des facteurs agricoles I.3 - Évolution du revenu agricole
I.03 - Productivité totale des facteurs dans l'agriculture I.6 - Productivité totale des facteurs dans l'agriculture
I.07 - Émissions de l'agriculture

I.10 - Émissions de gaz à effet de serre provenant de l'agriculture

I.14 - Émissions d'ammoniac provenant de l'agriculture

I.08 - Indice des oiseaux des terres agricoles I.19 - Indice des oiseaux des terres agricoles
I.09 - Agriculture à haute valeur naturelle (HNV)  
I.10 - Prélèvements d'eau dans l'agriculture I.17 - Indice d'exploitation de l'eau plus (WEI+)
I.11 - Qualité de l'eau

I.15 - Bilan brut des éléments nutritifs sur les terres agricoles

I.16 - Nitrates dans les eaux souterraines

I.13 - Érosion des sols par l'eau I.13 - Pourcentage de terres agricoles soumises à une érosion modérée et grave
I.14 - Taux d'emploi rural I.24 - Évolution du taux d'emploi dans les zones rurales, incluant une décomposition selon les sexes
I.15 - Degré de pauvreté rurale I.27 - Évolution de l'indice de pauvreté dans les zones rurales
I.16 - PIB rural par habitant I.25 - Évolution du produit intérieur brut (PIB) par habitant dans les zones rurales

Étape par étape

  • Étape 1 - Constituer des groupes de comparaison composés de bénéficiaires et de non-bénéficiaires, différenciés par des facteurs connus et des éléments observables, pour lesquels la valeur de l'indicateur d'impact correspondant peut être calculée.
  • Étape 2 - Calculer la valeur moyenne de l'indicateur d'impact pour les bénéficiaires au début de la période de mise en œuvre.
  • Étape 3 - Calculer la valeur moyenne de l'indicateur d'impact pour les bénéficiaires au moment de l'évaluation.
  • Étape 4 - Calculer la première différence pour les bénéficiaires avant (étape 1) et après la mise en œuvre de l'intervention (ou des interventions) (étape 2).
  • Étape 5 - Calculer la valeur moyenne de l'indicateur d'impact pour les non-bénéficiaires, au début de la période de mise en œuvre.
  • Étape 6 - Calculer la valeur moyenne de l'indicateur d'impact pour les non-bénéficiaires au moment de l'évaluation.
  • Étape 7 - Calculer la deuxième différence pour les non-bénéficiaires avant (étape 5) et après la mise en œuvre de l'intervention (étape 6), dans chaque groupe constitué à l'étape 1.
  • Étape 8 - Calculer la DiD en soustrayant la deuxième différence (étape 7) de la première différence (étape 4).

Principaux points à retenir

  • La méthode DiD élimine soigneusement les biais en comparant les effets du programme avant et après sa mise en œuvre parmi les participants et les non-participants.
  • Son hypothèse de base est que les tendances des résultats pour les deux groupes seraient similaires sans le programme.
  • La méthode DiD est particulièrement efficace lorsque des données sont disponibles pour les deux groupes au fil du temps et que l'hypothèse de la similitude des tendances se vérifie.
  • Cette approche compare les changements pour les participants et les non-participants au programme afin d'isoler l'effet du programme.
  • Les étapes clés de la méthode DiD comprennent la formation de groupes de comparaison, le calcul des changements moyens et la déduction des différences entre les groupes.

Tirer des enseignements de la pratique

Lectures complémentaires

Publication - FAQ |

Assessing RDP Achievements and Impacts in 2019