Portail d'apprentissage - Comparaisons naïves de groupes

Une alternative pragmatique

Les comparaisons de groupes naïves, soutenues par des méthodes qualitatives, sont proposées comme une alternative pour l'évaluation des impacts. Elles peuvent servir de « solution rapide » lorsque l'on n'a pas le temps d'organiser une enquête en bonne et due forme ni de disposer de données de suivi pour utiliser un contrefactuel ou estimer les effets nets d'un programme au moyen d'une méthodologie statistique solide.

Dans cette technique d'évaluation, les données nécessaires sur les valeurs moyennes des indicateurs de résultats pour les unités ne participant pas à un programme sont généralement obtenues à partir de diverses enquêtes nationales ou de données nationales agrégées. L'approche repose sur l'hypothèse qu'en l'absence de programme, la valeur de l'indicateur de résultat des participants au programme serait la même que la moyenne d'un groupe composé à la fois de participants et de non-participants au programme. Toutefois, cela ne serait justifiable que si la performance d'un groupe de participants au programme (mesurée par n'importe quel indicateur d'impact arbitraire, par exemple le revenu, le bénéfice ou l'emploi) était identique à la performance d'un groupe composé à la fois de participants et de non-participants au programme (moyenne de la population).

Rapide et facile, mais avec prudence

Estimations naïves : avec cette approche, les groupes de comparaison sont généralement sélectionnés de manière arbitraire, ce qui conduit à des résultats quantitatifs statistiquement biaisés. Les évaluations utilisent parfois cette approche moins robuste, qui ne permet pas d'obtenir des connaissances aussi rigoureuses sur les effets directs et indirects d'un programme spécifique si elles ne disposent pas de suffisamment de données et de groupes de contrôle. Une estimation naïve implique l'application de méthodes basées sur des preuves insuffisantes ou des enquêtes ad hoc auprès d'un groupe de bénéficiaires, des opinions de responsables administratifs, etc. Ces techniques sont généralement inadaptées pour traiter de manière appropriée les questions considérées comme cruciales dans tout cadre d'évaluation quantitative.

Les techniques de comparaison naïve peuvent être utilisées lorsque seules quelques unités participent à un programme et que, par conséquent, on ne s'attend pas à ce qu'il y ait des effets. Cette technique peut également être appliquée lorsqu'il n'existe pas de données sur les variables observables ou les instruments expliquant la participation au programme et les résultats, ni de modèles structurels appropriés ou d'autres approches de modélisation.

Les restrictions concernant l'interprétation des calculs basés sur cette technique simplifiée doivent être prises en compte, notamment en ce qui concerne l'ampleur d'un éventuel biais de sélection.

La technique peut être appliquée pour évaluer l'effet du soutien de la PAC sur l'évolution des valeurs des indicateurs d'impact énumérés dans le tableau suivant.

Étape 1 - Construire la moyenne de l'évolution des indicateurs de résultats pour les unités participant à un programme.

Étape 2 - Établir le « contrefactuel », qui est la moyenne correspondante de la zone NUTS 2 ou d'une autre zone plus large dans laquelle les unités participantes sont situées.

Étape 3 - Estimer un effet « net » en comparant la moyenne des participants (étape 1) au contrefactuel (étape 2).

Étape 4 - Appliquer la méthode naïve des doubles différences (DiD) si, à partir des données de suivi, l'évaluateur peut calculer les valeurs moyennes des indicateurs de résultats avant et après la mise en œuvre d'un programme.