Portail d'apprentissage

Portail d'apprentissage - Approches théoriques

L'évaluation fondée sur la théorie vise à comprendre et à évaluer la manière dont les interventions des programmes contribuent aux objectifs politiques, en mettant l'accent sur leur efficacité. Elle est connue pour son utilisation poussée d'une chaîne de causalité, ou d'une théorie du changement, qui explique les raisons et les moyens par lesquels une intervention est susceptible d'être couronnée de succès.

Page contents

a person's hand holding a pen and typing on a laptop

Principes de base

En bref

Expliquer l'essentiel

L'évaluation fondée sur la théorie (EFT) est une approche systématique et globale qui peut être utilisée pour expliquer et évaluer la contribution des interventions des programmes aux objectifs politiques en termes d'efficacité. Le point de départ d'une EFT est toujours une chaîne de causalité ou une théorie du changement, qui explique comment et pourquoi une intervention fonctionnera et devrait conduire aux résultats escomptés. Cette approche met fortement l'accent sur la collecte de preuves empiriques pour tester et valider ces théories expliquant les processus de changement et le rôle d'une intervention dans la réalisation des objectifs politiques. L'EFT est particulièrement utile pour les décideurs politiques, les gestionnaires de programmes et les autres parties prenantes qui cherchent à comprendre de manière plus approfondie et plus nuancée l'efficacité d'un programme. Elle part du principe que les programmes sont basés sur une théorie explicite ou implicite qui explique comment et pourquoi un programme fonctionnera.

La théorie du changement sous-jacente peut se référer à une théorie de programme ou englober des théories sociales, économiques ou politiques plus larges qui expliquent comment l'allocation de fonds produira des rendements qui permettront d'atteindre les résultats escomptés (objectifs spécifiques) et les impacts (objectifs généraux) (le changement attendu). Dans le cas d'une « évaluation basée sur la théorie du programme », une théorie plausible du programme est établie par la logique d'intervention, qui est une pierre angulaire essentielle de l'évaluation.

La théorie de programme au cœur de l'évaluation

L'évaluation basée sur la théorie de programme suit chaque étape de la logique d'intervention du programme en mettant l'accent sur l'identification des liens de causalité et des mécanismes de changement. Diverses méthodes analytiques peuvent être appliquées pour examiner ces liens, ce qui permet d'évaluer si le cadre théorique s'est concrétisé dans la pratique. Les sources importantes de la théorie du programme comprennent : les observations liées au programme, la recherche exploratoire conçue pour tester les hypothèses critiques, les connaissances théoriques préexistantes et les résultats de la recherche, ainsi que les théories implicites de ceux qui sont étroitement associés au programme. L'approche de l'évaluation de la théorie du changement répond à une question clé liée à l'efficacité : comment et dans quelle mesure les objectifs fixés ont-ils été atteints ? Dans cette approche, on élabore un ensemble cohérent et logique de critères qui formulent, dans une chaîne logique, les conditions préalables et les conditions nécessaires pour obtenir en fin de compte les effets (positifs) souhaités. Ces critères sont ensuite vérifiés étape par étape pour déterminer s'ils sont remplis et, par conséquent, dans quelle mesure les résultats escomptés peuvent être atteints. Plus le nombre de conditions préalables remplies tout au long de la chaîne d'impact est élevé, plus il est probable que les résultats et les impacts escomptés seront atteints. L'examen de la chaîne des résultats devrait fournir des indications sur la réussite de la stratégie de financement ou sur la nécessité de l'adapter. Bien que les effets soient principalement consignés de manière qualitative, la prise en compte globale des éléments constitutifs de la chaîne d'impact accroît la robustesse de l'évaluation.

Tests empiriques

D'un point de vue empirique, les évaluations fondées sur la théorie cherchent à tester la théorie du programme et à déterminer si, pourquoi ou comment les politiques ou les programmes produisent les résultats escomptés ou observés. La vérification des théories peut se faire sur la base de données existantes ou nouvelles, à la fois quantitatives (expérimentales et non expérimentales) et qualitatives. Les tests nécessitent la collecte de preuves pour renforcer le récit de la contribution, en utilisant des techniques de collecte de données appropriées, telles que les enquêtes et l'examen et l'analyse des données administratives. Dans une perspective théorique, plusieurs techniques de collecte de données fréquemment utilisées peuvent être mises en oeuvre (par exemple, des entretiens avec des informateurs clés, des Focus Groups et des workshops, ou des études de cas). Par la suite, les preuves empiriques nouvellement collectées sont utilisées pour construire un récit de contribution plus crédible avec des conclusions renforcées sur les liens de causalité dans la théorie du changement.

L'approche de la théorie du programme devrait être appliquée comme première étape pour estimer les effets indirects d'un programme, notamment en apportant des réponses à des questions telles que : qui pourrait être affecté par le programme et comment cela est lié à la logique d'intervention du programme ?

Avantages et inconvénients

Avantages

Inconvénients
  • Explication de la causalité : L'EFT excelle dans l'explication des processus de causalité qui sous-tendent les effets du programme. Le suivi de la séquence des étapes permet une compréhension globale des micro-étapes qui relient les intrants du programme aux résultats souhaités. Ce niveau de détail permet aux évaluateurs d'expliquer précisément comment et pourquoi certains effets se sont produits, offrant ainsi des informations précieuses pour l'amélioration du programme.
  • Utilisation d'informations diverses : Au-delà des effets causaux quantifiables, l'EFT reconnaît l'importance de la diversité des informations. Elle reconnaît que les décideurs politiques ont besoin de plus que de simples chiffres pour prendre des décisions éclairées sur la mise en œuvre et la conception des politiques. L'EFT génère des informations qualitatives et une compréhension du contexte, offrant une perspective globale qui soutient la formulation et l'amélioration des politiques.
  • Engagement des parties prenantes : L'EFT favorise l'engagement actif d'un large éventail de parties prenantes. L'implication des parties prenantes dans le développement, l'examen et l'affinement de la théorie du programme garantit qu'un processus d'évaluation saisit un spectre complet d'effets appréciés par les différentes parties prenantes. Cette inclusion renforce la pertinence et la crédibilité des résultats de l'évaluation.
  • Identification systématique des éléments probants : L'EFT facilite l'identification systématique des éléments probants nécessaires à l'évaluation. Il attire l'attention sur les données et les informations spécifiques nécessaires pour évaluer l'impact d'un programme, rationalisant ainsi le processus de collecte des données et garantissant qu'une évaluation se concentre sur les aspects les plus pertinents d'une intervention.
  • Promouvoir les méthodes d'analyse causale : L'approche encourage l'utilisation systématique de méthodes d'analyse causale pour élaborer et tester des hypothèses concernant les effets du programme. Cette approche renforce la validité et la fiabilité des résultats de l'évaluation, car elle utilise des techniques analytiques établies pour évaluer avec précision les contributions causales.
  • Collecte itérative des données : L'analyse menée dans le cadre d'une évaluation fondée sur la théorie conduit souvent à l'identification de modèles et d'hypothèses émergents. L'évaluation fondée sur la théorie reconnaît la nature dynamique de l'impact des programmes et permet une collecte itérative des données afin de tester ces hypothèses évolutives. Cette adaptabilité garantit qu'une évaluation reste sensible aux changements de circonstances et à l'évolution de la dynamique du programme.
  • Mettre l'accent sur les effets escomptés : L'EFT met souvent l'accent sur l'évaluation des effets escomptés d'un programme ou d'une politique. Cette focalisation peut conduire à une limitation potentielle car elle peut négliger des conséquences ou des effets involontaires qui n'ont pas été explicitement décrits dans la théorie initiale du changement d'un programme.
  • Contribution causale implicite : Si l'EFT suppose une contribution causale s'il existe des preuves d'une chaîne causale attendue, elle n'aborde pas toujours explicitement le degré de contribution causale d'une intervention. Il peut donc s'avérer difficile de déterminer dans quelle mesure un programme est à l'origine des résultats observés.
  • Théories invisibles ou non exprimées : Les théories sous-jacentes qui sous-tendent une politique ou un programme ne sont pas toujours facilement visibles ou exprimées dans les documents officiels. Les évaluateurs peuvent être amenés à déployer des efforts considérables pour rechercher et formuler ces théories d'une manière vérifiable, ce qui peut prendre du temps et s'avérer complexe.
  • Énoncés théoriques généraux et peu élaborés : La vérification empirique des théories sous-jacentes à l'EFT peut s'avérer fastidieuse, en particulier lorsque les énoncés théoriques sont trop généraux ou construits de manière imprécise. Cette imprécision peut empêcher la réalisation de tests clairs, l'identification des hypothèses et l'établissement de relations de cause à effet précises.
  • Difficultés de mesure : Les évaluateurs peuvent rencontrer des difficultés pour mesurer chaque étape d'une évaluation fondée sur la théorie, en particulier si les instruments et les données appropriés ne sont pas immédiatement disponibles. Des outils de mesure inadéquats peuvent compromettre la précision et la fiabilité des résultats de l'évaluation.
  • Problèmes d'interprétation et de généralisation : des problèmes d'interprétation peuvent survenir dans le cadre de l'évaluation fondée sur la théorie, ce qui rend difficile la généralisation des résultats. La nature complexe et multiforme des théories de programme, en particulier celles liées à divers concepts économiques, sociaux et politiques, peut être source d'ambiguïté et entraver la capacité à tirer des conclusions plus larges ou des implications politiques.

Quand l'utiliser ?

L'évaluation fondée sur la théorie est appropriée lorsqu'il est nécessaire d'évaluer la validité des hypothèses intégrées dans la logique d'intervention d'un plan stratégique relevant de la PAC. La logique d'intervention, accompagnée de questions d'évaluation bien définies et d'indicateurs pertinents, sert de cadre de base pour la réalisation d'une EFT. Cette approche garantit que l'évaluation est fermement ancrée dans une théorie de programme plausible. L'EFT permet un examen systématique des différents liens au sein de la logique d'intervention. Elle utilise diverses méthodes pour analyser et construire un argument convaincant sur la question de savoir si la théorie proposée dans une logique d'intervention a été effectivement réalisée dans la pratique. La méthode permet d'expliquer pourquoi et comment les résultats ont été obtenus et d'évaluer la contribution d'un plan stratégique relevant de la PAC aux objectifs de la PAC.

En général, cette approche ne produit pas d'estimation quantifiée de l'impact ; elle produit des données narratives et non paramétriques telles que des classifications qualitatives (par exemple, contribution faible, moyenne ou élevée d'une mesure à la réalisation de ses objectifs). La manière la plus efficace d'élaborer une théorie de programme est donc un processus interactif impliquant une combinaison d'analyse documentaire et d'engagement avec les parties prenantes du programme.

Selon les lignes directrices 2012 de la Commission européenne sur l'évaluation d'impact, si une conception expérimentale n'est pas possible, et si différentes conceptions non expérimentales ne sont pas possibles, on peut alors passer à des approches plus qualitatives, y compris une théorie du changement, pour établir un contrefactuel : « Une théorie du changement expose les raisons pour lesquelles on pense que les activités de l'intervention conduiront à une contribution aux résultats escomptés ; c'est-à-dire pourquoi et comment les résultats observés peuvent être attribués à l'intervention. L'analyse teste cette théorie par rapport à la logique et aux preuves disponibles sur les résultats observés et les différentes hypothèses qui sous-tendent la théorie du changement, et examine d'autres facteurs d'influence. Elle confirme la théorie du changement postulée ou suggère des révisions de la théorie lorsque la réalité semble différente ».

La théorie du changement est également adaptée à l'évaluation de contextes complexes, tels que l'implication de divers acteurs dans les processus de changement, comme on l'observe dans des initiatives telles que LEADER ou SCIA. L'approche stratégique de SCIA est très liée au contexte de chaque État membre. C'est pourquoi l'un des principes clés de la conception et de la réalisation d'une évaluation est de prévoir la production systématique de connaissances spécifiques fondées sur des données probantes en utilisant l'approche de la théorie du changement. Cela permettra de réfléchir aux différentes caractéristiques des SCIA dans les États membres.

En outre, l'EFT peut contribuer à l'évaluation ex post des effets du programme dans les situations où une évaluation d'impact, y compris le contrefactuel établi par des approches quasi-expérimentales ou non expérimentales, a été réalisée. Cependant, une compréhension plus approfondie des résultats obtenus est nécessaire, ce qui peut aider à clarifier les voies de causalité et les facteurs contributifs qui ont conduit aux résultats observés.

Conditions préalables

Programme clairement défini et disponibilité de la théorie du programme : L'EFT nécessite un programme, une politique ou une intervention bien définis, avec des objectifs et des activités clairs à évaluer. Une théorie de programme ou une théorie du changement existante ou élaborée doit décrire la manière dont l'intervention est censée fonctionner, les voies de causalité et les hypothèses sous-jacentes.

Connaissance des théories alternatives : Les évaluateurs doivent connaître les théories alternatives expliquant pourquoi et comment des résultats spécifiques peuvent être attribués à une intervention donnée. Cette connaissance permet une comparaison solide des théories alternatives au cours du processus d'évaluation.

Grandes capacités d'analyse et connaissance des principes de test : Les évaluateurs doivent avoir de grandes capacités d'analyse et une bonne connaissance des principes de base des tests. Cela inclut la capacité de concevoir et de mener des évaluations de manière efficace, d'analyser les données de manière rigoureuse et d'appliquer les méthodes de test appropriées.

Étape par étape

  • Étape 1 - Établir (reconstruire) le modèle conceptuel des interventions pour saisir les objectifs à différents niveaux, les activités prévues et les groupes cibles afin d'obtenir le changement souhaité. L'énoncé explicite de la « théorie du programme » est important car il fournit la logique sous-jacente de l'évaluation.
  • Étape 2 - Vérifier la mise en œuvre des différents éléments constitutifs du modèle d'impact à l'aide de sources d'information mixtes et raconter « le récit de la performance » à un niveau d'activité détaillé par le biais d'une recherche empirique qui explore la manière dont le modèle conceptuel a fonctionné dans la pratique.
  • Étape 3 - Tirer des conclusions fondées sur des données probantes pour déterminer si la mise en œuvre et la pratique correspondent effectivement aux objectifs prévus et à la théorie du changement. Sur la base des éléments recueillis, un jugement est porté sur l'efficacité de la réalisation des objectifs stratégiques et opérationnels définis au départ, c'est-à-dire dans le plan stratégique relevant de la PAC.

Dans sa forme simple, l'approche de l'évaluation fondée sur la théorie du changement repose sur des méthodes non rigoureuses telles que le suivi, l'analyse de données concrètes (quantitatives), les entretiens, les Focus Groups et les études de cas (qualitatives), qui fournissent les informations nécessaires pour vérifier (ou non) la mise en œuvre d'activités planifiées conformément à un changement prévu.

Il s'appuie donc sur des informations quantitatives concernant les apports financiers et les rendements, et sur des estimations qualitatives concernant les résultats et les impacts. Cet exercice aboutit à un jugement sur la contribution des principaux produits et des résultats identifiés en ce qui concerne une (des) intervention(s) donnée(s) au changement visé. Il produit des données narratives et non paramétriques, telles que des classifications qualitatives, par exemple une contribution faible, moyenne ou élevée d'une intervention à la réalisation d'objectifs définis.

Voir la section 4.3, « La théorie du changement : théorie et pratique », et la section 7, « Exemple pratique de l'approche proposée », pour une description plus détaillée de l'utilisation de la théorie du changement dans l'évaluation de l'approche stratégique des SCIA.

Principaux points à retenir

  • L'EFT identifie et analyse les mécanismes sous-jacents d'un programme, ce qui permet de comprendre comment les interventions aboutissent aux résultats souhaités.
  • Elle combine des données qualitatives et quantitatives afin de fournir une compréhension approfondie de l'impact des programmes.
  • L'implication des parties prenantes est cruciale dans l'EFT, car elle garantit la diversité et la pertinence des points de vue dans le processus d'évaluation.
  • Bien que l'EFT permette d'obtenir des informations approfondies, elle peut se heurter à des effets involontaires et à des théories complexes et inexprimées.
  • C'est dans des contextes complexes et multidimensionnels, tels que l'évaluation des plans stratégiques relevant de la PAC, que l'évaluation qualitative détaillée est la plus efficace et qu'elle permet de comprendre en profondeur l'impact des interventions.

Apprendre de la pratique

  • Donaldson, S. I. (2001)
    Overcoming our negative reputation: Evaluation becomes known as a helping profession. American Journal of Evaluation, 22(3), 355–361
  • Donaldson, S. I. (2003)
    Theory-driven program evaluation in the new millennium. In S. I. Donaldson & M. Scriven (Eds.), Evaluating social programs and problems: Visions for the new millennium (pp. 109-141)
  • Donaldson, S.I. (2007)
    Program Theory-Driven Evaluation Science: Strategies and Applications (1st ed.). Routledge
  • Michalek J.
    Counterfactual impact evaluation of EU rural development programmes - Propensity Score Matching methodology applied to selected EU Member States. Volume 2: A regional approach. EUR 25419 EN. Luxembourg (Luxembourg): Publications Office of the European Union; 2012. JRC72060 

Pour en savoir plus