Portail d'apprentissage

Approches qualitatives : analyse de contribution

L'analyse de contribution est une approche qualitative globale qui intègre des données qualitatives et quantitatives afin d'examiner les relations de cause à effet d'un programme, ce qui permet de tirer des conclusions quant à son impact sur les résultats. Elle convient aux évaluations pour lesquelles il n'est pas possible de recourir à des modèles expérimentaux.

Page contents

Woman farmer controls drone sprayer with a tablet

Principes de base

En bref

Une analyse de contribution est utilisée pour évaluer les questions causales et déduire la causalité dans les évaluations de programmes. Elle fournit une approche structurée, étape par étape, qui aide les décideurs politiques à tirer des conclusions sur la contribution que le programme concerné a apportée (ou apporte actuellement) à des résultats précis. Une question clé dans l'évaluation des programmes est celle de l'attribution - dans quelle mesure les résultats observés sont-ils dus aux activités du programme, plutôt qu'à d'autres facteurs, le programme a-t-il fait une différence et a-t-il une valeur ajoutée ?

La valeur essentielle d'une analyse de contribution est qu'elle est conçue pour réduire l'incertitude quant à la contribution d'une intervention en améliorant la compréhension des raisons pour lesquelles les résultats observés se sont produits (ou non) et les rôles joués par l'intervention et d'autres facteurs internes et externes. Lorsqu'il n'est pas pratique de concevoir une expérience pour évaluer les performances, une analyse de contribution peut fournir une évaluation crédible des causes et des effets.

Cette approche est particulièrement utile dans les situations où le programme n'est pas expérimental, c'est-à-dire lorsqu'il a été financé sur la base d'une théorie du changement relativement claire et qu'il n'y a que peu ou pas de possibilités de modifier la manière dont il est mis en œuvre. Une analyse de la contribution permet de confirmer ou de réviser la théorie du changement, mais n'est pas conçue pour découvrir des théories du changement implicites. La vérification de la théorie du changement sur laquelle repose le programme et l'attention portée aux autres facteurs susceptibles d'influencer les résultats fournissent des preuves raisonnables de la contribution apportée par un programme.

Le rapport d'une analyse de contribution n'est pas une preuve définitive, mais fournit plutôt des éléments de preuve et un raisonnement permettant de tirer une conclusion plausible selon laquelle, avec un certain niveau de certitude, un programme a apporté une contribution importante aux résultats documentés.

Le processus consiste à vérifier la théorie du changement qui sous-tend un programme, à s'assurer que les activités du programme ont été mises en œuvre comme prévu, à utiliser des éléments probants pour confirmer l'enchaînement attendu des résultats et à évaluer d'autres facteurs d'influence tout en reconnaissant leurs contributions relatives.

Cette méthode est précieuse pour les gestionnaires et les évaluateurs lorsque les modèles expérimentaux ne sont pas pratiques. Elle offre une évaluation crédible de la relation de cause à effet en vérifiant la théorie du changement et en tenant compte d'autres facteurs internes ou externes influents.

Avantages et inconvénients

Avantages Inconvénients
  • Fournit un processus clair et systématique pour explorer les relations de cause à effet.
  • Peut être appliquée dans divers contextes, en particulier lorsqu'il n'est pas possible d'établir des modèles expérimentaux.
  • Permet d'affiner et de renforcer en permanence le récit de la contribution au fur et à mesure de la collecte de nouvelles données.
  • Intègre de multiples sources de données, y compris des données qualitatives et quantitatives.
  • La collecte et l'analyse itérative des données nécessitent beaucoup de temps et d'efforts.
  • La qualité et la fiabilité de l'analyse dépendent fortement de la disponibilité et de la qualité des données existantes.
  • L'élaboration d'une théorie du changement détaillée et l'élaboration d'un récit de la contribution crédible peuvent être complexes et difficiles.
  • Le processus peut impliquer des jugements subjectifs, en particulier lors de l'interprétation des données qualitatives et de la construction du récit de la contribution.
  • Bien qu'il permette de résoudre les problèmes d'attribution, il peut ne pas éliminer totalement les incertitudes, en particulier dans le cas de programmes complexes comportant de nombreux facteurs d'influence.

Quand l'utiliser ?

Dans le contexte du plan stratégique relevant de la PAC, l'analyse de la contribution peut être utilisée pour évaluer les programmes élaborés sur la base d'une théorie du changement. Par exemple, les systèmes de connaissance et d'innovation agricoles (SCIA) et les stratégies de développement local (SDL). Elle peut également être utilisée dans d'autres cas où l'attribution directe des résultats à des interventions spécifiques est difficile en raison de la multiplicité des facteurs d'influence et de la complexité des structures des programmes.

Dans le contexte d'une évaluation des SCIA, par exemple, l'analyse de la contribution peut décrire ou démêler les multiples facteurs qui ont interagi pour obtenir des résultats. Elle peut être utilisée pour conceptualiser différentes manières d'avoir un impact. Elle est utile pour fournir des preuves et un raisonnement permettant de tirer des conclusions sur la contribution des interventions SCIA aux résultats escomptés.

Lorsqu'elle est appliquée de manière participative, l'analyse de la contribution est précieuse pour garantir l'importance et la fiabilité des données collectées. En outre, elle aide les parties prenantes à évaluer systématiquement quels résultats ont été obtenus et par qui, et à gérer les implications et les ajustements des stratégies nécessaires pour atteindre les résultats souhaités.

Conditions préalables

  • Une théorie du changement (relativement) clairement articulée doit être utilisée comme base.
  • Des données suffisantes doivent être disponibles et collectées en permanence pour étayer la théorie du changement.
  • Une compréhension approfondie du contexte d'un programme, y compris des facteurs externes susceptibles d'influencer les résultats, est nécessaire pour évaluer avec précision sa contribution aux changements observés.

Étape par étape

Une analyse de la contribution comporte six étapes itératives. Chacune d'entre elles permet de construire le récit de la contribution et de remédier aux faiblesses identifiées lors de l'étape précédente. Le cas échéant, bon nombre de ces étapes peuvent être réalisées de manière participative.

Étape 1 - Définir le problème d'attribution à résoudre

  • Reconnaître le problème d'attribution.
  • Déterminer la question spécifique de cause à effet à traiter.
  • Déterminer le niveau de confiance requis.
  • Étudier le type de contribution attendu.
  • Déterminer d'autres facteurs d'influence clés.
  • Évaluer la plausibilité de la contribution attendue par rapport à la taille du programme.

Étape 2 - Élaborer la théorie du changement et les risques qu'elle comporte

  • Déterminer le niveau de détail.
  • Déterminer la contribution attendue du programme.
  • Dresser la liste des hypothèses qui sous-tendent la théorie du changement.
  • Tenir compte des autres facteurs susceptibles d'influencer les résultats.
  • Déterminer dans quelle mesure la théorie du changement est contestée.

Étape 3 - Recueillir les données existantes sur la théorie du changement

  • Évaluer la logique des liens dans la théorie du changement.
  • Recueillir des informations sur les résultats et les activités, les hypothèses et les autres facteurs d'influence.
  • Créer un récit initial expliquant comment les activités du programme contribuent aux résultats observés.

Étape 4 - Rassembler et évaluer le récit de la contribution et les défis qu'il pose

  • Analyser la théorie du changement avec les preuves collectées pour construire le récit de la contribution.

Étape 5 - Recherche de preuves supplémentaires

  • Combler les lacunes du récit de la contribution initial en recueillant davantage d'éléments probants.
  • Utilisez des enquêtes, des études de cas et d'autres méthodes de recherche pour renforcer la solidité de l'analyse.

Étape 6 - Réviser et renforcer le récit de la contribution

  • Affinez le récit de la contribution sur la base des nouveaux éléments.
  • Réévaluez les forces et les faiblesses et ajustez la théorie du changement si nécessaire.

L'analyse de la contribution fonctionne mieux dans le cadre d'un processus itératif. Ainsi, à ce stade, l'analyse peut revenir à l'étape 4 et réévaluer les forces et les faiblesses du récit de la contribution.

Principaux points à retenir

  • L'analyse de la contribution fournit un processus clair pour explorer les relations de cause à effet.
  • Il s'agit d'une méthode adaptée à différents contextes, en particulier lorsqu'il n'est pas possible d'avoir recours à des modèles expérimentaux.
  • Elle permet d'affiner et de renforcer continuellement une analyse.
  • Les analyses de contribution intègrent de multiples sources de données, y compris des données qualitatives et quantitatives. Elle permet donc de construire un récit solide qui peut résister à un examen minutieux.
  • La méthode nécessite beaucoup de temps et d'efforts pour rassembler et analyser les preuves.

Tirer les leçons de l'expérience

Pour en savoir plus

  • Mayne, J., (2008)
    Contribution Analysis: An Approach to Exploring Cause and Effect. ILAC Brief 16. International Learning and Change (ILAC) Initiative
  • Mayne, J., (2012)
    Contribution Analysis: Coming of Age? Evaluation, 18(3), 270-280
  • Sunnassee, E., (2020)
    Translating Theory to Practice: A Multi-Method Study of the Contribution Analysis Evaluation Approach. Phd dissertation directed by Dr. Ayesha S. Boyce and Dr. John T Willse. p. 210.
  • Budhwani, S., Mc David, J.C., (2017)
    Contribution Analysis: Theoretical and Practical Challenges and Prospects for Evaluators. Canadian Journal of Program Evaluation 32.1 (Spring)
  • Dybdal, L., Nielsen, S., B., Lemire, S., (2010)
    Contribution Analysis Applied: Reflections on Scope and Methodology. Canadian Journal of Program Evaluation 25.2 (Fall).
  • Rogers, P.J., (2008)
    Using Programme Theory to Evaluate Complicated and Complex Aspects of Interventions. Evaluation, 14(1), p. 29-48
  • Schwartz, R., & Mayne, J. (2005)
    Assuring the Quality of Evaluative Information: Theory and Practice. Evaluation and Program Planning, 28(1), p. 1-14
  • Astbury, B., & Leeuw, F.L., (2010)
    Unpacking Black Boxes: Mechanisms and Theory Building in Evaluation. American Journal of Evaluation, 31(3), p. 363-381