Learning Portal

Qualitative Ansätze: Beitragsanalyse

Die Beitragsanalyse ist ein umfassender qualitativer Ansatz, der sowohl qualitative als auch quantitative Daten integriert, um die Ursache-Wirkungs-Beziehungen eines Programms zu untersuchen, was Rückschlüsse auf seine Auswirkungen auf die Ergebnisse ermöglicht. Sie eignet sich für Bewertungen, bei denen experimentelle Designs nicht durchführbar sind.

Page contents

Woman farmer controls drone sprayer with a tablet

Grundlagen

Auf den Punkt gebracht

Eine Beitragsanalyse wird zur Beurteilung von Kausalfragen und zur Ableitung von Kausalität in Programmbewertungen verwendet. Sie bietet einen strukturierten, schrittweisen Ansatz, der politischen Entscheidungsträgern hilft, zu Schlussfolgerungen über den Beitrag zu gelangen, den das jeweilige Programm zu bestimmten Ergebnissen geleistet hat (oder derzeit leistet). Eine Schlüsselfrage bei der Bewertung von Programmen ist die Frage der Zurechnung – inwieweit sind die beobachteten Ergebnisse auf die Aktivitäten des Programms und nicht auf andere Faktoren zurückzuführen, hat das Programm einen Unterschied gemacht und hat es einen Mehrwert?

Der wesentliche Wert einer Beitragsanalyse besteht darin, dass sie darauf abzielt, die Unsicherheit über den Beitrag einer Intervention zu verringern, indem sie das Verständnis dafür verbessert, warum die beobachteten Ergebnisse eingetreten sind (oder nicht) und welche Rolle die Intervention und andere interne und externe Faktoren gespielt haben. Wenn es nicht praktikabel ist, ein Experiment zur Leistungsbewertung durchzuführen, kann eine Beitragsanalyse eine glaubwürdige Bewertung von Ursachen und Wirkungen liefern.

Dieser Ansatz ist besonders nützlich in Situationen, in denen das Programm nicht experimentell ist, d. h. wenn ein Programm auf der Grundlage einer relativ klar formulierten Theorie des Wandels finanziert wurde und es nur wenig oder gar keinen Spielraum für Änderungen bei der Umsetzung gibt. Eine Beitragsanalyse hilft, die Theorie des Wandels zu bestätigen oder zu überarbeiten, ist aber nicht dazu gedacht, implizite Theorien des Wandels aufzudecken. Die Überprüfung der dem Programm zugrundeliegenden Veränderungstheorie und die Berücksichtigung anderer Faktoren, die die Ergebnisse beeinflussen können, liefern angemessene Hinweise auf den Beitrag eines Programms.

Der Bericht einer Beitragsanalyse ist kein endgültiger Beweis, sondern liefert vielmehr Belege und eine Argumentationslinie, die eine plausible Schlussfolgerung zulässt, dass ein Programm mit einem gewissen Maß an Sicherheit einen wichtigen Beitrag zu den dokumentierten Ergebnissen geleistet hat.

Der Prozess umfasst die Überprüfung der einem Programm zugrunde liegenden Veränderungstheorie, die Sicherstellung, dass die Programmaktivitäten wie geplant durchgeführt wurden, die Verwendung von Nachweisen zur Bestätigung der erwarteten Ergebniskette und die Bewertung anderer Einflussfaktoren unter Berücksichtigung ihrer relativen Beiträge.

Diese Methode ist für Manager und Evaluatoren wertvoll, wenn experimentelle Designs nicht praktikabel sind. Sie bietet eine glaubwürdige Bewertung von Ursache und Wirkung, indem sie die Theorie der Veränderung verifiziert und andere interne oder externe Einflussfaktoren berücksichtigt.

Vor- und Nachteile

Vorteile Nachteile
  • Bietet einen klaren, systematischen Prozess zur Erforschung von Ursache-Wirkungs-Beziehungen.
  • Kann in verschiedenen Kontexten angewandt werden, insbesondere wenn experimentelle Designs nicht durchführbar sind.
  • Ermöglicht eine kontinuierliche Verfeinerung und Stärkung des Beitrags, wenn neue Erkenntnisse gesammelt werden.
  • Bezieht mehrere Beweisquellen ein, einschließlich qualitativer und quantitativer Daten.
  • Erfordert einen erheblichen Zeit- und Arbeitsaufwand für die iterative Sammlung und Analyse von Daten.
  • Die Qualität und Zuverlässigkeit der Analyse hängt stark von der Verfügbarkeit und Qualität der vorhandenen Daten ab.
  • Die Entwicklung einer detaillierten Theorie des Wandels und die Zusammenstellung eines glaubwürdigen Beitrags kann komplex und anspruchsvoll sein.
  • Der Prozess kann subjektive Einschätzungen beinhalten, insbesondere bei der Interpretation qualitativer Belege und der Konstruktion des Beitragsberichts.
  • Auch wenn damit die Probleme der Zurechnung angegangen werden, können Unsicherheiten nicht vollständig beseitigt werden, insbesondere bei komplexen Programmen mit vielen Einflussfaktoren.

Wann wird sie eingesetzt?

Im Zusammenhang mit dem GAP-Strategieplan kann die Beitragsanalyse bei der Bewertung von Programmen eingesetzt werden, die auf der Grundlage einer Theorie des Wandels entwickelt wurden. Zum Beispiel landwirtschaftliche Wissens- und Innovationssysteme in der Landwirtschaft (AKIS) und Lokale Entwicklungsstrategien (LDS). Sie kann auch in anderen Fällen verwendet werden, in denen die direkte Zuordnung von Ergebnissen zu bestimmten Interventionen aufgrund zahlreicher Einflussfaktoren und komplexer Programmstrukturen schwierig ist.

Im Rahmen einer AKIS-Bewertung kann die Beitragsanalyse zum Beispiel mehrere Faktoren darstellen oder entwirren, die bei der Erzielung von Ergebnissen zusammengewirkt haben. Sie kann verwendet werden, um verschiedene Wirkungspfade zu konstruieren. Sie ist nützlich, um Beweise und eine Argumentationslinie zu liefern, aus der man Schlussfolgerungen über den Beitrag der AKIS-Interventionen zu den erwarteten Ergebnissen ziehen kann.

Wenn sie auf partizipative Weise angewandt wird, ist eine Beitragsanalyse wertvoll, um die Bedeutung und Zuverlässigkeit der gesammelten Daten sicherzustellen. Darüber hinaus hilft sie den Interessenvertretern, systematisch zu bewerten, welche Ergebnisse erzielt wurden und von wem, und verwaltet die Auswirkungen und Anpassungen der Strategien, die erforderlich sind, um die gewünschten Ergebnisse zu erreichen.

Voraussetzungen

  • Eine (relativ) klar formulierte Theorie der Veränderung, die als Grundlage dienen soll.
  • Es müssen ausreichend Daten zur Verfügung stehen und laufend erhoben werden, um die Theorie des Wandels zu untermauern.
  • Ein gründliches Verständnis des Programmkontexts, einschließlich externer Faktoren, die die Ergebnisse beeinflussen könnten, ist notwendig, um den Beitrag des Programms zu den beobachteten Veränderungen genau zu bewerten.

Schritt-für-Schritt

Eine Beitragsanalyse besteht aus sechs iterativen Schritten. In jedem Schritt wird der Beitrag dargestellt und es werden die in der vorherigen Phase festgestellten Schwachstellen behoben. Wenn es angebracht ist, können viele der Schritte in einem partizipativen Modus durchgeführt werden.

Schritt 1 - Darlegung des zu behandelnden Zuordnungsproblems

  • Erkennen Sie das Zurechnungsproblem an.
  • Bestimmen Sie die spezifische Ursache-Wirkungs-Frage, die behandelt werden soll.
  • Bestimmen Sie das erforderliche Maß an Vertrauen.
  • Erkunden Sie die Art des erwarteten Beitrags.
  • Bestimmen Sie andere wichtige Einflussfaktoren.
  • Bewerten Sie die Plausibilität des erwarteten Beitrags im Verhältnis zum Umfang des Programms.

Schritt 2 - Entwicklung der Theorie des Wandels und der damit verbundenen Risiken

  • Bestimmen Sie den Detaillierungsgrad.
  • Bestimmen Sie den erwarteten Beitrag des Programms.
  • Auflistung der Annahmen, die der Theorie des Wandels zugrunde liegen.
  • Berücksichtigen Sie auch andere Faktoren, die die Ergebnisse beeinflussen können.
  • Bestimmen Sie, inwieweit die Theorie der Veränderung umstritten ist.

Schritt 3 - Sammeln Sie vorhandene Belege für die Theorie der Veränderung

  • Bewerten Sie die Logik der Verbindungen in der Theorie der Veränderung.
  • Sammeln Sie Nachweise über Ergebnisse und Aktivitäten, Annahmen und andere Einflussfaktoren.
    • Erstellen Sie eine erste Darstellung, die erklärt, wie die Programmaktivitäten zu den beobachteten Ergebnissen beitragen.

Schritt 4 - Zusammenstellung und Bewertung des Beitrags und der Herausforderungen, die sich daraus ergeben

  • Analysieren Sie die Theorie des Wandels mit den gesammelten Belegen, um den Beitragsbericht zu erstellen.

Schritt 5 - Suche nach zusätzlichen Belegen

  • Beheben Sie Lücken in der anfänglichen Beitragsgeschichte, indem Sie weitere Belege sammeln.
  • Nutzen Sie Umfragen, Fallstudien und andere Forschungsmethoden, um die Robustheit der Analyse zu erhöhen.

Schritt 6 - Überarbeitung und Stärkung des Beitragsberichts

  • Verfeinern Sie den Beitragsbericht auf der Grundlage neuer Erkenntnisse.

Überprüfen Sie die Stärken und Schwächen und passen Sie die Theorie der Veränderung gegebenenfalls an.

Eine Beitragsanalyse funktioniert am besten als iterativer Prozess. Daher kann die Analyse an diesem Punkt zu Schritt 4 zurückkehren und die Stärken und Schwächen der Beitragsgeschichte neu bewerten.

Wichtigste Punkte zum Mitnehmen

  • Eine Beitragsanalyse bietet ein klares Verfahren zur Erforschung von Ursache-Wirkungs-Beziehungen.
  • Sie ist eine Methode, die sich für verschiedene Kontexte eignet, insbesondere dort, wo experimentelle Designs nicht durchführbar sind.
  • Sie ermöglicht eine kontinuierliche Verfeinerung und Verstärkung einer Analyse.
  • Beitragsanalysen beziehen mehrere Beweisquellen ein, darunter qualitative und quantitative Daten. So entsteht eine robuste Darstellung, die einer Überprüfung standhält.
  • Die Methode erfordert einen erheblichen Zeit- und Arbeitsaufwand für das Sammeln und Analysieren von Daten.

Aus Erfahrung lernen

Weiterführende Literatur

Publikation - Häufig gestellte Fragen |

Leitlinien: Bewertung des AKIS-Strategieansatzes in GAP-Strategieplänen

  • Mayne, J., (2008)
    Contribution Analysis: An Approach to Exploring Cause and Effect. ILAC Brief 16. International Learning and Change (ILAC) Initiative
  • Mayne, J., (2012)
    Contribution Analysis: Coming of Age? Evaluation, 18(3), 270-280
  • Sunnassee, E., (2020)
    Translating Theory to Practice: A Multi-Method Study of the Contribution Analysis Evaluation Approach. Phd dissertation directed by Dr. Ayesha S. Boyce and Dr. John T Willse. p. 210.
  • Budhwani, S., Mc David, J.C., (2017)
    Contribution Analysis: Theoretical and Practical Challenges and Prospects for Evaluators. Canadian Journal of Program Evaluation 32.1 (Spring)
  • Dybdal, L., Nielsen, S., B., Lemire, S., (2010)
    Contribution Analysis Applied: Reflections on Scope and Methodology. Canadian Journal of Program Evaluation 25.2 (Fall).
  • Rogers, P.J., (2008)
    Using Programme Theory to Evaluate Complicated and Complex Aspects of Interventions. Evaluation, 14(1), p. 29-48
  • Schwartz, R., & Mayne, J. (2005)
    Assuring the Quality of Evaluative Information: Theory and Practice. Evaluation and Program Planning, 28(1), p. 1-14
  • Astbury, B., & Leeuw, F.L., (2010)
    Unpacking Black Boxes: Mechanisms and Theory Building in Evaluation. American Journal of Evaluation, 31(3), p. 363-381