Lernportal - Theoriebasierte Ansätze

Den Kern erläutern

Die theoriebasierte Bewertung (TBE) ist ein systematischer und umfassender Ansatz, mit dem der Beitrag von Programminterventionen zu den politischen Zielen im Hinblick auf ihre Wirksamkeit erklärt und bewertet werden kann. Ausgangspunkt einer TBE ist immer eine Kausalkette oder eine Theorie des Wandels, die erklärt, wie und warum eine Intervention funktioniert und zu den angestrebten Ergebnissen führen soll. Bei diesem Ansatz liegt der Schwerpunkt auf der Erhebung empirischer Daten, um diese Theorien, die die Veränderungsprozesse und die Rolle einer Intervention bei der Erreichung der politischen Ziele erklären, zu testen und zu validieren. Die TBE ist besonders für politische Entscheidungsträger, Programmmanager und andere Interessenvertreter von Nutzen, die ein tieferes und differenzierteres Verständnis der Wirksamkeit von Programmen anstreben. Sie geht davon aus, dass Programme auf einer expliziten oder impliziten Theorie darüber beruhen, wie und warum ein Programm funktioniert.

Die zugrundeliegende Theorie des Wandels kann sich auf eine Programmtheorie beziehen oder umfassendere soziale, wirtschaftliche oder politische Theorien, die erklären, wie die Zuweisung von Mitteln zu Ergebnissen führt, durch die beabsichtigte Ergebnisse (spezifische Ziele) und Auswirkungen (allgemeine Ziele) erreicht werden sollen (die erwartete Veränderung). Bei einer „programmtheoriegestützten Bewertung“ wird eine plausible Programmtheorie durch die Interventionslogik aufgestellt, die einen wesentlichen Eckpfeiler für die Bewertung darstellt.

Programmtheorie als Kernstück

Die auf der Programmtheorie basierende Bewertung folgt jedem Schritt der Interventionslogik des Programms, wobei der Schwerpunkt auf der Identifizierung von Kausalzusammenhängen und Veränderungsmechanismen liegt. Um diese Zusammenhänge zu untersuchen, können verschiedene Analysemethoden angewandt werden, die eine Bewertung ermöglichen, ob sich der theoretische Rahmen in der Praxis manifestiert hat. Zu den wertvollen Quellen für die Programmtheorie gehören: programmbezogene Beobachtungen, Sondierungsforschung zur Überprüfung kritischer Annahmen, bereits vorhandenes theoretisches Wissen und Forschungsergebnisse sowie implizite Theorien von Personen, die eng mit dem Programm verbunden sind. Der Ansatz der Bewertung nach der Theorie der Veränderung beantwortet eine Schlüsselfrage in Bezug auf die Wirksamkeit: Wie und in welchem Ausmaß wurden die angegebenen Ziele erreicht? Bei diesem Ansatz wird ein kohärenter und logischer Satz von Kriterien entwickelt, die in einer logischen Kette die Voraussetzungen und Bedingungen formulieren, die notwendig sind, um letztendlich die gewünschten (positiven) Wirkungen zu erzielen. Diese Kriterien werden dann Schritt für Schritt daraufhin überprüft, ob sie erfüllt sind und inwieweit die postulierten Ergebnisse erreicht werden können. Je mehr Voraussetzungen entlang der Wirkungskette erfüllt werden können, desto wahrscheinlicher ist es, dass die erwarteten Ergebnisse und Wirkungen auch erreicht werden. Die Überprüfung der Wirkungskette soll Hinweise darauf geben, ob die Förderstrategie erfolgreich war oder ob sie angepasst werden sollte. Obwohl die Wirkungen hauptsächlich qualitativ erfasst werden, erhöht die Gesamtbetrachtung der Bausteine entlang der Wirkungskette die Robustheit der Bewertung.

Empirische Prüfung

Bei theoriebasierten Bewertungen wird versucht, die Programmtheorie zu testen und zu untersuchen, ob, warum oder wie politische Maßnahmen oder Programme die beabsichtigten oder beobachteten Ergebnisse bewirken. Die Überprüfung der Theorien kann auf der Grundlage vorhandener oder neuer Daten erfolgen, sowohl quantitativ (experimentell und nicht-experimentell) als auch qualitativ. Das Testen erfordert das Sammeln von Beweisen, um den Beitrag zu untermauern, unter Verwendung geeigneter Datenerfassungstechniken wie Erhebungen und Überprüfung und Analyse von Verwaltungsdaten. Aus einer theoriegestützten Perspektive können verschiedene häufig verwendete Datenerhebungstechniken angewandt werden (z. B. Interviews mit Schlüsselinformanten, Fokusgruppen und Workshops oder Fallstudien). Anschließend werden die neu gesammelten empirischen Daten verwendet, um einen glaubwürdigeren Beitrag zu leisten und die Schlussfolgerungen zu den kausalen Zusammenhängen in der Theorie des Wandels zu untermauern.

Der programmtheoretische Ansatz sollte in einem ersten Schritt zur Schätzung der indirekten Wirkungen eines Programms angewandt werden, indem er unter anderem Antworten auf folgende Fragen liefert: Wer könnte von dem Programm betroffen sein und wie hängt dies mit der Interventionslogik des Programms zusammen?

TBE ist dann angebracht, wenn die Gültigkeit der Annahmen, die in der Interventionslogik eines GAP-Strategieplans enthalten sind, bewertet werden muss. Die Interventionslogik dient zusammen mit klar definierten Bewertungsfragen und relevanten Indikatoren als Grundgerüst für die Durchführung einer TBE. Dieser Ansatz stellt sicher, dass die Bewertung fest in einer plausiblen Programmtheorie verankert ist. TBE ermöglicht eine systematische Untersuchung der verschiedenen Verknüpfungen innerhalb der Interventionslogik. Sie setzt verschiedene Methoden ein, um zu analysieren und eine überzeugende Argumentation darüber zu erstellen, ob die in einer Interventionslogik vorgeschlagene Theorie in der Praxis tatsächlich umgesetzt wurde. Die Methode ist in der Lage zu erklären, warum und wie die Ergebnisse erzielt wurden, und den Beitrag eines GAP-Strategieplans zu den Zielen der GAP zu bewerten.

Im Allgemeinen führt dieser Ansatz nicht zu einer quantifizierten Schätzung der Auswirkungen, sondern zu narrativen und nicht-parametrischen Daten wie qualitativen Einstufungen (z. B. geringer, mittlerer oder hoher Beitrag einer Maßnahme zur Erreichung der Ziele). Der effektivste Weg zur Entwicklung einer Programmtheorie ist daher ein interaktiver Prozess, der eine Kombination aus Literaturrecherche und Einbeziehung der Interessenvertreter des Programms beinhaltet.

Laut den Leitlinien der Europäischen Kommission für die Bewertung der Auswirkungen aus dem Jahr 2012 kann man, wenn ein experimentelles Design nicht möglich ist und wenn verschiedene Designs von Nichtexperimenten nicht möglich sind, zu eher qualitativen Ansätzen übergehen, einschließlich einer Theorie der Veränderung, um die kontrafaktische Situation zu ermitteln: „Eine Theorie der Veränderung legt dar, warum man glaubt, dass die Aktivitäten der Intervention zu einem Beitrag zu den beabsichtigten Ergebnissen führen werden; das heißt, warum und wie die beobachteten Ergebnisse auf die Intervention zurückgeführt werden können. Die Analyse prüft diese Theorie anhand der verfügbaren Logik und Belege für die beobachteten Ergebnisse und die verschiedenen Annahmen, die der Theorie der Veränderung zugrunde liegen, und untersucht andere Einflussfaktoren. Sie bestätigt entweder die postulierte Theorie der Veränderung oder schlägt Revisionen der Theorie vor, wenn die Realität anders aussieht.“

Die Theorie des Wandels eignet sich auch für die Bewertung komplexer Zusammenhänge, wie z. B. der Beteiligung verschiedener Akteure an Veränderungsprozessen, wie sie bei Initiativen wie LEADER oder AKIS zu beobachten sind. Der strategische Ansatz von AKIS ist sehr stark auf den Kontext des jeweiligen Mitgliedstaates bezogen. Aus diesem Grund ist einer der wichtigsten Grundsätze für die Gestaltung und Durchführung einer Bewertung die systematische Produktion von spezifischem evidenzbasiertem Wissen unter Verwendung des Ansatzes der Theorie des Wandels. Auf diese Weise können Überlegungen zu den verschiedenen Merkmalen des AKIS in den Mitgliedstaaten angestellt werden.

Darüber hinaus kann die TBE zur Ex-post-Evaluierung von Programmeffekten in Situationen beitragen, in denen eine Bewertung der Auswirkungen, einschließlich der durch quasi-experimentelle oder nicht-experimentelle Ansätze ermittelten kontrafaktischen Situation, durchgeführt wurde. Allerdings ist ein tieferes Verständnis der erzielten Ergebnisse erforderlich, das zur Klärung der Kausalpfade und der Faktoren beitragen kann, die zu den beobachteten Ergebnissen geführt haben.

Vorbedingungen

Ein klar definiertes Programm und die Verfügbarkeit einer Programmtheorie: TBE erfordert ein klar definiertes Programm, eine Politik oder Intervention mit eindeutigen Zielen und Aktivitäten, die bewertet werden sollen. Eine bestehende oder entwickelte Programmtheorie oder Theorie des Wandels sollte die erwartete Wirkung der Intervention, die Kausalpfade und die zugrunde liegenden Annahmen beschreiben.

Kenntnisse über alternative Theorien: Evaluatoren sollten über Kenntnisse alternativer Theorien verfügen, die erklären, warum und wie bestimmte Ergebnisse auf eine bestimmte Intervention zurückgeführt werden können. Dieses Verständnis ermöglicht einen soliden Vergleich alternativer Theorien während des Bewertungsprozesses.

Hohe analytische Fähigkeiten und Kenntnis der Testprinzipien: Evaluatoren sollten über hohe analytische Fähigkeiten und ein ausgeprägtes Verständnis der grundlegenden Testprinzipien verfügen. Dazu gehört die Fähigkeit, Bewertungen effektiv zu konzipieren und durchzuführen, Daten rigoros zu analysieren und geeignete Testmethoden anzuwenden.