Lernportal

Navigieren durch die quantitativen Methoden zur GAP-Bewertung

Diese Seite bietet Nicht-Fachleuten eine Orientierungshilfe zu den quantitativen Methoden, die bei der Bewertung der GAP zum Einsatz kommen. Die Ressource enthält einige Hinweise, die Verwaltungsbehörden (VBs), Evaluatoren, Politikanalysten und Interessenvertreter bei der Orientierung in den zahlreichen quantitativen Methoden unterstützen sollen, die bei der GAP-Bewertung verwendet werden.

Page contents

Farmers in the field discussing while looking at a tablet

Folgende Punkte sind wichtig zu betonen:

  • Dieser Abschnitt richtet sich an Nicht-Experten. Die Auswahl der Methode, deren Umsetzung und die Interpretation der Ergebnisse erfordern professionelle Evaluatoren mit ökonometrischem Hintergrund.
  • Analyseeinheit: In den Beispielen werden vorwiegend landwirtschaftliche Betriebe als von der Politik betroffene Einheit herangezogen, aber die Grundsätze gelten auch für andere Begünstigte (z. B. Erzeugerorganisationen).
  • Datenanforderungen: Fortgeschrittene Methoden erfordern große, qualitativ hochwertige Datensätze. Die Verfügbarkeit von Daten schränkt oft die methodischen Möglichkeiten ein.

Dieser Leitfaden konzentriert sich ausschließlich auf die Ex-post-Bewertung, d. h. auf die Bewertung auf der Grundlage historischer Daten (die nicht aus Simulationsmodellen stammen), die nach der Umsetzm Umsetzen der zu analysierenden Politik beobachtet wurden.

Grundlagen

Grundlegende Konzepte

Bewertungsmethoden lassen sich nach mehreren Schlüsselkriterien klassifizieren, darunter:

  1. Ex-ante- vs. Ex-post-Bewertung
  2. Quantitative vs. qualitative Methoden
  3. Querschnitts- vs. Paneldaten
  4. Korrelation vs. Kausalität

Jede dieser Dimensionen wird im Folgenden kurz vorgestellt.

Ex-ante- vs. Ex-post-Bewertung

Die Politikbewertung erfolgt entlang zweier sich ergänzender Zeitachsen: Während die Ex-ante-Analyse potenzielle Auswirkungen vor der Umsetzung prognostiziert und damit eine evidenzbasierte Politikgestaltung unterstützt, überprüft die Ex-post-Bewertung, ob die Maßnahmen in der Praxis die beabsichtigten Wirkungen erzielt haben, indem sie die tatsächlichen Ergebnisse nach der Umsetzung untersucht. Zusammen liefern sie wichtige Rückmeldungen für die Entwicklung, Anpassung und Neugestaltung von Maßnahmen.

Ex-ante-Bewertung: Dieser prospektive Ansatz prognostiziert die Auswirkungen einer Politik vor ihrer Umsetzung mithilfe von Modellierungsansätzen, Simulationen und wirtschaftlichen Prognosen. Ex-ante-Bewertungen unterstützen die Politikgestaltung und liefern Informationen für die Auswahl zwischen alternativen Maßnahmen.

Ex-post-Bewertung: Dieser retrospektive Ansatz analysiert die tatsächlichen Ergebnisse nach der Umsetzung und vergleicht reale empirische Daten mit kontrafaktischen Szenarien (d.h. was ohne die Maßnahme geschehen wäre). Ex-post-Bewertungen liefern Belege dafür, ob und in welchem Umfang die beabsichtigten Auswirkungen eingetreten sind.

Beispiel – Betrachten wir die Einführung einer neuen Öko-Regelung im Rahmen der GAP:

  • Ex-ante-Bewertung: Vor der Einführung sagen Agrar- und Wirtschaftsmodelle voraus, wie Landwirte als Reaktion auf die Regelung ihre Auswahl an Kulturpflanzen, ihre Produktionspraktiken und ihr Einkommensniveau ändern könnten.
  • Ex-post-Bewertung: Nachdem die Regelung mehrere Jahre lang gelaufen ist, untersuchen die Evaluatoren die tatsächlichen Daten der begünstigten und vergleichbaren nicht begünstigten landwirtschaftlichen Betriebe, um festzustellen, ob die vorhergesagten Auswirkungen eingetreten sind und in welchem Umfang.

Quantitative vs. qualitative Methoden

Bei der GAP-Bewertung bieten quantitative und qualitative Methoden unterschiedliche, aber sich ergänzende Ansätze zum Verständnis der Auswirkungen von Maßnahmen. Quantitative Methoden konzentrieren sich auf die Messung des Ausmaßes und der statistischen Signifikanz von Veränderungen und liefern klare Antworten auf die Frage, „inwieweit“ eine Maßnahme die Ergebnisse beeinflusst hat. Qualitative Methoden befassen sich hingegen mit den zugrunde liegenden Gründen und untersuchen, „warum“ und „wie“ Maßnahmen in unterschiedlichen Kontexten erfolgreich sind oder auf Herausforderungen stoßen. Zusammen liefern diese Ansätze ein vollständigeres Bild: Die quantitative Analyse zeigt, was in welchem Umfang geschehen ist, während die qualitative Analyse die Mechanismen und Bedingungen hinter diesen Ergebnissen erklärt.

Quantitative Methoden nutzen numerische Daten, statistische Analysen und mathematische Modelle, um Beziehungen zwischen Variablen zu bewerten und politische Auswirkungen mit statistischer Genauigkeit zu schätzen. Sie werden verwendet, um festzustellen, ob beobachtete Effekte eine statistische Signifikanz haben, und um das Ausmaß von Veränderungen, wie z. B. Verschiebungen bei Erträgen oder Einkommen, zu messen. Durch die Verwendung großer Datensätze und strenger statistischer Verfahren liefern quantitative Ansätze objektive, verallgemeinerbare Ergebnisse, die für die Bewertung der Wirksamkeit von Maßnahmen in großem Maßstab unerlässlich sind.

Qualitative Methoden nutzen Interviews, Umfragen, Fokusgruppen, Fallstudien, Dokumentenanalysen und Textinterpretationen, um die Mechanismen der Umsetzung, kontextuelle Faktoren sowie die Perspektiven der Interessenvertreter zu verstehen. Diese Ansätze sind von unschätzbarem Wert, um Hindernisse, förderliche Bedingungen und die Gründe für beobachtete Ergebnisse aufzudecken. Solche Erkenntnisse können mit Zahlen allein nicht erfasst werden. Zu den wichtigsten qualitativen Methoden bei der GAP-Bewertung gehören unter anderem die Akteur-Netzwerk-Analyse, die Beitragsanalyse, die Kosten-Nutzen- und Kosten-Wirksamkeits-Analyse im Kontext der GAP-Bewertung, das Instrument zur Bewertung der Innovationsfähigkeit, die Wissenskartierung, die Methode zur Wirkungsbewertung von Programmen und Projekten (MAPP), die signifikanteste Veränderung, das Outcome Mapping, die Schnellbewertung landwirtschaftlicher Innovationssysteme (RAAIS), die Sozialnetzwerkanalyse, die Stakeholder-Kartierung, theoriebasierte Ansätze und die visualisierte AKIS-Kartierung.

Beispiel – Angenommen, eine Agrarpolitik hat neue Subventionen für umweltfreundliche Anbaumethoden eingeführt.

  • Bei einer quantitativen Bewertung könnten Daten aus landwirtschaftlichen Aufzeichnungen herangezogen werden, um zu berechnen, welche Auswirkungen diese Subventionen auf die Ernteerträge oder das Einkommen der landwirtschaftlichen Betriebe in einer Region hatten, und um die durchschnittliche Veränderung und ihre statistische Signifikanz zu ermitteln.
  • Eine qualitative Bewertung würde Interviews mit Landwirten und lokalen Beamten umfassen, um zu untersuchen, warum einige Landwirte neue Praktiken schnell übernommen haben, welche Faktoren die Übernahme für andere verlangsamt haben und wie lokale Traditionen oder Gemeinschaftsnetzwerke die Ergebnisse beeinflusst haben.

Querschnitts- vs. Paneldaten

Der wesentliche Unterschied zwischen Querschnitts- und Paneldaten besteht darin, welche Vergleiche möglich sind. Querschnittsdaten liefern eine Momentaufnahme und ermöglichen Vergleiche zwischen verschiedenen Einheiten (z. B. landwirtschaftlichen Betrieben) zu einem bestimmten Zeitpunkt. Im Gegensatz dazu verfolgen Paneldaten dieselben Einheiten über mehrere Zeiträume hinweg, sodass wir Veränderungen innerhalb dieser Einheiten beobachten und die Auswirkungen von Maßnahmen oder Interventionen im Zeitverlauf besser verstehen können. Zusammen bieten diese Datentypen komplementäre Perspektiven: Querschnittsdaten zeigen Unterschiede zwischen Einheiten zu einem bestimmten Zeitpunkt auf, während Paneldaten Aufschluss darüber geben, wie sich die Ergebnisse für dieselben Einheiten entwickeln.

Querschnittsdaten erfassen Informationen aus mehreren Einheiten (z. B. landwirtschaftlichen Betrieben) zu einem bestimmten Zeitpunkt. Dieser Ansatz beantwortet Fragen wie: „Wie unterscheiden sich die Teilnehmer derzeit von den Nichtteilnehmern?“ Sie helfen dabei, Muster und Unterschiede zwischen den Einheiten zu identifizieren, sind jedoch in ihrer Fähigkeit begrenzt, Kausalität herzustellen oder bereits bestehende Unterschiede zu erklären. Da sie nur eine Momentaufnahme liefern, können Querschnittsdaten nicht unterscheiden, ob beobachtete Unterschiede auf eine Politik oder auf andere Faktoren wie den Standort oder die Managementfähigkeiten zurückzuführen sind.

Paneldaten verfolgen dieselben Einheiten wiederholt über mehrere Zeiträume hinweg (z. B. von 2018 bis 2023). Mit dieser Methode können Forscher Veränderungen innerhalb von Einheiten beobachten, die nach der Einführung einer Politik auftreten. Dieser Ansatz beantwortet Fragen wie: „Wie haben sich die Ergebnisse der landwirtschaftlichen Betriebe nach der Einführung der Politik verändert?“ Paneldaten sind besonders wertvoll, da sie es ermöglichen stabile, unveränderliche Merkmale (wie Bodenqualität, Standort oder inhärente Managementfähigkeiten) zu kontrollieren und somit dazu beitragen, die tatsächlichen Auswirkungen einer Politik oder Intervention zu isolieren.

Beispiel – Angenommen, wir möchten bewerten, ob das neue Öko-Programm der GAP (ein freiwilliges Programm, das 2023 eingeführt wurde) das Einkommen der landwirtschaftlichen Betriebe erhöht.

  • Verwendung von Querschnittsdaten: Ein Evaluator sammelt Daten von 5.000 landwirtschaftlichen Betrieben im Jahr 2023 und vergleicht das durchschnittliche Einkommen der 2.500 Betriebe, die sich den Öko-Regelungen angeschlossen haben, mit dem der 2.500 Betriebe, die dies nicht getan haben. Dies zeigt zwar Unterschiede im Einkommen (z. B. haben teilnehmende Betriebe ein höheres Einkommen), sagt jedoch nichts darüber aus, ob die Öko-Regelungen für den Unterschied verantwortlich sind oder ob innovativere, profitablere oder besser gelegene Betriebe von vornherein eher dazu neigten, sich anzumelden. Die „Momentaufnahme” kann die Wirkung der Politik nicht von diesen bereits bestehenden Vorteilen trennen.
  • Verwendung von Paneldaten: Ein Evaluator würde von 2020 bis 2024 jedes Jahr Daten von denselben 5.000 Betrieben erheben. Durch die Erfassung der Einkommen jedes Betriebs vor und nach Einführung der Öko-Regelungen können die Einkommensveränderungen der teilnehmenden und nicht teilnehmenden Betriebe verglichen werden. Dieser Ansatz hilft dabei, stabile, unveränderliche Merkmale der Betriebe (wie Bodenqualität oder die angeborenen Fähigkeiten eines Landwirts) zu kontrollieren. Dazu wird jeder Betrieb mit seiner eigenen Leistung in der Vergangenheit verglichen. So ergibt sich ein klareres Bild der tatsächlichen Auswirkungen der Öko-Regelungen.

Korrelation vs. Kausalität

Das Verständnis des Unterschieds zwischen Korrelation und Kausalität ist für die Bewertung von Maßnahmen von entscheidender Bedeutung. Korrelation beschreibt einen statistischen Zusammenhang zwischen zwei Variablen – wenn sich eine verändert, verändert sich in der Regel auch die andere. Korrelation allein beweist jedoch nicht, dass eine Variable die Veränderung der anderen verursacht. Kausalität bedeutet dagegen, dass Veränderungen einer Variablen direkt zu Veränderungen einer anderen führen, wodurch eine bestimmte Wirkungsrichtung hergestellt wird. Korrelation ist für Kausalität zwar notwendig, aber nicht ausreichend. Um Kausalität nachzuweisen, müssen alternative Erklärungen ausgeschlossen und ein direkter Zusammenhang nachgewiesen werden.

Korrelation bedeutet, dass sich zwei Variablen auf vorhersehbare Weise gemeinsam bewegen. Diese Beziehung kann positiv sein (beide nehmen gemeinsam zu oder ab), negativ (eine nimmt zu, während die andere abnimmt) oder statistisch nicht signifikant gegenüber Null sein. Korrelation hilft dabei, Muster und potenzielle Zusammenhänge zu identifizieren, erklärt jedoch nicht, warum diese bestehen oder ob eine Variable die andere beeinflusst.

Kausalität bedeutet, dass Veränderungen einer Variablen direkt zu Veränderungen einer anderen Variablen führen. Um Kausalität nachzuweisen, ist eine strengere Analyse erforderlich, einschließlich des Ausschlusses alternativer Erklärungen (wie Störfaktoren oder Scheinzusammenhänge) und des Nachweises, dass die Wirkung in eine bestimmte Richtung verläuft. Kausale Schlussfolgerungen stützen sich häufig auf experimentelle oder quasi-experimentelle Methoden, um die tatsächliche Wirkung einer Politik oder Maßnahme zu isolieren.

Beispiel – Angenommen, landwirtschaftliche Betriebe, die höhere Zahlungen im Rahmen des Basic Income Support Scheme (BISS) erhalten, weisen auch ein höheres Durchschnittseinkommen auf.

  • Diese Korrelation könnte mehrere Gründe haben:
    • Größere landwirtschaftliche Betriebe erhalten höhere Zahlungen und sind unabhängig davon rentabler (Scheinkorrelation).
    • Die Zahlungen führen tatsächlich zu höheren Einkommen (tatsächlicher Kausaleffekt).
    • Sowohl das Einkommens- als auch das Zahlungsniveau hängen von nicht beobachtbaren Merkmalen der Betriebe ab (Störfaktoren).

Es sind strenge Methoden der Kausalität erforderlich, um den tatsächlichen Politikeffekt systematisch von diesen alternativen Erklärungen zu isolieren.

Um nachzuweisen, dass eine GAP-Politik zu einem bestimmten Ergebnis geführt hat, sollten Evaluatoren nicht in eine dieser drei „Fallen” tappen (die entsprechenden Fachbegriffe stehen in Klammern).

Die „Falle des fehlenden Faktors” (Störfaktor)

Worum handelt es sich hier? Manchmal scheinen zwei Dinge miteinander in Verbindung zu stehen, weil ein drittes, verborgenes Element beide beeinflusst. Dieser „versteckte Faktor” vermittelt den falschen Eindruck, dass das eine das andere direkt verursacht.

Warum ist das problematisch? Es ist leicht, Zufall mit Kausalität zu verwechseln. Wenn wir versteckte Faktoren ignorieren, kann dies dazu führen, dass wir politische Effekte fälschlicherweise einer Intervention zuschreiben, obwohl tatsächlich etwas anderes für die beobachteten Veränderungen verantwortlich ist.

Beispiel – Angenommen, die GAP zahlt höhere Subventionen an Betriebe der ökologischen Landwirtschaft, und Betriebe der ökologischen Landwirtschaft erzielen tendenziell höhere Gewinne. Hat die Subvention die Betriebe der ökologischen Landwirtschaft profitabel gemacht? Vielleicht nicht. Es ist möglich, dass diese Betriebe größer sind oder in besseren Regionen liegen. Das würde sie sowohl für die Beantragung von Subventionen als auch für höhere Gewinne prädestinieren. In diesem Fall ist also nicht die Subvention die eigentliche Ursache für die Rentabilität, sondern diese versteckten, nicht messbaren Vorteile.

Die „Henne-Ei“-Falle (umgekehrte Kausalität)

Worum handelt es sich hier? Dieser Fall tritt auf, wenn wir davon ausgehen, dass eine Politik zuerst da war und ein Ergebnis verursacht hat, obwohl das Gegenteil der Fall ist. Das Ergebnis existierte bereits vor der Umsetzung der Politik.

Warum ist das problematisch? Es verwirrt die Abfolge der Ereignisse und lässt uns glauben, dass die Politik etwas verändert hat, obwohl dies in Wirklichkeit nicht der Fall ist.

Beispiel – Stellen Sie sich ein Programm vor, das Investitionen in landwirtschaftliche Betriebe unterstützt. Wenn die unterstützten Betriebe diejenigen mit den höchsten Investitionen sind, könnte es so aussehen, als hätte das Programm diese Investitionen verursacht. Diese Betriebe könnten jedoch bereits vor der Beantragung der Unterstützung Investitionen geplant haben. Ihre bereits bestehende Investitionsbereitschaft veranlasste sie, Unterstützung zu beantragen. In diesem Fall hat die Unterstützung also nicht die Investitionen verursacht, sondern umgekehrt.

Die „Rosinenpickerei“-Falle (Gleichzeitigkeitsverzerrung)

Worum handelt es sich hier? Dieser Fall tritt auf, wenn wir Gruppen, die sich für die Teilnahme an einer Maßnahme entschieden haben, mit denen vergleichen, die dies nicht getan haben, ohne die bereits bestehenden Unterschiede zwischen den Gruppen zu berücksichtigen. Der einfache und direkte Vergleich suggeriert, dass die Maßnahme eine Wirkung hatte, obwohl diese in Wirklichkeit auf Unterschiede zwischen den Gruppen zurückzuführen sein könnte.

Warum ist das problematisch? Der Maßnahme wird eine Wirkung zugeschrieben, die möglicherweise eher auf die Eigenschaften derjenigen zurückzuführen ist, die sich dafür entschieden haben, als auf die Maßnahme selbst.

Beispiel – Betrachten wir ein GAP-Programm zur Förderung von Junglandwirten. Wenn wir Junglandwirte (die an dem Programm teilgenommen haben) mit älteren Landwirten (die nicht teilgenommen haben) vergleichen, dann sind die Junglandwirte möglicherweise bereits motivierter, besser ausgebildet oder eher bereit, neue Techniken auszuprobieren. Ihre besseren Ergebnisse, höheren Erträge oder Gewinne könnten auf diese Eigenschaften und nicht auf die Maßnahme selbst zurückzuführen sein.

Klassifizierung quantitativer Methoden

Dieser Abschnitt enthält eine kurze Beschreibung der am häufigsten verwendeten Methoden. Wie im vorherigen Abschnitt gezeigt, lassen sich diese Methoden anhand mehrerer Schlüsselmerkmale klassifizieren. Hier werden diese quantitativen Methoden zur Herstellung korrelativer oder kausaler Zusammenhänge klassifiziert. Leser, die an weiteren Details interessiert sind, können das entsprechende Portal besuchen oder ökonometrische Fachbücher wie Angrist & Pischke (2008) und (2015), Cerulli (2022), Cunningham (2021), Greene (2012) und Wooldridge (2010) lesen.

Methoden zur Bewertung von Korrelationen

Diese Methoden identifizieren statistische Zusammenhänge, stellen jedoch keine Kausalität her.

Wann sollten sie verwendet werden? Korrelationsmethoden sind wertvoll für explorative Analysen, die Überwachung von politischen Maßnahmen und wenn kausale Methoden nicht durchführbar sind.

Die wichtigsten Korrelationsmethoden sind:

  • Ordinary Least Squares (OLS): Eine Regressionsmethode, die lineare Beziehungen schätzt, indem sie Koeffizienten wählt, die die Summe der quadrierten Residuen minimieren; hauptsächlich deskriptiv, wenn wichtige Annahmen der Kausalität nicht gerechtfertigt sind.
  • Fixed-Effects-Modelle (FE): Panel-Daten-Regression, die alle zeitinvarianten Merkmale jeder Einheit kontrolliert, indem sie nur die Variation innerhalb der Einheit im Zeitverlauf verwendet.
  • Difference-GMM (Diff-GMM) und System-GMM (SYS-GMM): dynamische Panel-Schätzer, die interne Instrumente (Verzögerungen von Variablen) verwenden, um Endogenität in Modellen mit verzögerten abhängigen Variablen und langen Panels zu berücksichtigen.
Methoden zur Feststellung von Kausalität

Bei der Bewertung von politischen Maßnahmen ist die Beurteilung der Kausalität weitaus aussagekräftiger als die bloße Ermittlung von Korrelationen. Um kausale Zusammenhänge rigoros nachzuweisen, sind fortgeschrittene statistische Methoden erforderlich. Diese Methoden erfordern sowohl fundierte ökonometrische Kenntnisse als auch Zugang zu umfangreichen, hochwertigen Daten, wie später erläutert wird.

Die Kausalanalyse stützt sich häufig auf kontrafaktische Ansätze zur Wirkungsbewertung (Counterfactual Impact Evaluation, CIE), bei denen ein Kontrafakt konstruiert wird – eine Schätzung dessen, was ohne die Intervention geschehen wäre. Dies hilft, Gleichzeitigkeitsverzerrungen zu beseitigen und die tatsächliche Wirkung einer Politik oder eines Programms zu isolieren.

CIE-Methoden vergleichen in der Regel zwei Gruppen:

  • Behandlungsgruppe: Einheiten (z. B. landwirtschaftliche Betriebe), die der untersuchten Politik, dem Programm oder der Intervention ausgesetzt sind.
  • Kontrollgruppe: Vergleichbare Einheiten, die der Intervention nicht ausgesetzt sind und als Maßstab dafür dienen, was ohne die Politik mit den behandelten Einheiten geschehen wäre.

Durch den Vergleich der Ergebnisse zwischen diesen Gruppen können die Evaluatoren die beobachteten Veränderungen mit größerer Sicherheit der Intervention selbst und nicht anderen Faktoren zuschreiben.

Nachfolgend finden Sie eine Liste der wichtigsten Methoden zur Feststellung der Kausalität.

  • Randomisierte kontrollierte Studien (RCTs): Ein Versuchsaufbau, bei dem geeignete Einheiten nach dem Zufallsprinzip entweder einer Behandlungsgruppe oder einer Kontrollgruppe zugeordnet werden. Die Randomisierung stellt sicher, dass beide Gruppen hinsichtlich beobachteter und nicht beobachteter Merkmale statistisch vergleichbar sind, sodass die Unterschiede in den Ergebnissen ausschließlich auf die Intervention zurückgeführt werden können (gilt als „Goldstandard” für kausale Schlussfolgerungen).
  • Propensity Score Matching (PSM): Eine Methode, bei der behandelte und Kontrollgruppen mit ähnlichen Wahrscheinlichkeiten für eine Behandlung (Propensity Scores) auf der Grundlage beobachteter Kovariablen abgeglichen werden, um ein randomisiertes Experiment zu approximieren.
  • Difference-in-Differences (DiD): Eine kausale Methode, bei der Veränderungen der Ergebnisse im Zeitverlauf zwischen behandelten und Kontrollgruppen verglichen werden, wobei von parallelen Trends ohne Behandlung ausgegangen wird.
  • PSM-DiD: Ein hybrider Ansatz, der PSM und DiD kombiniert, um die Kausalität zu verbessern. Zunächst wird PSM verwendet, um eine vergleichbare Kontrollgruppe auf der Grundlage beobachtbarer Merkmale auszuwählen; anschließend wird DiD auf diese abgeglichene Stichprobe angewendet, um zeitinvariante, nicht beobachtbare Heterogenität zu kontrollieren, wodurch die Annahme paralleler Trends gelockert und Verzerrungen wirksamer reduziert werden als mit jeder der beiden Methoden allein.
  • Regressionsdiskontinuitätsdesign (RDD): Kausales Design, das eine scharfe Trennlinie in einer Zuordnungsvariablen (z. B. einer Berechtigungsschwelle) nutzt und Einheiten knapp oberhalb und knapp unterhalb der Schwelle vergleicht.
  • Synthetische Kontrollmethode (SCM): Kausaler Ansatz für Fälle mit einer oder wenigen behandelten Einheiten, bei dem eine gewichtete Kombination unbehandelter Einheiten konstruiert wird, um die Entwicklung der behandelten Einheit vor der Intervention nachzuahmen.
  • Instrumentelle Variablen (IV): Methode, die verwendet wird, wenn die Behandlungszuweisung endogen ist (mit dem Fehlerterm korreliert). Sie verwendet eine externe Variable (Instrument), die mit der Behandlung korreliert, aber das Ergebnis nur durch die Behandlung beeinflusst (Ausschlussbeschränkung), wodurch exogene Variationen isoliert werden können, um kausale Effekte zu schätzen.
  • Quantilmethoden
    • Quantile Dosis-Wirkungs-Funktion (QDRF): Schätzt den Behandlungseffekt über die gesamte Verteilung der Ergebnisvariablen für kontinuierliche Behandlungen und zeigt, wie sich unterschiedliche Behandlungsstufen (Dosen) auf bestimmte Quantile (z. B. unterer vs. oberer Rand) des Ergebnisses auswirken.
    • Quantilbedingter Behandlungseffekt (QCTE): misst den kausalen Effekt einer binären Behandlung auf verschiedene Quantile der Ergebnisverteilung, abhängig von Kovariablen, und ermöglicht es Forschern, Auswirkungen über den einfachen Durchschnittseffekt hinaus zu verstehen (z. B. Auswirkungen auf Leistungsträger vs. Leistungsschwache).

Wie wählt man die am besten geeignete(n) Methode(n) aus?

Die Auswahl der richtigen Methode für die Bewertung erfordert die Berücksichtigung mehrerer wichtiger Aspekte und sollte am besten mit Unterstützung von Experten erfolgen, die über fundierte Kenntnisse in der Ökonometrie für die Bewertung politischer Maßnahmen verfügen. Dieser Abschnitt bietet jedoch auch praktische Anleitungen für Nicht-Experten, die sich mit dieser komplexen Entscheidung befassen müssen.

Zu den wichtigsten Faktoren, die bei der Auswahl von Methoden zur Bewertung berücksichtigt werden sollten, gehören:

  • Merkmale der Politik und Beteiligung:
    • Ist die Maßnahme völlig neu (eine klare Abkehr von der bisherigen Politik) oder handelt es sich um eine Fortsetzung mit nur geringfügigen Anpassungen?
    • Können Sie klar zwischen Betrieben (oder Einheiten) unterscheiden, die an der Politik teilnehmen, und solchen, die dies nicht tun? Gibt es nur eine Gruppe, zwei Gruppen oder mehr?
  • Vorteile und Einschränkungen der einzelnen Methoden (Vor- und Nachteile)
  • Merkmale und Verfügbarkeit der Daten:
    • Handelt es sich um Querschnittsdaten (eine Momentaufnahme zu einem bestimmten Zeitpunkt) oder um Paneldaten (Verfolgung derselben Einheiten über mehrere Zeiträume)?

Da die Bewertung häufig durch die Verfügbarkeit und Qualität der Daten eingeschränkt ist, konzentriert sich dieser Abschnitt in erster Linie auf Datenüberlegungen, insbesondere darauf, ob Panel- oder Querschnittsdaten verfügbar sind. Darüber hinaus werden die wichtigsten Schritte zur Auswahl eines geeigneten Bewertungsansatzes skizziert und es wird hervorgehoben, welche Methoden sich für verschiedene Bewertungskontexte eignen.

Die folgende Abbildung zeigt einen vereinfachten Entscheidungsbaum, der als Orientierungshilfe für die Auswahl geeigneter Methoden dient, wobei der Schwerpunkt auf der Verfügbarkeit von Daten liegt. Bitte gehen Sie bei der Interpretation dieses Tools vorsichtig vor: Die Auswahl der richtigen Methode ist komplex, erfordert die Berücksichtigung mehrerer Faktoren und sollte idealerweise mit Unterstützung von Experten erfolgen.

Starten Sie mit der Frage „Welche Daten haben wir?“ und gehen Sie dann die Auswahlmöglichkeiten durch.

Evaluation decision tree

Ebene 1: Datenstruktur

  • Paneldaten?
    • JA → Paneldaten verfügbar (mehrere Beobachtungen pro Einheit über einen bestimmten Zeitraum)
    • NEIN → Nur Querschnittsdaten verfügbar (eine Beobachtung pro Einheit)

Wenn Paneldaten verfügbar sind:

  • Vor und nach der Politik?
    • JA → Daten vor und nach der Politik verfügbar (Zeitpunkt der Politik kann genutzt werden)
    • NEIN → Nur Daten nach der Politik verfügbar

Wenn Daten vor und nach der Politik verfügbar sind:

  • Zielsetzung?
    • Kausalität (Schätzung des Behandlungseffekts):
      • Synthetische Kontrolle: wenige behandelte Einheiten, lange Vorperiode
      • DiD/Event-Studie: mehrere Vergleichsgruppen verfügbar
      • RDD: scharfe Schwelle für die Behandlungsberechtigung
    • DESKRIPTIV (Muster charakterisieren):
    • Panel-Länge?
      • Feste Effekte (FE): 3–5 Jahre Daten
      • Diff-GMM/Sys-GMM: >5 Jahre Daten

Wenn nur Daten nach der Politik:

  • Behandlungsinformationen verfügbar?
    • JA (umfangreiche Behandlungsinformationen):
      • PSM: Propensity Score Matching (mit umfangreichen Kovariablen)
      • RDD: Regressionsdiskontinuität (mit klarer Zulassungsgrenze)

Nur bei Querschnittsdaten:

  • Zielsetzung?
    • Kausalität (Schätzung des Behandlungseffekts):
      • PSM: Matching anhand beobachteter Kovariablen
      • RDD: Zulassungsgrenze (Regressionsdiskontinuität)
    • Deskriptiv (Charakterisierung von Beziehungen):
      • OLS: Regression nach der Methode der kleinsten Quadrate

Schnellübersicht: Zusammenfassung der Methodenauswahl

Die folgende Tabelle bietet eine Schnellübersicht für die Auswahl geeigneter Bewertungsmethoden auf der Grundlage der Datenstruktur und der Politikexposition. Sie fasst zusammen, welche Methoden für verschiedene Kombinationen von Datentypen (Querschnitt oder Panel), das Vorhandensein oder Fehlen von Kontrollgruppen und die Art der Umsetzung der Politik geeignet sind. Für jedes Szenario gibt die Tabelle die empfohlenen Methoden an und verdeutlicht, ob die resultierende Analyse eine Korrelation oder eine Kausalität unterstützt.

Diese Übersicht soll Evaluatoren dabei helfen, schnell die pertinentesten methodischen Optionen für ihren spezifischen Kontext der Bewertung zu identifizieren.

Datenstruktur Politische Exposition/Kontrollgruppe Geeignete Methoden Art der Beziehung
Querschnitt Alle betroffenen Betriebe (keine Kontrollgruppe) OLS Korrelation
Querschnitt Einige Betriebe behandelt, andere nicht; reichhaltige Kovariablen Propensity Score Matching (PSM) Kausalität
Querschnitt Behandlung nach scharfer Zulassungsgrenze zugewiesen Regressionsdiskontinuitätsdesign (RDD) Kausalität
Panel Alle betroffenen Betriebe; mittellanges Panel (≈3–5 Jahre) Feste Effekte (FE) Korrelation (innerhalb des Betriebs)
Panel Alle betroffenen Betriebe; langes Panel (>5 Jahre, dynamische Effekte) Differenz-GMM / System-GMM Korrelation (dynamisch)
Panel Einige Betriebe behandelt, andere nicht; Daten vor und nach der Politik Differenz der Differenzen (DiD); Ereignisstudie Kausalität
Panel Wenige behandelte Einheiten; lange Zeitreihe vor der Politik Synthetische Kontrolle Kausalität
Panel Nur Panel nach der Politik; einige behandelt, andere nicht; reichhaltige Kovariablen PSM (Panel); RDD (Zulassungsgrenze, wenn die Regel eine Behandlung im Panel generiert) Kausalität

Grundprinzipien

  • Die Datenstruktur (Panel vs. Querschnitt) bestimmt, welche Methoden verfügbar sind.
  • Die zeitliche Struktur (Verfügbarkeit vor/nach der Politik) ermöglicht kausale Identifikationsstrategien.
  • Ihr Forschungsziel (kausal vs. deskriptiv) bestimmt die Wahl der Methode.
  • Umfangreiche Kovariablen-Informationen erhöhen die Möglichkeiten für kausale Schlussfolgerungen.
  • Überprüfen Sie immer die Annahmen Ihrer gewählten Methode.

Weiterführende Literatur