Lernportal - Regressions-Diskontinuitäts-Design
- Bewertung
- Bewertung
- Bewertungsansätze
- Datenmanagement
- Performance Monitoring and Evaluation Framework (Leistungs-, Überwachungs- und Bewertungsrahmen, PMEF)
- Begleitungs- und Bewertungsrahmen
Die Regressions-Diskontinuitäts-Analyse (RDD) ist eine leistungsstarke Bewertungsmethode, die hauptsächlich bei Programmbewertungen eingesetzt wird. Sie nutzt einen Abschneidepunkt in den Förderkriterien, um diejenigen zu vergleichen, die knapp über und unter diesem Schwellenwert liegen. Dieser einzigartige Ansatz bietet Einblicke in die Programmwirkungen bei minimaler Verzerrung.
Page contents
Grundlagen
Kurz und bündig
Die Regressions-Diskontinuitäts-Analyse (RDD) ist eine quasi-experimentelle Bewertungsmethode.
Die Technik kann zur Bewertung der Auswirkungen eines Programms oder von Maßnahmen eingesetzt werden, die einen kontinuierlichen Förderfähigkeitsindex mit einem klar definierten Schwellenwert haben, der bestimmt, welche Betriebe, Unternehmen, Haltungsbetriebe oder Gemeinschaften förderfähig sind und welche nicht. Der Hauptgedanke hinter dieser Analyse ist, dass Einheiten in der Zielpopulation, die knapp unter dem Cut-off-Wert liegen (die nicht von einer Intervention profitieren), gute Vergleiche mit denjenigen sind, die knapp über dem Cut-off-Wert liegen (die von einer Intervention profitieren). In diesem Fall kann der Evaluator das Ergebnis einer Intervention bewerten, indem er den Durchschnittswert des Ergebnisindikators für die Empfänger knapp über dem Cut-off mit dem entsprechenden Wert für die Nicht-Empfänger knapp darunter vergleicht. Unter bestimmten Vergleichbarkeitsbedingungen kann die Zuweisung in der Nähe des Cut-offs fast als zufällig angesehen werden. Bei der RDD-Methode wird davon ausgegangen, dass die einzelnen Einheiten in der Nähe des Schwellenwerts (auf beiden Seiten) ähnlich sind, so dass der Selektionsfehler minimal sein dürfte.
Vor- und Nachteile
Vorteile |
Nachteile |
---|---|
|
|
Wann wird die Analyse eingesetzt?
Die RDD kann verwendet werden, wenn ein Programm eine bestimmte Schwelle für die Förderfähigkeit (wer ist förderfähig und wer nicht) auf der Grundlage eines oder mehrerer Kriterien erwartet. Für die Anwendung der RDD sind zwei wesentliche Voraussetzungen erforderlich:
- ein kontinuierlicher Förderfähigkeitsindex, anhand dessen die jeweilige Bevölkerung eingestuft werden kann; und
- ein klar definierter Schwellenwert auf dem Index, bei dessen Über- oder Unterschreitung die Bevölkerung als förderfähig für ein Programm oder eine Maßnahme eingestuft wird.
Je nach Art der Förderfähigkeitsregel (ob sie sich im Laufe der Zeit geändert hat), sollten Panel- oder Querschnittsdaten verwendet werden. Die wichtigsten Schritte bei der Anwendung von RDD-Methoden sollten Folgendes umfassen: a) Festlegung des Förderfähigkeitsindex und des Schwellenwerts; b) Wahl der Größe der Bandbreite um den Schwellenwert; c) Überprüfung der Art der Diskontinuität; d) Schätzung der Programmeffekte; e) Diskussion der externen Validität der erzielten Ergebnisse.
Voraussetzungen
- Verfügbarer Datensatz, der den Förderfähigkeitsindex und Beobachtungen zu förderfähigen und nicht förderfähigen Einheiten enthält.
- Zeitreihen von Querschnittsdaten.
Die Technik kann angewendet werden, um die Auswirkungen der GAP-Unterstützung auf die Entwicklung der in der folgenden Tabelle aufgeführten Programmeffekte zu bewerten.
Indikator für die Auswirkungen des EPLR | Indikator für die Auswirkungen des GAP-Strategieplans |
---|---|
I.01 - Landwirtschaftlicher Unternehmensgewinn | I.2 - Entwicklung des landwirtschaftlichen Einkommens im Vergleich zur Gesamtwirtschaft |
I.02 - Landwirtschaftliches Faktoreinkommen | I.3 - Entwicklung des landwirtschaftlichen Einkommens |
I.5 - Entwicklung des landwirtschaftlichen Einkommens in Gebieten mit naturbedingten Einschränkungen (im Vergleich zum Durchschnitt) | |
I.03 - Totale Faktorproduktivität in der Landwirtschaft | I.6 - Totale Faktorproduktivität in der Landwirtschaft |
I.07 - Emissionen aus der Landwirtschaft |
I.10 - Treibhausgasemissionen aus der Landwirtschaft I.14 - Ammoniakemissionen aus der Landwirtschaft |
I.08 - Vogelindex für landwirtschaftliche Flächen | I.19 - Farmland Bird Index |
I.09 - Landwirtschaft mit hohem Naturwert (HNV) | |
I.10 - Wasserentnahme in der Landwirtschaft | I.17 - Wasserausbeutungsindex Plus (WEI+) |
I.11 - Wasserqualität |
I.15 - Bruttonährstoffbilanz auf landwirtschaftlichen Flächen I.16 - Nitrat im Grundwasser |
I.13 - Bodenerosion durch Wasser | I.13 - Prozentualer Anteil der landwirtschaftlichen Flächen mit mäßiger und starker Bodenerosion |
Schritt-für-Schritt
- Schritt 1 - Stellen Sie sicher, dass die Behandlung ausschließlich auf der Grundlage eines Grenzwerts für einen Eignungsindex zugewiesen wird.
- Schritt 2 - Die RDD-Analyse sollte mit einer grafischen Darstellung beginnen, bei der der Wert des Ergebnisindikators für jeden Datenpunkt auf der vertikalen Achse und der entsprechende Wert des Eignungsindex auf der horizontalen Achse aufgetragen wird. Die grafische Darstellung bietet eine aussagekräftige Visualisierung der Diskontinuität („Sprung“) im Ergebnisindikatorwert am Schnittpunkt.
- Es wird empfohlen, bei der grafischen Analyse in vier Schritten vorzugehen:
- Unterteilen Sie den Förderfähigkeitsindex in eine Reihe gleich großer Intervalle, die oft als „Bins“ bezeichnet werden;
- Berechnen Sie den Durchschnittswert des Ergebnisindikators und den Mittelwert des Förderfähigkeitsindexes für jeden Bereich und zählen Sie die Anzahl der Beobachtungen in jedem Bereich;
- Stellen Sie die Durchschnittswerte des Ergebnisindikators für jedes Feld auf der Y-Achse den Mittelwerten des Förderfähigkeitsindex für jedes Feld auf der X-Achse gegenüber, wobei die Anzahl der Beobachtungen in jedem Feld als Gewicht verwendet wird. Die Größe eines aufgetragenen Datenpunktes sollte die Anzahl der Beobachtungen in dem entsprechenden Feld widerspiegeln;
- Um dem Leser zu helfen, die in den Daten vorhandenen Muster besser zu erkennen, kann die Bewertung flexible Regressionslinien über die aufgezeichneten Daten legen. Dies vermittelt auch einen visuellen Eindruck von der Menge des Rauschens in den Daten.
- Eine Herausforderung bei der grafischen Auswertung besteht darin, die Bin-Breite zu bestimmen. Es gibt einige empfohlene formale Tests, die in Jacob et al. (2012) zu finden sind.
- Es wird empfohlen, bei der grafischen Analyse in vier Schritten vorzugehen:
- Schritt 3 - Als Nächstes kann der Evaluator die Behandlungseffekte mithilfe des RDD formell schätzen. Es gibt zwei Arten von Strategien zur korrekten Spezifizierung der funktionalen Form zwischen einem Anspruchsberechtigungsindex und einem Ergebnisindikator:
- Diskontinuität am Schnittpunkt: Bei dieser parametrischen Strategie wird jede Beobachtung in der Stichprobe verwendet, um den Wert des Ergebnisindikators als Funktion des Anspruchsberechtigungsindex und des Behandlungsstatus zu modellieren. Diese Methode berücksichtigt alle verfügbaren Beobachtungen, einschließlich derjenigen, die weit vom Schwellenwert entfernt sind, um den Durchschnittswert des Ergebnisindikators für die Beobachtungen in der Nähe des Schwellenwerts zu schätzen. Um Verzerrungen zu minimieren, werden verschiedene funktionale Formen für den Anspruchsberechtigungsindex (linear, quadratisch, kubisch) sowie Wechselwirkungen mit der Behandlung getestet, indem die Residuen untersucht und F-Tests auf Wechselwirkungsterme durchgeführt werden.
- Lokale Randomisierung: Bei dieser nichtparametrischen/lokalen Strategie wird für die Schätzung der Behandlungseffekte eine lokale Randomisierung angewandt und die Analyse auf Beobachtungen beschränkt, die innerhalb der Bandbreite des Schwellenwerts liegen, wo die funktionale Form eher linear ist. Die größte Herausforderung ist hier die Wahl der richtigen Bandbreite. Sobald die Bandbreite ausgewählt ist, wird eine lineare (oder polynomiale) Regression geschätzt, wobei Beobachtungen innerhalb einer Bandbreite auf beiden Seiten des Schwellenwerts verwendet werden.
- Schritt 4 - Bewertung der internen Validität der RDD-Auswirkungsschätzungen. Wenn der Cut-off-Wert anhand von Informationen über einen beobachteten Berechtigungsindex gewählt werden soll, können Evaluatoren diesen Wert so festlegen, dass bestimmte Beobachtungen ein- oder ausgeschlossen werden. Wird hingegen ein Eignungsindex für jede Beobachtung auf der Grundlage der Kenntnis des entsprechenden Cut-off-Werts bestimmt, kann dieser so manipuliert werden, dass bestimmte Beobachtungen ein- oder ausgeschlossen werden. Die Methoden, die Forscher anwenden können, um festzustellen, ob die Eignungsindizes oder die Cut-off-Werte manipuliert worden sein könnten (d. h. ob ein RDD intern gültig ist oder nicht), umfassen:
- Untersuchung des Durchführungsprozesses;
- Aufzeichnung der Wahrscheinlichkeit, eine Behandlung zu erhalten, als Funktion des Eignungsindexes. Bei einem gültigen RDD sollte es beim Cut-off-Wert eine Diskontinuität (oder einen „Sprung“) in der Wahrscheinlichkeit, eine Behandlung zu erhalten, geben;
- Darstellung der Beziehung zwischen Nicht-Ergebnisvariablen und einem Anspruchsberechtigungsindex. Mit Nicht-Outcome-Variablen sind hier vor allem potenzielle Kovariaten gemeint, die gemäß der Handlungstheorie nicht von einer Behandlung beeinflusst werden sollten.
- Schritt 5 - Bewertung der Genauigkeit der aus einer RDD gewonnenen Schätzungen. Dieser Punkt ist besonders wichtig, wenn ein vorhandener Datensatz verwendet wird. Die Genauigkeit der geschätzten Behandlungseffekte wird in der Regel in Form eines minimalen nachweisbaren Effekts (MDE) oder einer minimalen nachweisbaren Effektgröße ausgedrückt.
- Schritt 6 - Die Ergebnisse der RDD sollten von einer kritischen Diskussion der gewonnenen Erkenntnisse begleitet werden, einschließlich einer Triangulation mit anderen quantitativen und qualitativen Ergebnissen.
Wichtigste Punkte zum Mitnehmen
- Die RDD zeichnet sich durch die Verwendung von Grenzwerten für die Förderfähigkeit bei der Programmbewertung aus.
- Durch den Vergleich von Einheiten, die knapp über und unter dem Cut-off liegen, minimiert die RDD Selektionsverzerrungen.
- Wesentliche Voraussetzungen für RDD sind ein kontinuierlicher Förderfähigkeitsindex und ein klarer Cut-off-Punkt.
- Die RDD unterscheidet sich von anderen Methoden dadurch, dass sie sich auf lokale Auswirkungen konzentriert und nicht auf verallgemeinernde Effekte.
- Sie bietet wertvolle Einblicke in die kausalen Auswirkungen spezifischer Interventionen oder Programme.
Aus der Praxis lernen
- Varacca, A., Arata, L., Castellari, E., & Sckokai, P. (2023)
Does CAP greening affect farms’ economic and environmental performances? A regression discontinuity design analysis. European Review of Agricultural Economics, 50(2), 272–303 - Wuepper, D., & Finger, R. (2023)
Regression discontinuity designs in agricultural and environmental economics. European Review of Agricultural Economics, 50(1), 1–28 - Jacob, Robin Tepper, Pei Zhu, Marie-Andrée Somers, and Howard Bloom. 2012
‘A Practical Guide to Regression Discontinuity.’ New York: MDRC
Weiterführende Literatur
Assessing RDP Achievements and Impacts in 2019
- Europäisches Evaluierungsnetzwerk für ländliche Entwicklung für die GAP (2014)
Den Erfolg des EPLR festhalten: Leitlinien für die Ex-post-Evaluierung der EPLRs 2007-2013