Randomisierte kontrollierte Studien

Bei einer randomisierten kontrollierten Studie (RCT) definieren die Evaluatoren zunächst eine Zielgruppe (z. B. berechtigte Landwirte in bestimmten Regionen) und teilen diese dann nach dem Zufallsprinzip auf in:

Anschließend werden die Ergebnisse (wie die Übernahme von Praktiken oder Veränderungen bei Umwelt- oder Wirtschaftsindikatoren, z. B. Einkommen) in beiden Gruppen gemessen und verglichen.

Die zentrale Annahme ist, dass dank der Randomisierung der einzige systematische Unterschied zwischen den Gruppen die politische Maßnahme selbst ist. Unter dieser Voraussetzung kann der Unterschied in den Ergebnissen als kausaler Effekt dieser politischen Maßnahme interpretiert werden.

RCTs können nicht nachträglich während der Bewertung eingeführt werden. Sie müssen im Voraus geplant werden. Die zufällige Zuordnung von Einheiten zu Behandlungs- und Kontrollgruppen muss von Anfang an in das Design der Maßnahme eingebettet sein, wobei die Gruppen definiert und zufällig zugewiesen werden müssen, bevor die Politik (oder eine Politikvariante) umgesetzt wird. Wenn Gruppen nicht ex ante durch einen Zufallsprozess gebildet werden, kann ein RCT-Design nicht ex post rekonstruiert werden.

RCTs sind am besten geeignet, wenn:

1. Die Frage der Bewertung Entscheidungen zur Politikgestaltung betrifft (z. B. Zahlungsform, Vertragsart oder die Bereitstellung von Beratungsunterstützung), typischerweise im Rahmen einer neuen oder bestehenden freiwilligen Intervention. Im Rahmen der GAP ist es in der Regel weder machbar noch akzeptabel, den Zugang zu einer gesamten GAP-Maßnahme zu randomisieren. Eine Randomisierung kann jedoch möglich sein, wenn eine neu eingeführte Intervention (z. B. ein Pilotprogramm für Agrarumwelt) mit dem Status quo verglichen wird oder wenn alternative Varianten innerhalb dieser neuen Intervention getestet werden.
2. Die Maßnahme ist freiwillig und unterliegt Budget- oder Kapazitätsbeschränkungen, wie dies bei Agrarumwelt- und Klimaprogrammen oder Öko-Regelungen der Fall ist, was bedeutet, dass nicht alle förderfähigen Landwirte sofort dieselbe Version erhalten können oder müssen. Dies ermöglicht es grundsätzlich, kontrollierte Variationen hinsichtlich der Frage einzuführen, wer welche politische Variante erhält, ohne den Zugang zu einer gesamten Maßnahme zu verwehren.
3. Es ist möglich, die Maßnahme vor der vollständigen Einführung zu testen, beispielsweise durch Erprobung in ausgewählten Gebieten oder unter einer Teilgruppe der förderfähigen Landwirte. In solchen Fällen kann eine zufällige Zuordnung innerhalb der förderfähigen Gruppe genutzt werden, um verschiedene Gestaltungsoptionen zu vergleichen, bevor die Maßnahme landesweit ausgeweitet wird.

Voraussetzungen

Da die Zuordnung zufällig erfolgt, sind sich die Gruppen vor der Intervention in allen relevanten Merkmalen im Durchschnitt ähnlich. Das bedeutet, dass alle danach beobachteten systematischen Unterschiede zwischen den beiden Gruppen, der „Behandlungsgruppe“ und der „Kontrollgruppe“, auf die Politik selbst zurückgeführt werden können und nicht auf bereits bestehende Unterschiede zwischen den Betrieben. Aus diesem Grund gelten RCTs als „Goldstandard“ für die Identifizierung kausaler Effekte in der Bewertung.

Es ist jedoch wichtig zu beachten, dass dieser Ansatz in der Bewertung der Politik selten verwendet wird, da die eingeführten politischen Maßnahmen es den Landwirten ermöglichen, auf der Grundlage ihrer eigenen Erwartungen zu entscheiden, ob sie daran teilnehmen möchten, wodurch die Zuordnung naturgemäß nicht zufällig ist.

Schritt 1 – Identifizieren Sie, welches Element der Politikgestaltung (z. B. die Höhe der Zahlungen) bewertet werden soll.

Schritt 2 – Entscheiden Sie, welche Landwirte oder Gebiete für die Teilnahme am Experiment in Frage kommen.

Schritt 3 – Legen Sie klar fest, was die Behandlungsgruppe erhält und was die Kontrollgruppe erhält (Status quo oder Alternative).

Schritt 4 – Verwenden Sie ein transparentes, dokumentiertes Zufallsverfahren, um landwirtschaftliche Betriebe (oder andere Einheiten) der Versuchs- und Kontrollgruppe zuzuordnen.

Schritt 5 – Führen Sie die politischen Varianten wie geplant ein, stellen Sie die Einhaltung des Designs sicher und erheben Sie im Zeitverlauf Daten zu den Ergebnissen und relevanten Kovariaten.

Schritt 6 – Vergleichen Sie die durchschnittlichen Ergebnisse zwischen den Gruppen und interpretieren Sie Unterschiede als kausale Effekte der getesteten Politikvariante, wobei Sie den Kontext und etwaige Umsetzungsprobleme erörtern.

Behaghel, L., Macours, K., & Subervie, J., (2019), Wie können randomisierte kontrollierte Studien dazu beitragen, die Gestaltung der Gemeinsamen Agrarpolitik zu verbessernLink in neuem Fenster öffnen?, European Review of Agricultural Economics, 46(3), 473-493.

Behaghel, Macours und Subervie (2019) erörtern, wie randomisierte Anreize und Vertragsvarianten in die Gestaltung von Agrarumweltmaßnahmen und anderen GAP-Instrumenten eingebettet werden könnten, um verschiedene spezifische politische Optionen zu testen. Ihre Arbeit veranschaulicht, wie experimentelle Designs genutzt werden können, um beispielsweise die Akzeptanz von Agrar-, Umwelt-, und Klimaverträgen, die Koordination unter Landwirten bei der Bereitstellung ökologischer öffentlicher Güter, Abwägungen zwischen Gerechtigkeit und Effizienz bei entkoppelten Zahlungen sowie verschiedene Merkmale der Vertragsgestaltung zu bewerten. In diesen Designs werden Landwirte nach dem Zufallsprinzip alternativen Informationsrahmen, Anreizniveaus oder Vertragsbedingungen zugeordnet. Diese zufällige Zuordnung ermöglicht es den daraus resultierenden RCTs, robuste Belege für die Kausalität zu liefern, welche Variante hinsichtlich Beteiligung und Umweltergebnissen besser abschneidet.