Lernportal

Verfahren zur synthetischen Steuerung

Die Methode der synthetischen Kontrollgruppe (SCM) ist ein quasi-experimenteller Ansatz, der eine zuverlässige Möglichkeit bietet, abzuschätzen, was ohne eine GAP-Maßnahme geschehen wäre, indem eine synthetische Vergleichsgruppe aus ähnlichen Regionen oder Ländern gebildet wird. Sie eignet sich besonders gut zur Bewertung der Auswirkungen politischer Maßnahmen, die auf regionaler oder nationaler Ebene umgesetzt werden.

Page contents

Young male agronomist holding up rain gauge

Grundlagen

Kurz zusammengefasst

SCM ist eine Methode zur Abschätzung der Auswirkungen einer politischen Maßnahme, die für ein (oder nur wenige) Länder, Regionen oder Sektoren gilt. Dabei wird ein „künstlicher Zwilling“ der behandelten Einheit erstellt, indem mehrere unbeeinflusste Einheiten (mit Gewichten) kombiniert werden, sodass sich dieser synthetische Zwilling wie die behandelte Einheit vor der Maßnahme verhält. Jede deutliche Abweichung, die nach der Maßnahme auftritt, wird als Wirkung der Maßnahme interpretiert.

Bei SCM werden Gewichte für eine Gruppe unbehandelter Einheiten ausgewählt, um einen künstlichen Zwilling der behandelten Einheit zu erstellen, sodass deren gewichteter Durchschnitt in Bezug auf Ergebnisse (z. B. landwirtschaftliche Produktion) und Schlüsselmerkmale (z. B. Betriebsstruktur) weitgehend mit der behandelten Einheit vor der Intervention übereinstimmt.

Nach Beginn der Maßnahme (z. B. einer GAP-Reform) wird der Verlauf der behandelten Einheit mit dem ihres synthetischen (künstlichen) Zwillings verglichen. Die zentrale Annahme lautet, dass sich die behandelte Einheit ohne die Maßnahme weiterhin wie diese synthetische Kombination entwickelt hätte. Unter dieser Annahme wird die Differenz zwischen den beiden Verläufen nach der Intervention als Wirkung der Maßnahme angesehen.

  • Beispiel: Einsatz von SCM zur Bewertung der Auswirkungen einer GAP-Reform in Land A

Angenommen, wir wollen die Auswirkungen einer 2014 eingeführten GAP-Reform auf die landwirtschaftliche Wertschöpfung in Land A bewerten.

Zunächst wählen wir eine Gruppe von nicht behandelten Ländern aus (zum Beispiel die Länder B, C, D und E, die dieselbe Reform nicht umgesetzt haben).

Der SCM-Algorithmus wählt für diese Spendereinheiten eine Reihe von nicht-negativen Gewichten aus, sodass ihre Trends und Merkmale vor der Reform denen von Land A so ähnlich wie möglich sind. Länder, deren Trends und Merkmale vor der Reform näher an denen von Land A liegen, erhalten höhere Gewichte. Länder, die nicht dem Land A ähneln, erhalten Gewichte nahe Null. Beispielsweise könnten die optimalen Gewichte wie folgt lauten: B = 0,4, C = 0,3, D = 0,3, E = 0,0

Anhand dieser Gewichte konstruieren wir das „synthetische Land A“ als gewichteten Durchschnitt der Spendereinheiten.

Der gleiche Satz von Gewichtungen wird angewendet auf:

  • die landwirtschaftliche Wertschöpfung vor der Reform (z. B. 2000–2013) und
  • Kovariaten wie die Verteilung der Betriebsgrößen, der Einsatz von Betriebsmitteln pro Hektar oder die Viehbesatzdichte.

Das bedeutet, dass jeder Indikator des synthetischen Landes A die gewichtete Kombination der entsprechenden Indikatoren in B, C und D ist.

Nach 2014 vergleichen wir die Entwicklung der landwirtschaftlichen Wertschöpfung in:

  • dem tatsächlichen Land A und
  • dem synthetischen Land A (wie die Entwicklung von A ohne die Reform ausgesehen hätte).

Wenn nach der Reform von 2014 die landwirtschaftliche Wertschöpfung des tatsächlichen Landes A deutlich über die synthetische Entwicklung hinaussteigt, wird diese Lücke als Wirkung der GAP-Reform unter den SCM-Annahmen interpretiert (hauptsächlich, dass keine anderen größeren Schocks Land A, nicht aber seine Spendergruppe betrafen).

Vor- und Nachteile

Vorteile Nachteile
Nützlich, wenn nur eine oder wenige Einheiten behandelt werden und keine klare Kontrollgruppe existiert. Stark datenabhängig: erfordert lange, qualitativ hochwertige Daten aus der Zeit vor der Politikumsetzung sowie mehrere geeignete Spendereinheiten.
Flexibler als das Standard-DiD-Verfahren, wenn parallele Trends zweifelhaft sind, da SCM die Gewichte so wählt, dass die synthetische Einheit die Ergebnisse der behandelten Einheit in allen Vorbehandlungsjahren genau nachbildet. Die Ergebnisse sind kontextspezifisch und lassen sich möglicherweise nicht auf andere Mitgliedstaaten, Regionen oder Zeiträume verallgemeinern. Die gleiche Einschränkung gilt für SCM-Studien auf EU-Ebene, nationaler oder regionaler Ebene, bei denen die geschätzten Effekte auf die behandelte Einheit, den Spenderpool und das in der Analyse verwendete Zeitfenster beschränkt sind.
Bietet einen visuell intuitiven Vergleich (behandelte vs. synthetische Entwicklung). Die Ergebnisse können je nach Methodik variieren. Insbesondere hängen sie von den zum Vergleich herangezogenen Ländern oder Regionen, den zur Anpassung gewählten Merkmalen (z. B. Betriebsstruktur oder Produktionsniveau) und den vor der Reform untersuchten Jahren ab. Wenn der synthetische „Zwilling“ der behandelten Einheit vor Beginn der Politik nicht eng folgt, sind die Ergebnisse weitaus weniger überzeugend.
Statistische Schlussfolgerungen sind weniger standardisiert als bei Regressionsmodellen und können für Laien schwieriger zu erklären sein.

Wann ist die Methode anzuwenden?

SCM eignet sich am besten, wenn eine groß angelegte GAP-Änderung ein (oder nur sehr wenige) Länder, Regionen oder Sektoren betrifft (z. B. eine umfassende Reform oder eine spezifische nationale Umsetzung). SCM wird in der Regel auf solche aggregierten Einheiten (Länder, Regionen, Sektoren) angewendet, aber grundsätzlich lassen sich ähnliche Ansätze auch auf detaillierteren Ebenen nutzen, sofern geeignete Daten und Vergleichseinheiten vorliegen.

Es eignet sich besonders, wenn:

  • andere, im Großen und Ganzen ähnliche Einheiten vorhanden sind, die nicht dieselbe GAP-Änderung durchlaufen haben, sodass sie zur Erstellung eines glaubwürdigen synthetischen Zwillings herangezogen werden können;
  • ein langer Vorinterventionszeitraum mit konsistenten Daten zur Dokumentation von Trends vorliegt und
  • das Ziel darin besteht, einen glaubwürdigen kontrafaktischen Verlauf für eine aggregierte Einheit (Land, Region, Sektor) zu konstruieren.

SCM ist nicht für routinemäßige Bewertungen auf Betriebsebene oder für Maßnahmen gedacht, die überall gleichzeitig umgesetzt werden, da es keine unbehandelte Vergleichsgruppe gibt, um eine synthetische Kontrolle zu bilden.

Voraussetzungen

Um SCM glaubwürdig anzuwenden und aussagekräftige Ergebnisse zu erhalten, benötigen Evaluatoren:

  • eine klar definierte behandelte Einheit (z. B. ein Mitgliedstaat oder eine Region, die einer bestimmten Reform unterliegt),
  • einen Pool vergleichbarer unbehandelter Einheiten, um die synthetische Kontrolle (künstlichen Zwilling) zu erstellen,
  • eine lange und zuverlässige Zeitreihe aus der Zeit vor der Maßnahme (idealerweise länger als 8–10 Jahre) für das Ergebnis und die wichtigsten Kovariaten,
  • fundierte Kenntnisse über den zeitlichen Ablauf und den Kontext der Maßnahme, um das Interventionsdatum und den Spendereinheiten angemessen zu definieren.

Diese Elemente stellen sicher, dass SCM die Trends vor der Reform genau abbilden und ein glaubwürdiges Kontrafaktikum generieren kann.

Wann SCM im Rahmen von Bewertungen der GAP-Strategiepläne eingesetzt werden sollte

SCM eignet sich vor allem für aggregierte Indikatoren auf Länder- oder Großregionsebene, wie zum Beispiel:

  • Landwirtschaftliche Produktionsindizes, sektorale Wertschöpfung oder landwirtschaftliches BIP
  • Indikatoren für die Höhe der Agrarstützung
  • Umwelt- oder Strukturindikatoren auf Makroebene, sofern gute historische Zeitreihen vorliegen

Wie bereits erwähnt, eignet es sich weniger für detaillierte Indikatoren auf Betriebsebene, wo Mikrodatenmethoden vorzuziehen sind.

Schritt für Schritt

Schritt 1 – Definieren Sie die behandelte Einheit und die politische Änderung (z. B. einen Mitgliedstaat zum Zeitpunkt einer GAP-bezogenen Reform).

Schritt 2 – Wählen Sie den Spenderpool der unbehandelten Einheiten aus (Länder/Regionen, die nicht derselben Änderung unterliegen).

Schritt 3 – Wählen Sie aus, welche Merkmale abgeglichen werden sollen und über welche vergangenen Jahre:

  1. Entscheiden Sie zunächst, welche Schlüsselmerkmale (Prädiktoren) des Landes oder der Region im synthetischen Zwilling ähnlich sein sollen, beispielsweise Betriebsstruktur, Einsatz von Betriebsmitteln oder frühere Niveaus der landwirtschaftlichen Produktion.
  2. Wählen Sie dann einen Vorinterventionszeitraum (eine Reihe von Jahren vor Beginn der Politik) aus, in dem die synthetische Einheit dem Ergebnisverlauf der behandelten Einheit eng folgen soll.

Das SCM-Verfahren weist den Vergleichseinheiten dann Gewichte zu, sodass der synthetische Zwilling in diesen Jahren sowohl den ausgewählten Merkmalen als auch dem Ergebnisverlauf so gut wie möglich entspricht.

Schritt 4 – Vergleichen Sie die Verläufe der behandelten Einheit und ihres synthetischen Zwillings nach der Intervention.

Nehmen wir beispielsweise an, dass vor der GAP-Reform 2014 der Mehrwert einer Region stets eng der ihres synthetischen Zwillings folgte. Nach der Reform, zwischen 2015 und 2020, wuchs die tatsächliche Region auf etwa 110, während die synthetische Region nahe bei 100 blieb. In jedem Jahr nach der Reform untersuchen wir die Differenz zwischen diesen beiden Linien (z. B. 110 minus 100 = 10 Indexpunkte). Wenn die Übereinstimmung vor der Reform gut war und kein anderer größerer Schock ausschließlich diese Region betraf, wird diese Lücke nach der Reform als geschätzter Effekt der GAP-Reform auf die landwirtschaftliche Wertschöpfung interpretiert.

Schritt 5 – Durchführung von Placebo- und Robustheitsprüfungen

Eine Placebo-Prüfung ist ein „Scheinbehandlungstest“, mit dem bewertet wird, ob das Forschungsdesign auch dann noch einen Effekt erkennen würde, wenn dies eigentlich nicht der Fall sein sollte.

  1. Beispielsweise wiederholen wir das gleiche SCM-Verfahren, tun aber so, als hätten andere unbehandelte Länder oder Regionen die Maßnahme erhalten (z. B. hat Land C die Reform nicht eingeführt, aber wir behandeln es so, als wäre es behandelt worden, indem wir ein fiktives Interventionsdatum festlegen, z. B. 2014, obwohl sich in C im Jahr 2014 nichts geändert hat, und erstellen dann eine synthetische Kontrollgruppe für Land C unter Verwendung derselben Methode wie für Land A).
  2. Wenn viele dieser Placebo-Einheiten ebenso große Lücken aufweisen wie die behandelte Einheit, spiegelt der geschätzte Effekt möglicherweise lediglich zufälliges Rauschen wider.
  3. Wenn die behandelte Einheit eine viel größere Lücke aufweist als jede Placebo-Einheit, stärkt dies die Glaubwürdigkeit des Ergebnisses und stützt die Interpretation, dass die Maßnahme eine Wirkung hatte.

Wichtigste Erkenntnisse

  • SCM erstellt einen datengesteuerten „künstlichen Zwilling“ der behandelten Einheit, indem es unbehandelte Einheiten optimal kombiniert, um zu approximieren, was ohne die Maßnahme geschehen wäre.
  • Es ist besonders nützlich in Fällen, in denen es nur wenige behandelte Einheiten gibt, wie bei großen GAP-Reformen oder nationalen Umsetzungsentscheidungen
  • Seine Zuverlässigkeit hängt von einer guten Anpassung vor der Politikumsetzung, einer geeigneten Auswahl der Spender und einer fachkundigen Umsetzung ab.
  • Es handelt sich um ein spezialisiertes Instrument, das für spezifische Fragen der Bewertung auf Länder-, Regional- oder Sektorebene konzipiert ist und nicht für routinemäßige, auf Betriebsebene angesiedelte oder universell angewandte Maßnahmen gedacht ist.

Aus der Praxis lernen

Olper, A., Valenti, D., Raimondi, V., & Curzi, D., (2023), The EU enlargements treatment effect on agricultural policyLink in neuem Fenster öffnen, Applied Economic Perspectives and Policy, 45(2), 1134-1153.

Die Autoren verwenden SCM, um zu untersuchen, wie sich die EU-Mitgliedschaft auf das Niveau des Agrarschutzes in den Beitrittsländern ausgewirkt hat. Jede Erweiterung wird als „politischer Schock“ für den beitretenden Mitgliedstaat behandelt, und es wird eine synthetische Kontrollgruppe aus Nicht-Beitrittsländern gebildet, die hinsichtlich der Indikatoren für den Agrarschutz und der makroökonomischen Bedingungen vor dem Beitritt übereinstimmen. Beim Vergleich der Entwicklungen nach dem Beitritt stellen die Autoren fest, dass bei früheren Erweiterungen (1973 und 1985) der Beitritt die Agrarbeihilfen im Vergleich zum kontrafaktischen Szenario deutlich erhöht hat.