Lernportal – Propensity Score Matching-Differenz von Differenzen-Methode (PSM-DvD)

Die Propensity Score Matching-Differenz-von-Differenzen Methode (PSM-DvD) ist eine innovative Technik, die den Vergleich von Programmteilnehmern und Nicht-Teilnehmern vor und nach der Durchführung eines Programms ausgleicht. Sie bietet einen genaueren Einblick in die tatsächlichen Programmeffekte bei minimaler Verzerrung.

Page contents

Grundlagen

Auf den Punkt gebracht

Die PSM-DvD-Methode (Propensity Score Matching-Differenz-von-Differenzen Methode), auch bekannt als bedingte DvD-Methode, ist eine quasi-experimentelle Bewertungsmethode.

Die Technik ist ein sehr gut anwendbarer Schätzer, wenn die Ergebnisdaten von Programmteilnehmern und Nicht-Teilnehmern vor und nach der Durchführung des Programms verfügbar sind. PSM-DvD misst die Wirkung der Förderung anhand der Unterschiede zwischen vergleichbaren Programmteilnehmern und Nicht-Teilnehmern vor und nach der Durchführung eines Programms. Bei dieser Methode werden zunächst die Programmteilnehmer mit vergleichbaren Nicht-Teilnehmern verglichen, wobei die PSM-Technik zum Einsatz kommt. Anschließend wird der Nettoeffekt der Förderung als Differenz im Durchschnittswert des/der Wirkungsindikators/en zwischen Teilnehmern und Nicht-Teilnehmern vor und nach der Durchführung eines Programms berechnet.

Ein entscheidender Vorteil des PSM-DvD-Schätzers gegenüber einem herkömmlichen DvD-Schätzer und der separat angewandten PSM-Technik besteht darin, dass diese Methode eine bessere Kontrolle eines Selektionsbias sowohl bei den beobachtbaren (PSM) als auch bei den unbeobachtbaren Variablen (DvD) ermöglicht. Selektionsverzerrungen treten auf, wenn sich die Teilnehmer eines Programms systematisch von den Nicht-Teilnehmern unterscheiden. Diese systembedingten Unterschiede können auf spezifische Merkmale von Teilnehmern und Nicht-Teilnehmern zurückzuführen sein, die anhand von in den entsprechenden Datenquellen verfügbaren Variablen (Observablen) beobachtet werden können. So können beispielsweise Betriebe in bestimmten Sektoren oder mit einer bestimmten wirtschaftlichen oder physischen Größe stärker motiviert sein, an dem Programm teilzunehmen. Diese Verzerrung kann durch das Matching von Teilnehmern und Nicht-Teilnehmern auf der Grundlage ihrer beobachteten Merkmale mit Hilfe der PSM-Technik minimiert werden (Link zur PSM-Methode). Andererseits können die systembedingten Unterschiede von Merkmalen stammen, die mit den verfügbaren Daten nicht beschrieben werden können (unbeobachtbare Merkmale). Beispielsweise können sich sehr ähnliche Teilnehmer und Nicht-Teilnehmer in ihrer internen Motivation unterscheiden, die mit keiner Variablen direkt beobachtet werden kann. Um diese Verzerrung zu minimieren, wird der Effekt der unbeobachteten Merkmale herausgerechnet, indem der Durchschnittswert des Ergebnisindikators/der Ergebnisindikatoren der Nicht-Teilnehmer vom entsprechenden Wert der Teilnehmer vor und nach der Durchführung eines Programms abgezogen wird (DiD).

Somit kann die Anwendung eines bedingten DvD-Schätzers (PSM-DvD) zur Messung der Auswirkungen eines Programms die Ergebnisse der Bewertung erheblich verbessern, da er die Selektionsverzerrung minimiert, indem er Gruppen bildet und vergleicht, die näher an den Gruppen liegen, die gebildet worden wären, wenn Teilnehmer und Nicht-Teilnehmer zufällig zugeordnet worden wären.

Vor- und Nachteile

Vorteile	Nachteile
Bessere Kontrolle der Selektionsverzerrung (bei beobachtbaren Daten), da Einheiten, die Unterstützung erhalten haben, mit sehr ähnlichen Einheiten verglichen werden, die keine Unterstützung erhalten haben. Ermöglicht eine viel bessere Kontrolle von Selektionsverzerrungen (bei unbeobachtbaren Variablen), da unbeobachtete Ungleichgewichte zwischen den Einheiten, die Unterstützung erhalten haben, und den Einheiten, die keine Unterstützung erhalten haben (die als im Zeitverlauf konstant angenommen werden), herausdifferenziert werden.	Möglicherweise keine plausiblen Ergebnisse, wenn wichtige beobachtbare Merkmale, die die Unterschiede zwischen Programmteilnehmern und angepassten Nicht-Teilnehmern erklären, nicht in das Modell einbezogen werden und wenn die Wirkung unbeobachtbarer Variablen im Zeitverlauf nicht konstant ist. Begrenzte Verallgemeinerbarkeit, wenn die Beobachtungen von Teilnehmern und Nicht-Teilnehmern nicht ausreichend groß und vielfältig sind. Abnehmende Validität, wenn die nicht angepassten Einheiten zunehmen.

Wann ist die Methode anzuwenden?

Die Methode kann angewandt werden, um die Auswirkungen eines Programms auf Mikroebene, auf regionaler Ebene oder auf Ebene des Programmgebiets zu bewerten. Sie erfordert jedoch eine Fülle von Daten über die wichtigsten Merkmale und die wirtschaftliche Leistung von Programmbegünstigten und Nicht-Begünstigten vor und nach einem Programm. Eine wichtige Voraussetzung für diese Methode ist, dass die wichtigsten Merkmale, die die Programmteilnahme und -leistung bestimmen, beobachtet werden können.

Voraussetzungen

Reichhaltige Daten über Programmteilnehmer und Nicht-Teilnehmer vor und nach einem Programm (Paneldaten).
Hohe quantitative Fähigkeiten des Evaluators.
Gutes Verständnis der Bedingungen, die die Wahrscheinlichkeit der Teilnahme an einem Programm bestimmen.

Die Technik kann angewendet werden, um die Auswirkungen der GAP-Unterstützung auf die Entwicklung der Werte der in der folgenden Tabelle aufgeführten Wirkungsindikatoren zu bewerten.

Indikator für die Auswirkungen des EPLR	Indikator für die Auswirkungen des GAP-Strategieplans
I.01 - Landwirtschaftlicher Unternehmensgewinn	I.2 - Entwicklung des landwirtschaftlichen Einkommens im Vergleich zur Gesamtwirtschaft
I.02 - Landwirtschaftliches Faktoreinkommen	I.3 - Entwicklung des landwirtschaftlichen Einkommens
I.03 - Totale Faktorproduktivität in der Landwirtschaft	I.6 - Totale Faktorproduktivität in der Landwirtschaft
I.07 - Emissionen aus der Landwirtschaft	I.10 - Treibhausgasemissionen aus der Landwirtschaft I.14 - Ammoniakemissionen aus der Landwirtschaft
I.08 - Vogelindex für landwirtschaftliche Flächen	I.19 - Farmland Bird Index
I.09 - Landwirtschaft mit hohem Naturwert (HNV)
I.10 - Wasserentnahme in der Landwirtschaft	I.17 - Wasserausbeutungsindex Plus (WEI+)
I.11 - Wasserqualität	I.15 - Bruttonährstoffbilanz auf landwirtschaftlichen Flächen I.16 - Nitrat im Grundwasser
I.13 - Bodenerosion durch Wasser	I.13 - Prozentualer Anteil der landwirtschaftlichen Flächen mit mäßiger und starker Bodenerosion
I.14 - Ländliche Beschäftigungsquote	I.24 - Entwicklung der Beschäftigungsquote im ländlichen Raum, einschließlich einer Aufschlüsselung nach Geschlecht
I.15 - Ausmaß der ländlichen Armut	I.27 - Entwicklung des Armutsindex im ländlichen Raum
I.16 - Ländliches BIP pro Kopf	I.25 - Entwicklung des Pro-Kopf-Bruttoinlandsprodukts (BIP) im ländlichen Raum

Speziell für den Farmland Bird Index kann ein Bewertungsansatz auf der Ebene von Feldern/Parzellen (Mikroebene) mit Hilfe des „Common Birds Monitoring Programme“ realisiert werden, wenn genügend Daten verfügbar sind. Dies kann erreicht werden, indem die PSM-DvD-Technik angewandt wird, um Begünstigte und Nicht-Begünstigte einander gegenüberzustellen und dann die durchschnittliche Auswirkung der GAP-Unterstützung auf die Biodiversität in jeder Gruppe vor und nach der Umsetzung eines Programms zu vergleichen. Auf der Makroebene wird PSM auch empfohlen, um die Auswirkungen der GAP-Förderung auf die Biodiversität auf der Ebene der Quadranten zu ermitteln, die für die Beobachtung der Populationen von Ackervögeln im Rahmen des Programms zur Überwachung der Vogelarten verwendet werden. Die Quadranten können als funktionale Einheiten für den Farmland Bird Index verwendet und dann nach biogeografischen Gebieten (verschiedene landwirtschaftliche Lebensräume) oder auf regionaler Ebene auf der Grundlage von georeferenzierten Daten berechnet werden.

Was die Indikatoren zur Messung der Beschäftigung, des Pro-Kopf-BIP und der Armutsquote in ländlichen Räumen betrifft, so können die Gruppen der Begünstigten und der Kontrollgruppe auf der Grundlage von geförderten und nicht geförderten geografischen Regionen gebildet werden, idealerweise LAU 2 gemäß der Eurostat-Typologie Stadt-Land. In diesem Fall ist der Zugang zu einer umfassenden Quelle von statistischen Daten und Informationen über die Merkmale der geografischen Regionen vor und nach der Durchführung des Programms erforderlich.

Schritt-für-Schritt-Anleitung

Schritt 1 - Suchen Sie eine Stichprobe von Begünstigten (z. B. landwirtschaftliche Betriebe, Landwirte, nicht landwirtschaftliche Unternehmen, Gemeinden, Gebiete, Regionen usw.) in einer verfügbaren Datenbank (z. B. INLB) und verwenden Sie das elektronische Überwachungs- und Bewertungssystem (z. B. das elektronische Informationssystem gemäß Artikel 70 der Verordnung (EU) Nr. 1305/2013 oder das System gemäß Artikel 130 der Verordnung (EU) Nr. 2021/2115) als Referenzpunkt.
Schritt 2 - Wählen Sie in derselben Datenbank (z. B. INLB) alle relevanten Einheiten aus, die im selben Zeitraum keine Unterstützung oder eine willkürlich niedrige Unterstützung erhalten haben (Nicht-Begünstigte). Im letztgenannten Fall einer willkürlich niedrigen Förderhöhe ist es möglicherweise besser, die niedrige Förderhöhe nicht anhand der absoluten Förderhöhe zu definieren, sondern anhand der Förderhöhe, die durch eine andere Variable normalisiert wird, wie z. B. die landwirtschaftlich genutzte Fläche des Landwirts oder die Fläche oder Bevölkerung einer geografischen Region.
Schritt 3 - Identifizieren Sie in einer Gruppe von Nicht-Begünstigten diejenigen Einheiten, die die Bedingungen für die Förderfähigkeit im Rahmen des Programms nicht erfüllen konnten (aufgrund des hohen Einkommens, der Größe, des Standorts usw.) und nehmen Sie sie aus der Analyse heraus.
Schritt 4 - Erhebung von Daten für alle Einheiten in beiden Gruppen (Begünstigte und Nicht-Begünstigte) über ihre wesentlichen Merkmale (Variablen) zu Beginn eines Durchführungszeitraums. Beachten Sie, dass die in die Analyse einbezogenen Variablen sowohl die Auswahl einer Einheit als auch die auf der Mikroebene berechneten Indikatoren (gemeinsame und zusätzliche Wirkungsindikatoren) beeinflussen sollten. Einige der vorgeschlagenen Variablen (die als wichtige Kontrollvariablen verwendet werden) können sein:
- die Höhe der Unterstützung, die eine bestimmte Einheit in früheren Programmplanungszeiträumen erhalten hat; und/oder
- die Höhe der Unterstützung, die eine bestimmte Einheit aus anderen öffentlichen Quellen (z. B. EU-Strukturfonds, Säule I) im analysierten Zeitraum erhalten hat.
Schritt 5 - Anwendung geeigneter Techniken zur Ermittlung einer geeigneten Kontrollgruppe aus der Stichprobe der Nicht-Begünstigten (siehe Schritte 2-3), deren Mitglieder die gleiche Neigung zur Teilnahme an einem Programm haben (einige der Nicht-Begünstigten und/oder Begünstigten werden mangels geeigneter Kontrolleinheiten aus der Analyse ausgeschlossen).
Schritt 6 - Statistische Überprüfung der Ähnlichkeit der beiden Gruppen vor der Unterstützung durch ein Programm (z. B. durch statistische Tests der in die Analyse einbezogenen Kovariaten). Der Durchschnittswert einer Einheit in der begünstigten Gruppe sollte sich nicht signifikant von der entsprechenden Einheit in der Kontrollgruppe unterscheiden. Sobald die Gruppe der Begünstigten und die Kontrollgruppe gebildet worden sind, kann der Nettoeffekt der Förderung in den folgenden Schritten geschätzt werden.
Schritt 7 - Berechnen Sie den Durchschnittswert des/der Ergebnisindikators/en für die Gruppe der Begünstigten und die Kontrollgruppe vor der Unterstützung und zum Zeitpunkt der Bewertung.
Schritt 8 - Berechnung der Differenz des Durchschnittswerts des/der Ergebnisindikators/en für die Gruppe der Begünstigten vor der Unterstützung und zum Zeitpunkt der Bewertung (erste Differenz).
Schritt 9 - Berechnung der Differenz des Durchschnittswerts des/der Ergebnisindikators/en für die Gruppe der Nicht-Begünstigten vor der Unterstützung und zum Zeitpunkt der Bewertung (zweite Differenz).
Schritt 10 - Berechnen Sie den Nettoeffekt der GAP-Unterstützung, indem Sie die zweite Differenz (Schritt 9) von der ersten Differenz (Schritt 8) abziehen.
Schritt 11 - Durchführung einer Sensitivitätsanalyse (z. B. Ansatz von Rosenbaum Bounding), um die möglichen Auswirkungen unbeobachtbarer Faktoren auf die erzielten Ergebnisse zu bewerten.
Schritt 12 - Aggregieren der Ergebnisse und Berechnen der Auswirkungen der GAP-Unterstützung auf die analysierten Wirkungsindikatoren auf Makro- und Programmplanungsbereichsebene. In diesem Schritt sollte der Evaluator die direkten Nettoauswirkungen der GAP-Unterstützung auf die Wirkungsindikatoren auf der Ebene des Programmgebiets durch Anwendung von Extrapolationstechniken berechnen (d. h. durch Multiplikation der auf Mikroebene berechneten durchschnittlichen Mikroergebnisse mit der Anzahl der Begünstigten/Nicht-Begünstigten).

Wichtigste Schlussfolgerungen

PSM-DvD ist sehr wirksam bei der Kontrolle sowohl beobachtbarer als auch unbeobachtbarer Selektionsverzerrungen.
Bei der Methode werden Teilnehmer mit ähnlichen Nicht-Teilnehmern verglichen und dann Veränderungen der Wirkungsindikatoren im Laufe der Zeit gemessen.
Sie ist am effektivsten in Situationen mit umfassenden Daten und erfordert einen Evaluator mit einem starken quantitativen Hintergrund.
PSM-DvD bietet detaillierte Einblicke in die Wirksamkeit und Effizienz von Interventionen.
Der Erfolg von PSM-DvD hängt von der Tiefe der verfügbaren Daten und der für den Abgleich und Vergleich verwendeten Methodik ab.

Aus der Praxis lernen

Caliendo, M., & Kopeinig, S. (2008)
Einige praktische Hinweise für die Anwendung von Propensity Score Matching. Zeitschrift für Wirtschaftserhebungen, 22(1), 31-72

Weiterführende Literatur

Europäisches Evaluierungsnetzwerk für die Entwicklung des ländlichen Raums für die GAP (2014)
Den Erfolg Ihres EPLRs festhalten: Leitlinien für die Ex-post-Evaluierung der EPLR 2007–2013