Lernportal - Naive Gruppenvergleiche

Eine pragmatische Alternative

Naive Gruppenvergleiche, unterstützt durch qualitative Methoden, werden als Alternative für die Bewertung von Auswirkungen vorgeschlagen. Sie können als „schnelle Lösung“ dienen, wenn weder Zeit für eine richtige Erhebung noch für vorhandene Überwachungsdaten vorhanden ist, die für eine kontrafaktische Fallkonstellation oder eine Schätzung der Nettoeffekte eines Programms mit Hilfe einer soliden statistischen Methode verwendet werden könnten.

Bei dieser Bewertungstechnik werden die erforderlichen Daten über die Durchschnittswerte der Ergebnisindikatoren für Einheiten, die nicht an einem Programm teilnehmen, in der Regel aus verschiedenen nationalen Erhebungen oder aggregierten nationalen Daten gewonnen. Der Ansatz beruht auf der Annahme, dass der Wert des Ergebnisindikators der Programmteilnehmer ohne das Programm dem Durchschnittswert einer gemeinsamen Gruppe von Programmteilnehmern und Nicht-Teilnehmern entsprechen würde. Dies wäre jedoch nur dann vertretbar, wenn die Leistung einer Gruppe von Programmteilnehmern (gemessen an einem beliebigen Wirkungsindikator, z. B. Einkommen, Gewinn oder Beschäftigung) mit der Leistung einer gemeinsamen Gruppe von Programmteilnehmern und Nicht-Teilnehmern (Bevölkerungsdurchschnitt) identisch wäre.

Schnell und einfach, aber mit Vorsicht zu genießen

Naive Schätzungen: Bei diesem Ansatz werden die Vergleichsgruppen meist willkürlich ausgewählt, was zu quantitativen Ergebnissen führt, die statistisch verzerrt sind. Evaluatoren verwenden manchmal diesen weniger aussagekräftigen Ansatz, der weniger genaue Erkenntnisse über die direkten und indirekten Auswirkungen eines bestimmten Programms ermöglicht, wenn sie nicht über ausreichende Daten und Kontrollgruppen verfügen. Eine naive Schätzung bedeutet die Anwendung von Methoden, die auf unzureichenden Belegen oder Ad-hoc-Erhebungen bei einer Gruppe von Begünstigten, Meinungen von Verwaltungsbeamten usw. beruhen. Diese Techniken sind in der Regel nicht geeignet, um die Fragen angemessen zu behandeln, die in jedem quantitativen Bewertungsrahmen als entscheidend gelten.

Naive Vergleichstechniken können eingesetzt werden, wenn nur wenige Einheiten an einem Programm teilnehmen und daher keine Auswirkungen zu erwarten sind. Diese Technik kann auch angewandt werden, wenn weder Daten über beobachtbare Variablen oder Instrumente zur Erklärung der Programmteilnahme und -ergebnisse noch geeignete Strukturmodelle oder andere Modellierungsansätze vorliegen.

Bei der Interpretation von Berechnungen, die auf dieser vereinfachten Technik beruhen, sind Einschränkungen zu beachten, insbesondere hinsichtlich des Ausmaßes einer möglichen Selektionsverzerrung.

Die Technik kann angewandt werden, um die Auswirkungen der GAP-Unterstützung auf die Entwicklung der Werte der in der folgenden Tabelle aufgeführten Wirkungsindikatoren zu bewerten.

Schritt 1 - Berechnen Sie den Durchschnitt der Veränderung der Ergebnisindikatoren für die an einem Programm teilnehmenden Einheiten.

Schritt 2 - Erstellen Sie die „kontrafaktische Situation“, d. h. den entsprechenden Durchschnitt des NUTS-2-Gebiets oder eines anderen größeren Gebiets, in dem sich die teilnehmenden Einheiten befinden.

Schritt 3 - Schätzung eines „Netto“-Effekts durch Vergleich des Durchschnitts der Teilnehmer (Schritt 1) mit der kontrafaktischen Fallkonstellation (Schritt 2).

Schritt 4 - Anwendung der naiven Differenz-von-Differenzen-Methode (DvD), wenn der Evaluator anhand der Überwachungsdaten die Durchschnittswerte der Ergebnisindikatoren vor und nach der Durchführung eines Programms berechnen kann.