Lernportal - Methode der Differenzierung

Der Differenz-von-Differenzen-Ansatz (DvD) ist eine quasi-experimentelle Bewertungsmethodik.

Die Technik vergleicht die Veränderungen in den Programmeffekten von Programmteilnehmern vor und nach der Durchführung des Programms mit den entsprechenden Veränderungen bei willkürlich ausgewählten Nicht-Teilnehmern.

Die Grundannahme

Die Hauptannahme, die dieser Technik zugrunde liegt, ist, dass die Veränderungen der Programmwirkungen bei Teilnehmern und Nicht-Teilnehmern sehr ähnlich wären, wenn es das Programm nicht gäbe. Wenn also die von den Nicht-Teilnehmern beobachteten Veränderungen von denen der Teilnehmer abgezogen werden, wird der Teil der Veränderung eliminiert, der auch ohne das Programm eingetreten wäre, und es bleibt der Nettoeffekt des Programms übrig.

Die Schätzung der Programmeffekte erfolgt in zwei Schritten:

1. Berechnung der durchschnittlichen Differenz bei den Ergebnisindikatoren getrennt für Programmteilnehmer und Nicht-Teilnehmer; und
2. Ermittlung der Differenz zwischen den durchschnittlichen Veränderungen der Ergebnisindikatoren für diese beiden Gruppen.

Die Differenz zwischen den Ergebnissen vor und nach dem Programm für die unterstützten Begünstigten (die erste Differenz) kontrolliert Faktoren, die in dieser Gruppe über die Zeit konstant sind. Nach Abzug der zweiten Differenz (in einer Kontrollgruppe) kann die Technik die Hauptquelle der Verzerrung (d. h. die Veränderung, die ohnehin eingetreten wäre) eliminieren, die bei den grundlegenden Vorher-Nachher-Vergleichen vorhanden war. Der DvD-Ansatz kombiniert also zwei „naive“ Techniken, d. h. Vorher-Nachher-Vergleiche von Programmbegünstigten und Vergleiche zwischen Begünstigten und Nicht-Begünstigten, um eine bessere Schätzung der kontrafaktischen Situation zu erhalten.

Bei dieser Methode wird jeder gemeinsame Trend bei den Ergebnissen von Programmteilnehmern und Nicht-Teilnehmern (Stichprobenverzerrung) herausgefiltert, aber die Hauptannahme, die diese Methode rechtfertigt, ist, dass die Stichprobenverzerrung im Laufe der Zeit konstant bleibt (der so genannte feste Effekt). Folglich kann der DvD-Ansatz nicht dazu beitragen, Unterschiede zwischen Programmteilnehmern und Nicht-Teilnehmern zu beseitigen, die sich im Laufe der Zeit verändern.

Nach dem DvD-Ansatz muss eine Gruppe von Programmbegünstigten nicht die gleichen Voraussetzungen vorweisen wie eine Gruppe von Nicht-Begünstigten. Damit der DvD-Ansatz jedoch gültig ist, muss eine Gruppe von Nicht-Begünstigten des Programms die Veränderungen bei den Ergebnissen, die die Programmbegünstigten ohne das Programm erfahren hätten, genau darstellen.

Der DvD-Ansatz kann angewandt werden, wenn die verfügbaren Daten eine Schätzung der Auswirkungen eines Programms auf Programmteilnehmer und Nicht-Teilnehmer vor und nach der Durchführung eines Programms ermöglichen, es aber nicht möglich ist, die beiden Gruppen aufgrund der Ähnlichkeit ihrer Merkmale zu vergleichen.

Der Ansatz kann unter der Voraussetzung angewandt werden, dass ohne ein Programm die Ergebnisse bei Teilnehmern und Nicht-Teilnehmern eines Programms in gleichem Maße steigen oder sinken würden. Eine gute Validitätsprüfung dieser Annahme besteht darin, die Veränderungen der Ergebnisse in beiden Gruppen über einen längeren Zeitraum zu vergleichen, bevor ein Programm durchgeführt wurde. Dies bedeutet jedoch nicht, dass nur einfache aggregierte Durchschnittswerte von Begünstigten und Nichtbegünstigten verglichen werden sollten. Stattdessen sollte ein sorgfältiges Design mit paarweisen Vergleichen und mehreren Vergleichsgruppen, die nach bekannten Faktoren und beobachtbaren Größen unterschieden werden, zusammen mit der DvD-Methode angewandt werden, um Verzerrungen zu verringern.

Insgesamt zeigen die vorliegenden Erkenntnisse, dass die Fähigkeit oder Leistung von Standard-DvD-Schätzern in vielen Bewertungskontexten möglicherweise nicht ausreicht.

Vorbedingungen