Learning Portal

Lernportal – Die Most-Significant-Change-Methode

Die Most-Significant-Change-Methode (MSC) ist ein transformativer Ansatz für die Bewertung. Sie erfasst persönliche Geschichten des Wandels auf verschiedenen Ebenen der Governance einer Intervention. Einzigartig sind die hierarchische Auswahl der Geschichten und die aktive Einbeziehung der Interessenvertreter.

Page contents

Hand flipping wooden cube block

Grundlagen

Auf den Punkt gebracht

Geschichtenerzählen als Kernstück

Bei der Most-Significant-Change-Methode (MSC) werden persönliche Berichte über Veränderungen (Geschichten oder Ergebnisse) gesammelt und die bedeutendsten davon durch einen systematischen, hierarchischen Auswahlprozess ermittelt, an dem Interessenvertreter aller mit einer Intervention verbundenen Entscheidungsebenen beteiligt sind. Durch die Einbeziehung von Interessenvertretern auf verschiedenen Verwaltungsebenen ergeben sich auch Hinweise darauf, was auf den einzelnen Ebenen geschätzt wird. Die ausgewählten Geschichten werden dann zusammen mit den Kriterien für ihre Auswahl an alle anderen Ebenen weitergegeben, um ein gemeinsames Verständnis der positivsten oder negativsten Ergebnisse einer Intervention zu schaffen.

Kombinierbar mit anderen Methoden

Bei der MSC-Methode geht es nicht nur darum, Beweise für die üblichen Erfahrungen zu liefern. Es geht darum, Extreme aufzudecken und die Verbesserung der zu bewertenden Intervention zu erleichtern. Sie kann Organisationen dabei helfen, ihre Arbeit auf explizit geschätzte Richtungen auszurichten und von weniger geschätzten Richtungen abzulenken. Darüber hinaus bietet sie eine Fülle von Mini-Fallstudien zur Unterstützung und Veranschaulichung von Argumenten darüber, wie Veränderungen zustande kommen (z. B. wie Landwirte ihre Praktiken ändern oder wie eine Zusammenarbeit zustande kommt) und wann sie stattfinden (z. B. nach einer AKIS-Intervention, als Folge davon oder als Folge einer kontextuellen Veränderung).

Vor- und Nachteile

Vorteile

Nachteile
  • Ermöglicht die Verbesserung der Interventionen und die Gewinnung von Erkenntnissen darüber, was funktioniert und für wen.
  • Identifiziert unerwartete Ergebnisse.
  • Erfordert keine besonderen Fachkenntnisse.
  • Baut die Fähigkeit der Interessenvertreter auf, Daten und Auswirkungen zu analysieren.
  • Unterstützt Bottom-up-Initiativen, die nicht über vordefinierte Ergebnisse verfügen, anhand derer sie bewertet werden können.
  • Zeitaufwendig, da mehrere Zyklen erforderlich sind.
  • Weniger geeignet für die Erfassung von erwarteten Veränderungen.
  • Nicht ideal für retrospektive Bewertungen.

Wann wird sie eingesetzt?

Die MSC-Methode kann in Fällen eingesetzt werden, in denen herkömmliche Überwachungs- und Bewertungsinstrumente nicht genügend Daten liefern, um die Auswirkungen des Programms zu erfassen und das Lernen zu fördern. Dazu können Interventionen gehören, die:

  • komplex und vielfältig sind und sich durch abzeichnende Ergebnisse hervorbringen;
  • groß sind und zahlreiche organisatorische Ebenen aufweisen;
  • auf sozialen Wandel ausgerichtet sind;
  • mit wiederholten Kontakten zwischen der/den durchführenden Einrichtung/en und den Begünstigten konzipiert sind;
  • die mit konventionellen Überwachungssystemen zu kämpfen haben;
  • hochgradig maßgeschneiderte Dienstleistungen für die Begünstigten (z. B. landwirtschaftliche Beratungsdienste).

Vorbedingungen

  • Engagement der verschiedenen am Prozess beteiligten Gruppen und Aufrechterhaltung ihres Interesses.
  • Gute Moderationsfähigkeiten und die Fähigkeit, Prioritäten zu erkennen.
  • Zeitliche Verfügbarkeit (für die Analyse von Geschichten und den Austausch mit Mitwirkenden und Interessenvertretern, der in mehreren Zyklen wiederholt wird).
  • Evaluatoren mit Erfahrung in der Anwendung von MSC.

Im Rahmen der GAP kann diese Methode in Verbindung mit anderen qualitativen und quantitativen Methoden für die Bewertung der folgenden Interventionskategorien eingesetzt werden:

  • Zusammenarbeit, einschließlich LEADER.
  • Wissensaustausch und Verbreitung von Informationen.

Sie kann auch verwendet werden, um die Ergebnisse der quantitativen Analyse der meisten anderen Interventionskategorien zu triangulieren und um unbeabsichtigte Ergebnisse zu ermitteln.

Schließlich kann sie auch bei der Vorbereitung von GAP-Bewertungen eingesetzt werden. So können beispielsweise die Kriterien, die von den verschiedenen Ebenen für die Auswahl der MSC-Geschichten verwendet wurden, bei der Formulierung der Erfolgsfaktoren berücksichtigt werden.

Schritt-für-Schritt

  • Schritt 1 - Vorstellung des MSC bei einer Reihe von Interessenvertretern und Förderung des Interesses und der Bereitschaft zur Teilnahme.
  • Schritt 2 - Identifizierung der zu überwachenden Veränderungsbereiche. Dies beinhaltet, dass ausgewählte Interessenvertreter weit gefasste Bereiche identifizieren, wie z. B. Veränderungen in der Lebensqualität der Menschen, die nicht genau definiert sind, wie Leistungsindikatoren, die absichtlich offen gelassen werden, um später von den tatsächlichen Nutznießern definiert zu werden.
  • Schritt 3 - Entscheidung darüber, wie häufig Veränderungen in diesen Bereichen überwacht werden sollen.
  • Schritt 4 - Sammeln von Berichten über signifikante Veränderungen von denjenigen, die am unmittelbarsten beteiligt sind, z. B. von Teilnehmern und Durchführungspersonal. Die Geschichten werden mit einer einfachen Frage gesammelt, z. B.: Was war Ihrer Meinung nach im letzten Monat die wichtigste Veränderung, die für die Teilnehmer des Programms stattgefunden hat? Es ist den Befragten zunächst freigestellt, ihre Berichte einer Kategorie zuzuordnen. Darüber hinaus werden die Befragten aufgefordert, zu berichten, warum sie eine bestimmte Veränderung für die bedeutendste halten.
  • Schritt 5 - Auswahl der wichtigsten Veränderungen durch Analyse und Filterung auf den verschiedenen Ebenen der Governance, die typischerweise bei einer Intervention zu finden sind. Jede Ebene prüft eine Reihe von Berichten, die ihr von der darunter liegenden Ebene zugesandt wurden, und wählt den bedeutendsten Bericht über eine Veränderung in jedem der Bereiche aus. Jede Gruppe schickt dann die ausgewählten Berichte an die nächste Ebene der Programmhierarchie weiter, und die Anzahl der Berichte wird in einem systematischen und transparenten Prozess reduziert. Die Kriterien für die Auswahl der Beiträge werden bei jeder Auswahl aufgezeichnet.
  • Schritt 6 - Rückmeldung der ausgewählten Beiträge und der Auswahlkriterien an alle interessierten Interessenvertreter, so dass das Feedback aus früheren Runden in jede weitere Runde der Beitragssammlung und -auswahl einfließt. Der Umsetzungsmechanismus erfasst effektiv die Richtung seiner Aufmerksamkeit und passt sie an - und die Kriterien, die er zur Bewertung der Ereignisse verwendet, die er dort sieht. Nachdem dieser Prozess eine Zeit lang angewandt wurde, z. B. ein Jahr lang, kann die Verwaltungsbehörde ein Dokument mit allen Geschichten erstellen, die am besten die Ergebnisse darstellen, die am meisten zu den Zielen der Intervention beitragen. Den Berichten werden die Gründe für die Auswahl der Berichte beigefügt. Diese Informationen werden an alle beteiligten Interessenvertreter weitergeleitet.
  • Schritt 7 - Überprüfung der ausgewählten Geschichten durch den Besuch der Orte, an denen die beschriebenen Ereignisse stattgefunden haben. Damit wird ein zweifacher Zweck verfolgt: Es soll überprüft werden, ob die Berichte korrekt und ehrlich wiedergegeben wurden, und es soll die Möglichkeit geboten werden, detailliertere Informationen über Ereignisse zu sammeln, die als besonders bedeutsam angesehen werden. Wenn der Besuch einige Zeit nach dem Ereignis stattfindet, bietet er auch die Möglichkeit zu sehen, was seit der ersten Dokumentation des Ereignisses geschehen ist.
  • Schritt 8 - Quantifizierung der Ergebnisse. Bei der ersten Beschreibung einer Veränderung ist es möglich, quantitative und qualitative Informationen einzubeziehen. Es ist auch möglich, zu quantifizieren, inwieweit die an einem Ort festgestellten wichtigsten Veränderungen innerhalb eines bestimmten Zeitraums auch an anderen Orten stattgefunden haben.
  • Schritt 9 - Führen Sie eine Sekundäranalyse durch, indem Sie untersuchen, wer teilgenommen hat, wie diese Personen das Inhaltsverzeichnis beeinflusst haben und wie häufig verschiedene Arten von Veränderungen gemeldet wurden.
  • Schritt 10 - Überarbeitung des Designs des MSC-Prozesses unter Berücksichtigung der Erkenntnisse, die sich aus der Anwendung und der Analyse seiner Nutzung ergeben haben.

Wichtigste Punkte zum Mitnehmen

  • Die Interessenvertreter sind zentral in die MSC-Methode eingebunden und bringen unterschiedliche Perspektiven in die Bewertung ein.
  • MSC konzentriert sich eher auf signifikante, oft unerwartete Ergebnisse als auf typische Erfahrungen.
  • Anders als bei konventionellen Methoden werden bei der MSC-Methode die Extreme erfasst, um die Interventionen zu informieren und zu steuern.
  • Sie ist ideal für komplexe Szenarien, Initiativen zum sozialen Wandel und Situationen, die eine maßgeschneiderte Überwachung erfordern.
  • Der MSC-Prozess ist eine systematische Reise von der Sammlung von Geschichten bis zur Analyse, dem Feedback und der Verbesserung.

Aus der Praxis lernen

Weiterführende Literatur

Publikation - Häufig gestellte Fragen |

Leitlinien: Bewertung des AKIS-Strategieansatzes in GAP-Strategieplänen