Learning Portal

Qualitative Ansätze: Outcome-Mapping

Das Outcome-Mapping ist ein qualitatives Instrument, das Verhaltensänderungen, Beziehungen und Aktivitäten innerhalb eines Programms hervorhebt, die für einen sozialen Wandel erforderlich sind. Es verwendet einen umfassenden Rahmen für die Überwachung der Ergebnisse und berücksichtigt unerwartete Veränderungen, um die Beiträge eines Programms zu bewerten.

Page contents

Grundlagen

Kurz und bündig

Der Ansatz des Outcome-Mapping (OM) ist ein Instrument zur Planung, Überwachung und Bewertung von Projekten oder Programmen, die auf sozialen Wandel und Kapazitätsentwicklung abzielen. Er legt den Schwerpunkt auf Veränderungen im Verhalten, in den Beziehungen, Aktionen und Aktivitäten von Einzelpersonen, Gruppen oder Organisationen, die direkt an einem Programm beteiligt sind. Dieser Ansatz stellt den Menschen und das Lernen während des Entwicklungsprozesses in den Mittelpunkt und begreift unerwartete Veränderungen als potenzielle Innovationen. OM steht im Einklang mit dem Ansatz der Theorie des Wandels und bietet einen Rahmen für die Erfassung von Daten über die Ergebnisse (aktuelle kritische Veränderungen, die zu längerfristigen, transformativen Veränderungen führen), die durch den Kapazitätsaufbau für landwirtschaftliche Innovationen initiiert wurden. Sie ermöglicht eine glaubwürdige Bewertung des Beitrags einer Intervention zu den Ergebnissen. OM hilft einem Projekt oder Programm dabei, seine Auswirkungen auf die Entwicklung von Veränderungen bei den beteiligten Partnern zu verstehen. Der Fortschritt in Richtung einer funktionalen Kapazitätsentwicklung wird anhand von Fortschrittsmarkern (Indikatoren für den Wandel) gemessen.

Zweck des OM:

Identifizierung und Beeinflussung der Verhaltensänderungen von Grenzpartnern (Schlüsselakteure/Beteiligte), die zur Verwirklichung der Vision eines Programms beitragen (die langfristigen, allgemeinen Entwicklungsveränderungen, die ein Programm zu unterstützen sucht).
Förderung der Reflexion und des Lernens unter den Interessenvertretern und Ermöglichung, Strategien anzupassen und die Wirksamkeit eines Programms zu verbessern.
Eignet sich gut für komplexe, dynamische Umgebungen, in denen Veränderungen nichtlinear sind und von verschiedenen Faktoren beeinflusst werden.

Kernkomponenten von OM sind:

Intentionale Gestaltung: Dazu gehören die Definition der Vision, die Identifizierung von Grenzpartnern (die Personen, Gruppen oder Organisationen, mit denen das Programm direkt interagiert), die Festlegung von Zielvorgaben (die gewünschten Veränderungen im Verhalten und in den Beziehungen) und die Entwicklung von Fortschrittsmarkern.
Ergebnis- und Leistungsüberwachung: Dazu gehört die kontinuierliche Überwachung von Fortschrittsmarkern, Strategiekarten und organisatorischen Praktiken, um Strategien zu verfolgen und anzupassen, die die erwarteten Veränderungen fördern. Zu diesem Zweck werden die folgenden Datenerfassungsinstrumente eingesetzt: (1) Strategiejournal: Ein Instrument zur Verfolgung der Strategien, die zur Förderung von Veränderungen bei Grenzpartnern eingesetzt werden. Es zeichnet zugewiesene Ressourcen, durchgeführte Aktivitäten und deren Ergebnisse auf und macht gleichzeitig Verbesserungsvorschläge. (2) Leistungsjournal: Ein Instrument zur Überwachung der internen Praktiken der Organisation. Es dokumentiert die Effektivität der Arbeitsabläufe der Organisation und liefert Erkenntnisse für Anpassungen; und (3) Ergebnisjournal: Ein Instrument zur Sammlung von Daten zu Fortschrittsmarkern. Es hilft dabei, den Grad der erreichten Veränderung zu bewerten und die Faktoren zu ermitteln, die zu diesen Veränderungen beitragen.
Planung der Bewertung: Dazu gehört die Entwicklung eines Plans zur Bewertung der Wirksamkeit und der Auswirkungen des Programms, der Feedback für eine kontinuierliche Verbesserung liefert.

OM wurde in verschiedenen Projekten angewandt, wie z. B. im Projekt Capacity Development for Agricultural Innovation Systems (CDAIS), das von der EU finanziert und von Agrinatura und der FAO in Zusammenarbeit mit nationalen Partnern durchgeführt wurde. Dieser Ansatz hilft bei der Überwachung und Bewertung des Fortschritts von Maßnahmen zum Kapazitätsaufbau, die auf die Förderung von Innovationen in der Landwirtschaft abzielen.

Vor- und Nachteile

Vorteile	Nachteile
Betont die Verhaltensänderungen, die zur Erreichung langfristiger Entwicklungsziele erforderlich sind, was es besonders effektiv für Projekte zum Kapazitätsaufbau und sozialen Wandel macht. Akzeptiert unvorhergesehene Veränderungen und passt sich diesen an, was Innovation und kontinuierliches Lernen fördert. Der partizipatorische Charakter des OM bezieht die Interessenvertreter in den Planungs-, Überwachungs- und Bewertungsprozess ein und stärkt so die Eigenverantwortung und Rechenschaftspflicht. Bietet einen umfassenden Rahmen für die Überwachung nicht nur der Ergebnisse, sondern auch der Prozesse und Strategien, die zu diesen Ergebnissen führen. Die Verwendung von Fortschrittsmarkern ermöglicht die Verfolgung schrittweiser Veränderungen und erleichtert die Überwachung und Anpassung von Strategien bei Bedarf.	Die Methodik kann komplex in der Umsetzung sein, insbesondere bei Großprojekten mit vielen Grenzpartnern (Akteuren/Teilnehmern) und Ergebnisproblemen. Interessenvertreter können sich anfangs gegen den partizipativen und wiederholenden Charakter des OM sträuben, insbesondere wenn sie an traditionellere, lineare Ansätze der Bewertung gewöhnt sind. Die Verwaltung und Analyse der in verschiedenen Zeitschriften gesammelten Daten kann eine Herausforderung darstellen und erfordert robuste Datenverwaltungssysteme. Die Umsetzung von OM kann zeitaufwändig sein und erfordert erhebliche personelle und finanzielle Ressourcen für die kontinuierliche Überwachung und Moderation.

Wann anwenden?

Im Zusammenhang mit der Bewertung des GAP-Strategieplans ist das OM nützlich für die Bewertung von Programmen, die auf der Grundlage der Theorie des Wandels entwickelt wurden, wobei der Schwerpunkt auf Verhaltensänderungen und Kapazitätsentwicklung liegt. Dieser Ansatz eignet sich für die Überwachung und Bewertung komplexer Programme, an denen mehrere Interessenvertreter und dynamische Umgebungen beteiligt sind, wie z. B. landwirtschaftliche Wissens- und Innovationssysteme (AKIS) und Lokale Entwicklungsstrategien (LDS/LEADER).

OM kann verwendet werden, um die Auswirkungen von GAP-Interventionen auf Querschnittsthemen wie Nachhaltigkeit, Innovation und Soziale Eingliederung zu bewerten. Es verfolgt Verhaltensänderungen und Kapazitätsentwicklung bei Interessenvertretern und eignet sich daher gut für die Bewertung von Maßnahmen, die auf die Verbesserung der Fähigkeiten und Kenntnisse von Landwirten, Genossenschaften, landwirtschaftlichen Beratern und anderen Interessenvertretern abzielen. So kann OM beispielsweise bewerten, wie eine höhere Zahl von Landwirten, die an Schulungsprogrammen teilnehmen, zu Veränderungen in der landwirtschaftlichen Praxis führt.

Dieser Ansatz eignet sich für Programme zur Förderung von Innovation und Nachhaltigkeit in der Landwirtschaft, da er beobachtet, wie Veränderungen im Verhalten der Interessenvertreter zu nachhaltigen Praktiken und innovativen Lösungen beitragen. OM fördert eine Kultur der kontinuierlichen Verbesserung und Innovation, indem es unvorhergesehene Veränderungen akzeptiert und Interessenvertreter ermutigt, ihre Strategien zu überdenken und neu anzupassen.

OM eignet sich auch für die Überwachung von Initiativen, an denen mehrere Interessenvertreter beteiligt sind, wie z. B. Projekte zur Entwicklung des ländlichen Raums, an denen der Privatsektor, NROs, Gemeindegruppen und der öffentliche Sektor (LEADER) beteiligt sind. Es stellt sicher, dass alle Interessenvertreter auf gemeinsame Ziele hinarbeiten und ihre Strategien auf der Grundlage kontinuierlicher Rückmeldungen anpassen. OM erleichtert die gemeinschaftliche Planung und Überwachung und richtet die Interessenvertreter auf gemeinsame Ziele aus.

In einem Umfeld, in dem Veränderungen nicht linear verlaufen und von verschiedenen internen und externen Faktoren beeinflusst werden, unterstützt OM das adaptive Management und die kontinuierliche Verbesserung von Strategien. Der partizipatorische Ansatz bindet die Interessenvertreter in den Überwachungs- und Bewertungsprozess ein und stärkt ihr Engagement und ihre Eigenverantwortung für die Ergebnisse eines Programms.

Vorbedingungen

Zu den Voraussetzungen für die Anwendung von OM gehören:

Eine klar definierte Vision der langfristigen Entwicklungsveränderungen, die mit einem Programm erreicht werden sollen. Ein kooperatives Umfeld, in dem die Interessenvertreter bereit sind, auf gemeinsame Ziele hinzuarbeiten, ist erforderlich.
Eine aktive Beteiligung und ein starkes Engagement aller Interessenvertreter im OM-Prozess sind unerlässlich. Die kontinuierliche Überwachung von Fortschrittsmarkern, Strategien und organisatorischen Praktiken, unterstützt durch etablierte Feedback-Mechanismen für adaptives Management und Verbesserung, ist von entscheidender Bedeutung.
Die Bereitschaft, aus dem Prozess zu lernen und die Strategien auf der Grundlage der Ergebnisse anzupassen.
Kompetente Evaluatoren mit Erfahrung in der Anwendung von OM sollten zur Verfügung stehen, um den Prozess zu leiten und eine effektive Beteiligung zu gewährleisten. Die Schulung und Unterstützung der Interessenvertreter ist entscheidend für das Verständnis und die Anwendung der OM-Konzepte und -Instrumente.
Es müssen angemessene zeitliche und finanzielle Ressourcen zur Verfügung stehen, um den wiederholenden und partizipativen Charakter der OM zu unterstützen. Es sollten Ressourcen für die Verwaltung und Analyse der durch verschiedene OM-Instrumente gesammelten Daten vorhanden sein.

Schritt-für-Schritt

Die Methodik für OM umfasst drei Hauptschritte, die mit spezifischeren Maßnahmen weiter detailliert werden:

Schritt 1 - Intentionale Gestaltung

Definition der Vision, Identifizierung von Grenzpartnern, Festlegung von Herausforderungen für die Ergebnisse und Entwicklung von Fortschrittsmarkern.

Definieren Sie die Vision (WARUM): Bringen Sie die langfristigen Entwicklungsveränderungen, die das Programm erreichen soll, klar zum Ausdruck.

Identifizierung der Grenzpartner (WER): Definieren Sie die Personen, Gruppen oder Organisationen, mit denen das Programm direkt interagiert und die es zu beeinflussen hofft. Die Bestimmung der Grenzpartner ist von entscheidender Bedeutung, da sie die Bemühungen des Programms auf bestimmte Gruppen konzentriert, deren Verhalten das Programm ändern will.

Legen Sie die Zielvorgaben fest (WAS): Beschreiben Sie die gewünschten Veränderungen im Verhalten, in den Beziehungen, Aktivitäten oder Handlungen der Grenzpartner. Dies sind die Veränderungen im Verhalten, in den Beziehungen, Aktivitäten oder Handlungen, die das Programm bei seinen Grenzpartnern erreichen will. Sie beschreiben den idealen Zustand, den die Grenzpartner erreichen sollten, um wirksam zur Vision des Programms beizutragen.

Entwickeln Sie Fortschrittsmarker (WIE): Erstellen Sie spezifische Indikatoren, die das Fortschreiten der Veränderungen bei den Grenzpartnern beschreiben. Sie werden in drei Stufen eingeteilt: „expect-to-see“ (unmittelbare Reaktionen), „like-to-see“ (zwischenzeitliche Veränderungen) und „love-to-see“ (langfristige Ergebnisse). Die Fortschrittsmarker sind dynamisch und können mit der Entwicklung des Programms angepasst werden.

Erstellen Sie eine Strategiekarte für jede Ergebnisherausforderung (WIE): Nachdem Sie geklärt haben, welche Veränderungen das Programm bewirken soll, wählen Sie Aktivitäten aus, die die Erfolgswahrscheinlichkeit maximieren.

Artikulieren Sie organisatorische Praktiken (WIE): Organisatorische Praktiken geben Aufschluss über das Leistungspotenzial einer Organisation. Die Konzentration auf Daten zu organisatorischen Praktiken ermöglicht es, über interne Prozesse und mögliche unbeabsichtigte Ergebnisse nachzudenken.

Schritt 2 - Ergebnis- und Leistungsüberwachung

Die Überwachung der Prioritäten bietet einen Prozess zur Festlegung der zu überwachenden Projektbereiche. Zu diesem Zweck werden die folgenden Datenerfassungsinstrumente verwendet:

Strategiejournal: Verfolgen Sie die umgesetzten Strategien zur Förderung von Veränderungen bei den Grenzpartnern. Aufzeichnung der zugewiesenen Ressourcen, der durchgeführten Aktivitäten und ihrer Ergebnisse.
Leistungsjournal: Überwachen Sie die internen Praktiken der Organisation, dokumentieren Sie die Wirksamkeit der Maßnahmen und gewinnen Sie Erkenntnisse für Anpassungen.
Ergebnisjournal: Sammeln Sie Daten zu Fortschrittsmarkern, bewerten Sie den Grad der erreichten Veränderung und ermitteln Sie die dazu beitragenden Faktoren.

Schritt 3 - Planung der Bewertung

Entwickeln Sie einen Plan zur Bewertung, um die Auswirkungen des Programms systematisch zu bewerten und Feedback für eine kontinuierliche Verbesserung zu geben. Skizzieren Sie die Schlüsselelemente des Bewertungsprozesses, einschließlich der Frage, wer die Bewertung nutzen wird, wie und wann sie durchgeführt werden soll, Informationsquellen, Methoden, Kosten und Zeitplan.

Weitere Schritte, um den Zyklus von Planung, Überwachung und Bewertung zu schließen, können die folgenden Maßnahmen umfassen:

Verfeinerung der Strategie

Einbindung der Interessenvertreter in Reflexions- und Lernprozesse zur Anpassung der Strategien auf der Grundlage von Rückmeldungen.
Nutzen Sie die Erkenntnisse aus der Überwachung und Bewertung, um notwendige Anpassungen an den Strategien und Aktivitäten des Programms vorzunehmen.

Berichterstattung und Kommunikation

Teilen Sie die Ergebnisse der Bewertung mit den Interessenvertretern und heben Sie die Verhaltensänderungen und die erzielten Fortschritte hervor.
Einrichtung einer Feedbackschleife, um eine kontinuierliche Verbesserung und Anpassung auf der Grundlage der Ergebnisse der Bewertung zu gewährleisten.

Wichtigste Punkte zum Mitnehmen

Das OM betont die Verhaltensänderungen, die zur Erreichung langfristiger Entwicklungsziele erforderlich sind.
Das OM ist anpassungsfähig an unvorhergesehene Veränderungen und fördert Innovation und kontinuierliches Lernen.
Der partizipatorische Charakter des OM stärkt die Eigenverantwortung und Rechenschaftspflicht der Interessenvertreter.
Das OM bietet einen umfassenden Rahmen für die Überwachung der Ergebnisse und der Prozesse, die zu diesen Ergebnissen führen.
Die Verwendung von Fortschrittsmarkern ermöglicht es, schrittweise Veränderungen zu verfolgen und Strategien bei Bedarf anzupassen.
Die Umsetzung von OM erfordert viel Zeit und Ressourcen für die kontinuierliche Überwachung und Förderung.
Die Methodik kann komplex und subjektiv sein und erfordert ein solides Datenmanagement und Fähigkeiten zur Moderation.

Aus Erfahrungen lernen

Outcome-Mapping wurde vom Capacity Development for Agricultural Innovation SystemsOpen link in new window Project (CDAIS), Agrinatura und der FAO in Zusammenarbeit mit nationalen Partnern in mehreren Interventionen zur Entwicklung von Innovationskapazitäten eingesetzt, die darauf abzielten, die funktionalen Kapazitäten von Akteuren zur Beteiligung an Innovationsprozessen zu stärken.
Ernährungs- und Landwirtschaftsorganisation der Vereinten Nationen (FAO) (2018)Open link in new window Agrinatura, ‚Outcome mapping factsheet‘

Weiterführende Literatur

Doutwaite, B., Paz-Ybarnegaray R., IFSA, (2016)Open link in new window Outcome Evidencing: A Rapid and Complexity-Aware Evaluation Method, IFSA 2016 proceedings, WS 1.2 Monitoring and evaluation for learning and innovation
IDRC (2001)Open link in new window Outcome Mapping: Building Learning and Reflection into Development Programs. Internationales Zentrum für Entwicklungsforschung
Smutylo, T., (2005)Open link in new window Outcome Mapping: A Method for Tracking Behavioural Changes in Development Programs. ILAC Kurzbericht 7
Earl, S., Carden, F., & Smutylo, T., (2001)Open link in new window Outcome Mapping: The Challenges of Assessing Development Impacts. Internationales Forschungszentrum für Entwicklung.