Methode zur Folgenabschätzung von Programmen und Projekten (MAPP)
- Bewertung
- Bewertung
- Bewertungsansätze
- Datenmanagement
- Performance Monitoring and Evaluation Framework (Leistungs-, Überwachungs- und Bewertungsrahmen, PMEF)
- Begleitungs- und Bewertungsrahmen
MAPP ist eine partizipative Methode zur Wirkungsbewertung von Programmen und Projekten. Sie kombiniert einen qualitativen Ansatz mit partizipativen Bewertungsinstrumenten und beinhaltet auch einen Quantifizierungsschritt. Als Bewertungsansatz ist sie nützlich, da sie es den von einer Intervention betroffenen Interessenvertretern ermöglicht, deren Auswirkungen anhand einer logischen Struktur zu bewerten.
Page contents
Grundlagen
In Kürze
Was ist MAPP
Eine partizipative Methode zur Wirkungsbewertung von Programmen und Projekten (MAPP) ist eine innovative Methode für Fokusgruppen, die in den letzten Jahren für Bewertungen der ländlichen Entwicklung eingesetzt wurde. Sie hat sich als robuster erwiesen als traditionelle qualitative Methoden. Sie ist besonders nützlich für die Bewertung von Auswirkungen, wenn keine konsistenten Daten für eine quantitative Bewertung vorliegen.
Hauptprinzipien
MAPP orientiert sich an den Grundsätzen und Verfahren der PRA-Methodik (Participatory Rural Appraisal), wie z. B.:
- Triangulation – die Erhebung unterschiedlicher Daten mit verschiedenen Instrumenten, um die Gültigkeit der Daten zu beweisen oder zu erhöhen.
- Optimal Ignorance – die Fähigkeit, relevante Daten auszuwählen und einen Informationsüberfluss zu vermeiden.
- Gemeinsames Lernen – die Ergebnisse einer Bewertung sind das Ergebnis eines Diskussionsprozesses zwischen den relevanten Interessenvertretern.
Wie funktioniert MAPP?
MAPP basiert auf Diskussionen in Fokusgruppen. Die Mitglieder der Gruppen sind in der Regel Landwirte, die von der GAP profitieren, und solche, die nicht davon profitieren. Es können jedoch auch eine Reihe anderer Interessenvertreter teilnehmen, insbesondere solche aus anderen Ebenen (z. B. Programmmanager und Lokale Aktionsgruppen (LAG)). Es umfasst eine Reihe von Instrumenten, die dabei helfen können, Maßnahmen zu ermitteln, die sich auf Indikatoren auswirken, und eine Wirkungsskala zuzuweisen, während gleichzeitig andere Faktoren erklärt werden, die die Indikatoren beeinflussen. Das Konzept von MAPP sieht sechs miteinander verknüpfte und logisch verbundene Schritte vor. Diese sind:
- Lebenskurve: Diese zeigt die allgemeinen Entwicklungstrends in einem Gebiet/einer Region über einen bestimmten Zeitraum hinweg, beginnend vor dem Start eines GAP-Strategieplans (LSP) und endend zum aktuellen Zeitpunkt.
- Trendanalyse: Mit dieser Matrix werden detaillierte Entwicklungstrends über denselben Zeitraum anhand einer Reihe vordefinierter Indikatoren bewertet.
- Gegenprüfung: Praktische Gegenprüfungsinstrumente wie Transektbegehungen entlang von Entwicklungsmaßnahmen innerhalb der Gemeinschaft können an dieser Stelle sehr nützlich sein. Transekte können sehr hilfreiche Informationen über den Umfang, die Relevanz und die Aufrechterhaltung von Maßnahmen liefern.
- Liste der Maßnahmen und Aktivitäten: Alle relevanten Maßnahmen werden aufgelistet und nach ihrer Relevanz geordnet. Darüber hinaus werden die Beiträge des GAP nach Punkten bewertet. Durch die Schätzung des relativen Kosten-Nutzen-Verhältnisses können einige Schlussfolgerungen hinsichtlich der Nachhaltigkeit der Maßnahmen gezogen werden.
- Einflussmatrix: Diese Matrix hilft bei der Bewertung des Einflusses aller Maßnahmen auf jeden Indikator. Anschließend werden die passive und die aktive Summe berechnet. Die aktive Summe zeigt, welche Interventionen sich auf die meisten Indikatoren ausgewirkt haben, während die passive Summe zeigt, welche Indikatoren sich positiv oder negativ entwickelt haben.
- Entwicklungs- und Wirkungsprofil: Dieses Diagramm dient als Interpretationswerkzeug und fasst einige Ergebnisse von MAPP zusammen.
Beispiele für einige dieser Werkzeuge finden Sie im Abschnitt „Aus der Praxis lernen“ weiter unten.
Wie man MAPP zur Bewertung von Nettoeffekten einsetzt
MAPP kann zur Ermittlung der Nettoeffekte von Interventionen verwendet werden. Dies kann durch die Bildung von „Kontrollgruppen“ erfolgen, die mit einer ähnlichen Gruppe von Begünstigten verglichen werden (z. B. in Bezug auf bestimmte Merkmale von „Landwirten“ und/oder „Betrieben“). Die beiden Gruppen werden verglichen, um Veränderungen zu beobachten und zu beurteilen, ob sich die Situation der Begünstigten infolge der Interventionen verbessert hat, wenn alle anderen Faktoren gleich bleiben.
Vor- und Nachteile
Vorteile | Nachteile |
---|---|
|
Im Prinzip ist MAPP ein qualitatives Instrument mit einigen quantitativen Elementen. Obwohl es ein Punktesystem verwendet, können die Ergebnisse nicht für statistische Analysen verwendet werden. MAPP ist eine interaktive Methode und die Ergebnisse hängen stark vom Engagement der Teilnehmer und ihrem Interesse an der Diskussion ab. |
Wann sollte es verwendet werden?
Die Verwendung von MAPP wird empfohlen, um: (1) Nettoveränderungen bei den GAP-Indikatoren zu bewerten, insbesondere bei denjenigen, für die keine quantitativen Daten verfügbar sind; (2) mögliche indirekte Auswirkungen auf Begünstigte und Nicht-Begünstigte in Bezug auf die verschiedenen Indikatoren hervorzuheben und zu bewerten; und (3) die kausalen Zusammenhänge zwischen den relevanten LSP-Interventionen und ihren Auswirkungen zu bewerten.
Voraussetzungen
- Rechtzeitige Vorbereitung einer Fokusgruppe für das MAPP.
- Vertrautheit mit den spezifischen Hilfsmitteln der Methode.
- Sorgfältige Auswahl der Teilnehmer auf der Grundlage der MAPP-Grundsätze.
Schritt für Schritt
Schritt 1 – Auswahl der Regionen
MAPP wird am besten auf lokaler oder regionaler Ebene durchgeführt. Idealerweise sollte das gesamte LSP-Gebiet von Fokusgruppen abgedeckt werden. Wenn es nicht möglich ist, mehrere Fokusgruppen durchzuführen, wird eine begrenzte Anzahl von Regionen auf der Grundlage von Kriterien ausgewählt, die sie für das LSP-Gebiet repräsentativ machen (z. B. Anteil der Ausgaben für Interventionen im Zusammenhang mit den spezifischen Indikatoren, die für das Thema relevant sind).
Schritt 2 – Auswahl der LSP-Interventionen
Dazu müssen die Interventionslogik des LSP und ihre Verbindung zu jedem Indikator, der für das Bewertungsthema relevant ist, überprüft werden. Wenn es bei der Bewertung beispielsweise um Umweltauswirkungen geht, muss die Interventionslogik in Bezug auf Umweltindikatoren überprüft werden.
Schritt 3 – Auswahl der zu bewertenden Indikatoren
Die Indikatoren für MAPP sollten die Leistungsindikatoren des Performance Monitoring and Evaluation. Framework (PMEF) und relevante zusätzliche Indikatoren sein.
Schritt 4 – Auswahl der Teilnehmer
Zu den Teilnehmern sollten Vertreter von Begünstigten und Nicht-Begünstigten der mit jedem Indikator verbundenen Maßnahmen gehören. Zu den Nicht-Begünstigten können relevante Interessenvertreter und Experten gehören, die Informationen liefern können, um allgemeine Trends abzuleiten, die für nicht unterstützte Begünstigte vorherrschen. Sie können auch einen Hinweis auf Mitnahmeeffekte geben. Zum Beispiel:
- Bei umweltbezogenen Indikatoren sollten Sie Bewässerungsbehörden, Stromverbrauchsbehörden, Düngemittelhändler, Agronomen und andere Experten einladen.
- Bei innovationsbezogenen Indikatoren sollten Sie die leitenden Partner der Operationellen Gruppen und andere Partner sowie Berater, Schulungsorganisationen, Innovationsunterstützungsdienste und andere AKIS-Akteure einladen.
Schritt 5 – Auswahl der MAPP-Tools
Wählen Sie aus der oben aufgeführten Reihe von MAPP-Tools aus.
Schritt 6 – Bericht über die MAPP-Ergebnisse
Die Ergebnisse des MAPP sind dreifach: a) eine geschätzte Spanne für die Nettoauswirkungszahl oder den Trend für jeden Indikator über den bewerteten LSP-Zeitraum (z. B. geschätzter Nettoanstieg um x %); b) eine Analyse der Hauptfaktoren, die diese Zahlen oder Trends beeinflussen; und c) Schätzungen der indirekten Auswirkungen auf unterstützte und nicht unterstützte Begünstigte.
Wichtigste Erkenntnisse
- Die MAPP-Methode ist besonders relevant, wenn keine quantitativen Daten zur Bewertung der Auswirkungen und Effekte vorliegen.
- MAPP kann quantitative Analysen ergänzen, indem es eine fundierte Beurteilung der Nettoeffekte und -auswirkungen liefert.
- MAPP bietet einzigartige Einblicke in die Auswirkungen von Interventionen im Vergleich zu anderen Initiativen vor Ort.
- Der Erfolg von MAPP beruht auf der sorgfältigen Auswahl der Teilnehmer und einem guten Verständnis der MAPP-Tools.
- MAPP-Tools sind nicht starr und können an verschiedene Arten von Bewertungen angepasst werden.
Aus Erfahrung lernen
- Europäische Kommission, Generaldirektion Landwirtschaft und ländliche Entwicklung, (2014). Investitionsförderung im Rahmen der Politik zur Entwicklung des ländlichen Raums: Abschlussbericht, Amt für Veröffentlichungen.
- PRÄSENTATION – Bewertung der Ergebnisse des RDP im Rahmen des Schwerpunktbereichs 6B – Anwendung der MAPP-Methode in Estland.
Schulungsmaterial
Beispiele für MAPP-Tools für eine mögliche Anwendung bei der Bewertung von GAP-Strategieplänen:
Tool a) Lebenskurve
Tool b) Trendanalyse
Indikatoren |
Jahr |
Trend | |||||
---|---|---|---|---|---|---|---|
|
2023 |
2024 |
2025 |
2026 |
2027 |
2028 |
2023-2028 |
Neue Arbeitsplätze im Agrarsektor |
|
|
|
|
|
|
|
Neue Arbeitsplätze im nicht-landwirtschaftlichen Sektor |
|
|
|
|
|
|
|
Einkommen der Landwirte |
|
|
|
|
|
|
|
Einkommen aus nichtlandwirtschaftlichen Tätigkeiten |
|
|
|
|
|
|
|
Zugang zu Dienstleistungen |
|
|
|
|
|
|
|
Tourismus |
|
|
|
|
|
|
|
Umweltqualität |
|
|
|
|
|
|
|
Biodiversität |
|
|
|
|
|
|
|
Wasserqualität |
|
|
|
|
|
|
|
Hinweis: Unter „Trend“ vergleichen Sie das Jahr, in dem die Umsetzung der LSP-Intervention(en) begann, mit dem Jahr, in dem sie endete(n).
Tool c) Influence matrix
Indikatoren |
Eingriffe |
||||
---|---|---|---|---|---|
Eingreifen A | Eingreifen B | … | …. | ∑Passiv | |
Neue Arbeitsplätze im Agrarsektor | |||||
Neue Arbeitsplätze im nicht-landwirtschaftlichen Sektor | |||||
Einkommen der Landwirte | |||||
Einkommen aus nichtlandwirtschaftlichen Tätigkeiten | |||||
Zugang zu Dienstleistungen | |||||
Tourismus | |||||
Umweltqualität | |||||
Biodiversität | |||||
Wasserqualität | |||||
∑Aktiv |
Tool d) Wirkungsprofil
Eingreifen |
Profil -- - +/- + ++ |
Bemerkungen | Hauptsächlich beeinflusst von |
---|---|---|---|
Neue Arbeitsplätze im Agrarsektor | О О О О О | ||
Neue Arbeitsplätze im nicht-landwirtschaftlichen Sektor | О О О О О | ||
Einkommen der Landwirte | О О О О О | ||
Einkommen aus nichtlandwirtschaftlichen Tätigkeiten | О О О О О | ||
Zugang zu Dienstleistungen | О О О О О | ||
Tourismus | О О О О О | ||
Umweltqualität | О О О О О | ||
Biodiversität | О О О О О | ||
Wasserqualität | О О О О О | ||
∑Aktiv | О О О О О |
Weiterführende Literatur
Assessing RDP Achievements and Impacts in 2019
Leitlinien: Bewertung des AKIS-Strategieansatzes in GAP-Strategieplänen
- Europäisches Bewertungsnetzwerk für ländliche Entwicklung für die GAP (2014): Erfassung des Erfolgs Ihres RDP: Leitfaden für die Ex-post-Bewertung der RDP 2007–2013.
- Ernährungs- und Landwirtschaftsorganisation der Vereinten Nationen (FAO), (1997). Verwendung einer schnellen oder partizipativen ländlichen Bewertung. In „Verbesserung der landwirtschaftlichen Beratung“: Ein Referenzhandbuch