Learning Portal

Bewertung ergebnisorientierter Maßnahmen

Entdecken Sie, wie die Bewertung die Konzeption ergebnisorientierter Interventionen (RBIs) unterstützen, deren Fortschritte während der Umsetzung bewerten und deren Gesamteffekte und Beitrag zu den entsprechenden Zielen nach deren Abschluss bewerten kann. Durch die Fokussierung auf tatsächlich erzielte Ergebnisse bieten RBIs das Potenzial für eine präzisere Bewertung der Wirksamkeit von Politikmaßnahmen.

Aerial view of a regenerative farm featuring diverse crop rotation patterns

Grundlagen

Kurz gesagt

Ergebnisorientierte Maßnahmen (RBI) im Rahmen der Gemeinsamen Agrarpolitik (GAP) sind solche, bei denen Begünstigte eine Zahlung – oder zumindest einen Teil davon – erhalten, die direkt an die Erreichung definierter und überprüfbarer Ergebnisse geknüpft ist und davon abhängt.

Diese Definition hängt davon ab, wie Ergebnisse definiert werden. Ergebnisse sind messbare Parameter, die in direktem Zusammenhang mit dem Ziel stehen, zu dem die Maßnahme beitragen soll (z. B. für die Biodiversität die Anzahl der Arten in einer geförderten Grünfläche). Sie können aber auch Messungen umfassen, die eine Verringerung von Belastungen oder Gefahren für die Umwelt widerspiegeln (z. B. Messung der Verringerung des Pestizideinsatzes anstelle der Konzentration von Wirkstoffen in Gewässern). Diese Ergebnisse können durch Vor-Ort-Überwachung überprüft oder, wenn eine Vor-Ort-Überwachung nicht möglich ist, anhand solider wissenschaftlicher Modellierungsansätze prognostiziert werden. Bei Modellierungsansätzen kann ein unabhängiger Prüfer erforderlich sein, um die Ergebnisse zu einem geeigneten Zeitpunkt zu überprüfen, damit sie besser als RBI qualifiziert werden können.

Zu den Hauptmerkmalen von RBI gehören

  • Die Begünstigten (z. B. Landwirte oder andere Landbewirtschafter) müssen die Flexibilität haben, die für die Erreichung des Ergebnisses am besten geeignete Bewirtschaftungsform zu wählen.
  • RBIs können eine einheitliche Zahlung für das Erreichen einer Ergebnisschwelle vorsehen oder differenzierte Zahlungen beinhalten, die unterschiedliche Mengen und/oder Qualitäten der erzielten Ergebnisse widerspiegeln. Bei Modellierungsansätzen kann die Zahlung so strukturiert werden, dass während der Durchführung kleinere Zahlungen auf der Grundlage der modellierten Ergebnisse geleistet werden. Im Gegensatz dazu erfolgt eine Ballonzahlung nach Überprüfung der tatsächlichen Ergebnisse durch einen unabhängigen Prüfer.
  • Ergebnisorientierte GAP-Interventionen können je nach Art und Niveau der Interventionsziele von einzelnen Begünstigten oder einer Gruppe von Begünstigten (z. B. landwirtschaftliche Genossenschaften) durchgeführt werden und Leitlinien für Bewirtschaftungsmethoden mit einem höheren Potenzial zur Erreichung der gewünschten Ergebnisse umfassen.
  • Interventionen, die Zahlungen an a) die unmittelbaren Ergebnisse von Maßnahmen (z. B. ist das Vorhandensein einer Hecke das direkte Ergebnis der Anpflanzung oder Pflege einer Hecke) oder b) lediglich an die Änderungen der landwirtschaftlichen Praktiken und nicht an deren Ergebnisse knüpfen, sollten nicht als ergebnisorientiert betrachtet werden.

Bezug zur GAP

Biodiversität ist das häufigste Ziel, zu dem RBIs beitragen. Eine wirksame Überwachung der Biodiversität erfordert oft eine Kombination von Indikatoren, darunter sowohl biotische (z. B. Artenvorkommen) als auch nicht-biotische (z. B. Lebensraumstruktur) Messgrößen.

Nur wenige RBIs befassen sich mit der Wasser- und Bodenqualität. Sie verwenden Indikatoren, die meist mit der Verringerung von Belastungen und Bedrohungen dieser natürlichen Ressourcen zusammenhängen, um Herausforderungen im Zusammenhang mit der zeitlichen Verzögerung bei der Messung der tatsächlichen Auswirkungen, beispielsweise in Bezug auf die Stickstoffbilanz, zu bewältigen. Innovative Ansätze wie Indikatoren auf Einzugsgebietsebene könnten ebenfalls erforderlich sein.

Obwohl in dem Bericht nur ein Beispiel für eine Maßnahme im Zusammenhang mit dem Tierwohl ermittelt wurde, gibt es umfangreiche Kenntnisse über Indikatoren, die hierfür und für den Einsatz von Antibiotika verwendet werden können. In Kombination mit speziellen Systemen zur Überwachung des Viehbestands können sie die Grundlage für wirksame Überwachungs-, Berichterstattungs- und Überprüfungsprozesse bilden.

Eine in den GAP-Strategieplänen ermittelte Maßnahme im Zusammenhang mit der Kohlenstoffbewirtschaftung verwendete die Veränderungen der Kohlenstoffbilanz der landwirtschaftlichen Betriebe als Ergebnisindikator. Es gibt jedoch zahlreiche Ansätze außerhalb der GAP, die im Rahmen freiwilliger Kohlenstoffmärkte funktionieren. Dabei handelt es sich um öffentliche, halböffentliche und private Systeme, die auf der Modellierung des Potenzials einer Reihe von Maßnahmen zur Verringerung der Treibhausgasemissionen oder zur Erhöhung der Kohlenstoffbindung beruhen, um die Ergebnisse zu schätzen und die Zahlungen zu berechnen. In einigen Fällen werden diese modellierten Ergebnisse durch Bodenmessungen im Feld weiter verifiziert.

Obwohl RBIs in erster Linie entwickelt wurden, um zu einem bestimmten Ziel (z. B. Biodiversität) beizutragen, bringen sie oft zusätzliche Vorteile mit sich, die ihren Beitrag auf weitere Ziele ausweiten, z. B. Wasser- oder Bodenqualität. Das bedeutet, dass RBIs so gestaltet werden können, dass sie einen ganzheitlichen Ansatz für landwirtschaftliche Betriebe berücksichtigen, der die Begünstigten für die gesamten von ihnen erbrachten Umweltdienstleistungen entschädigt. Die inhärente Komplexität der Gestaltung von Maßnahmen, die auf mehrere Ziele und zusätzliche Vorteile abzielen, erfordert jedoch eine sorgfältige Planung sowohl für die Begünstigten als auch für die Verwaltungen. Um dies zu vereinfachen, können Scorecards hilfreich sein, um Zahlungen an Ergebnisse zu koppeln und so eine umfassende und ganzheitliche Bewertung über alle Umweltziele hinweg zu ermöglichen.

Die in den GAP-Strategieplänen enthaltenen Beispiele für RBIs wurden noch nicht bewertet. Allerdings wurden in verschiedenen Ländern und landwirtschaftlichen Kontexten verschiedene Evaluierungsstudien durchgeführt. Diese zeigen gemeinsame Themen, Methoden und Ergebnisse auf und legen die Tagesordnung für künftige Bewertungen und Forschungsarbeiten fest. Es wurden mehrere Studien durchgeführt (weitere Einzelheiten finden sich im Abschnitt „Lehren aus der Praxis“), in denen einige tatsächliche politische Maßnahmen oder Reformen bewertet wurden, während andere realistische Szenarien auf der Grundlage von Simulationen bewerteten.

Was ist zu bewerten?

Maßnahmenorientierte versus ergebnisorientierte Interventionen

Das Ziel der Bewertung von RBIs unterscheidet sich nicht vom Ziel der Bewertung anderer Interventionen. Bei der Bewertung sollten jedoch Besonderheiten berücksichtigt werden, die sich aus den Unterschieden zwischen Maßnahmen und RBIs ergeben.

Action-based versus result-based interventions

RBIs können Bewertungsaktivitäten verändern, da sie die herkömmliche Art und Weise, wie wir Bewertungskriterien interpretieren und prüfen, in Frage stellen. Bei RBIs steht die Wirksamkeit der Intervention in direktem Zusammenhang mit messbaren Umweltergebnissen. So kann die Effizienz beispielsweise anhand der „Kilogramm Partikelfosfor (PP)“ gemessen werden, die durch die Einführung von Pufferstreifen reduziert werden (weitere Einzelheiten siehe Sidemo-Hom et al. 2018).

Der Bewertungsprozess kann durch die Unterschiede zwischen maßnahmenbasierten und ergebnisbasierten Interventionen beeinflusst werden, wie z. B.:

  • die Zahlung für Ergebnisse und die Sensitivität der Zahlungen gegenüber den verschiedenen Ebenen der erzielten Ergebnisse, um Anreize für bessere Leistungen und bedeutendere Umweltvorteile zu schaffen;
  • die Flexibilität der Begünstigten bei der Festlegung der am besten geeigneten Praktiken zur Erreichung der erwarteten Ergebnisse; und
  • die daraus resultierende Notwendigkeit eines robusten Systems messbarer und identifizierbarer Indikatoren, die auf Änderungen der landwirtschaftlichen Praxis reagieren, da diese für die Berechnung der Zahlungen an die Begünstigten und die Bewertung des Beitrags jedes Begünstigten zu den Zielen von zentraler Bedeutung sind.

Gemäß dem Instrumentarium für bessere Rechtsetzung der Europäischen Kommission sollten die Ziele und Vorgaben der Politik für jeden Begünstigten und die entsprechenden Maßnahmen in physischen Einheiten von Umweltresultaten ausgedrückt und mit einer Ausgangsbasis verglichen werden. So bedeutet beispielsweise die Bewertung der Bruttoeffizienz, dass die Ausgangsbasis, die Ziele und die Fortschritte in physischen Einheiten des Umweltziels gemessen werden können. Mit anderen Worten: Um das Potenzial von RBIs zur besseren Darstellung der Leistungsfähigkeit der Politik voll auszuschöpfen, müssen die Ziele sowie alle auf Ebene der Mitgliedstaaten oder der Interventionen festgelegten Zielvorgaben auf die Art und Weise abgestimmt sein, wie die Ergebnisse auf Ebene der Begünstigten gemessen werden.

Der zweite wesentliche Unterschied zwischen RBIs und maßnahmenbezogenen Interventionen ergibt sich aus der Abhängigkeit der Zahlungen von der Erreichung spezifischer Umwelt- oder Agrarergebnisse. Dies führt zu einer höheren wahrgenommenen Unsicherheit und einem höheren Risiko für beide Vertragsparteien, d. h. für die Landwirte und die Verwaltungen. Bei RBIs ist das Risiko einer Nichtzahlung für die Begünstigten höher, da die Zahlungen von der Erreichung und genauen Messung spezifischer Ergebnisse abhängig sind.

Dieses Risiko kann ein Hindernis für die Teilnahme darstellen und Unsicherheit für die Verwaltung hinsichtlich der Erreichung der in den GAP-Strategieplänen festgelegten Ziele und der Auswirkungen auf die Leistungsfreigabe und -überprüfung schaffen. Aus Sicht der Bewertung kann die Wahrnehmung eines höheren Risikos als üblich die Inanspruchnahmequoten und die Zufriedenheit der Landwirte beeinträchtigen und zusätzlich zu einer Verzerrung aufgrund des Verständnisses und der Vertrautheit mit den RBIs eine Verzerrung hinsichtlich der Risikobereitschaft mit sich bringen. Dies wird schwerwiegende Auswirkungen auf die Effizienz der Regelung und die methodischen Optionen des Evaluators haben.

Messung der Ergebnisse

Die zur Messung der Ergebnisse verwendeten Indikatoren sind für die Berechnung der Zahlungen an die Begünstigten von zentraler Bedeutung. Sie müssen bestimmte Merkmale aufweisen, die ihre Zuverlässigkeit, Praktikabilität und Übereinstimmung mit den Zielen der Intervention gewährleisten. Die Evaluatoren müssen sicherstellen, dass die Indikatoren

  • messbar, quantifizierbar und kostengünstig und praktisch durch Feldkontrollen, Fernerkundung oder andere geeignete Methoden im Rahmen der verfügbaren Ressourcen überprüfbar sind
  • sensibel und reaktionsschnell auf die spezifischen Maßnahmen der Landwirte in Bezug auf Bewirtschaftungspraktiken und Änderungen der Bewirtschaftungspraktiken
  • klar, einfach und für alle Interessenvertreter, einschließlich Landwirte, Verwaltung, politische Entscheidungsträger und Evaluatoren, verständlich
  • im Einklang mit den Umwelt-, Klima- und anderen politischen Zielen, zu denen die RBI beiträgt
  • konsistent und zuverlässig bei der Bereitstellung von Daten in unterschiedlichen Kontexten und über einen längeren Zeitraum hinweg, wobei Umwelt-, Klima- und sozioökonomische Faktoren berücksichtigt werden.

Die Rolle der Bewertung

Die Bewertung kann in allen Phasen von RBI eine wichtige Rolle spielen. In der Konzeptionsphase kann sie dazu dienen, die von den Begünstigten und Verwaltungen wahrgenommenen Risiken zu verstehen und Wege zu ihrer Minderung zu finden und die Maßnahmen attraktiver zu gestalten, wobei auch mögliche unbeabsichtigte Auswirkungen zu berücksichtigen sind, wie z. B. die Anziehung von Begünstigten mit bestimmten Fähigkeiten oder landwirtschaftlichen Betrieben, die besser in der Lage sind, die Komplexität von RBI zu bewältigen, wodurch die Fairness und Gerechtigkeit der Maßnahme beeinträchtigt werden könnte. Zu den Themen können gehören, wie die Ergebnisse definiert werden, welche Indikatoren und Zielvorgaben verwendet werden können und welche Maßnahmen ergriffen werden sollten, um Risiken für Begünstigte und Verwaltung zu mindern und gleichzeitig die Einhaltung der geltenden Vorschriften zu gewährleisten.

Während der Umsetzung kann die Bewertung dazu dienen, die Akzeptanz und die Wirksamkeit der Strategien zur Minderung der von den Begünstigten wahrgenommenen Risiken zu bewerten. Ihre Rolle ist auch entscheidend für die Bestimmung der Erreichbarkeit, Aktualität, Gültigkeit und Kohärenz der Ergebnisse mit anderen Nicht-RBIs. Da die Begünstigten von RBIs die am besten geeigneten Bewirtschaftungspraktiken zur Erreichung der Ergebnisse wählen können, können Bewertungen während der Umsetzung die Wirksamkeit und Effizienz der verschiedenen Ansätze durch die Erstellung und Analyse der verschiedenen Interventionslogiken untersuchen.

Nach der Umsetzung von RBIs können summative Bewertungen (d. h. Bewertungen, die nach Abschluss der Umsetzung der RBIs durchgeführt werden) – die entweder eigenständige Bewertungen sein können, die nur diese Interventionen bewerten, oder Teil der Ex-post-Bewertung des GAP-Strategieplans – können Aufschluss über die demografische Zusammensetzung der erreichten Begünstigten geben, aber auch über den Unterschied zwischen dem Umweltergebnis einer Intervention und einer hypothetischen Ausgangsbedingung, die ohne diese Intervention erzielt worden wäre (d. h. Zusätzlichkeit), sowie über die Dauerhaftigkeit der Ergebnisse. Die Kosten der Durchführung und die Effizienz dieser Interventionen können ebenfalls bewertet werden. Diese Bewertungen können auch zeigen, wie diese Interventionen zu den entsprechenden Zielen beitragen und wie die gemessenen Ergebnisse die PMEF-Indikatoren ergänzen und die Leistung der GAP besser belegen können.

Schritt für Schritt

Ex-ante-Bewertung von RBI

Schritt 1 – Durchführung einer SWOT-Analyse und/oder Bedarfsermittlung

Die Ex-ante-Bewertung gewährleistet die Pertinenz der Interventionen, indem sie anhand einer SWOT-Analyse und einer Bedarfsermittlung überprüft, ob die vorgeschlagenen RBI mit den im GAP-Strategieplan ermittelten Bedürfnissen im Einklang stehen.

Schritt 2 – Ermittlung der Bedürfnisse, auf die die RBI abzielt, sowie der Ziele, zu deren Verwirklichung sie beitragen soll

Die Grundlage dieser Bewertung bilden die ermittelten Bedürfnisse, die mit der RBI angegangen werden sollen, und die Ziele, zu denen sie beiträgt. Diese bestimmen die Definition der erwarteten Ergebnisse und der zu ihrer Messung verwendeten Indikatoren, die wiederum die Risikowahrnehmung der Begünstigten und die Herausforderungen für die Verwaltung beeinflussen.

Die Evaluatoren sollten die in Abschnitt 2 des thematischen Berichts beschriebenen Merkmale der Indikatoren sorgfältig prüfen und sicherstellen, dass sie den folgenden Kriterien entsprechen:

  1. Definierte Ziele
  2. Messbarkeit
  3. Sensitivität gegenüber Veränderungen
  4. Machbarkeit
  5. Kosteneffizienz
  6. Relevanz für die Interessenvertreter
  7. Festlegung einer Ausgangsbasis
  8. Anwendbarkeit auf lokale Kontexte

Werden die oben genannten Merkmale nicht berücksichtigt, führt dies zu einer verminderten Genauigkeit, Überwachung und Gesamtkosteneffizienz der beobachteten Interventionen in der RBI-Bewertung.

Schritt 3 – Feststellung, ob die Ergebnisse und die Formulierung der Indikatoren die erforderlichen Kriterien erfüllen

Ex-ante-Evaluatoren sollten beurteilen, ob die Formulierung der Ergebnisse und der entsprechenden Indikatoren die erforderlichen Merkmale erfüllt, wie im Abschnitt „Ergebnismessung“ oben beschrieben.

Schritt 4 – Entwicklung eines Risikomanagementplans für RBI

Ein Risikomanagementplan stellt sicher, dass die vorgeschlagenen Maßnahmen ihre angestrebten Ziele erreichen und gleichzeitig die Beteiligung der Begünstigten fördern, ohne negative wirtschaftliche, soziale oder ökologische Auswirkungen zu verursachen.

Evaluatoren können den folgenden Risikomanagementplan für die beobachteten RBI befolgen:

Risiken identifizieren

  • Wirtschaftliche Risiken: Bewertung potenzieller Probleme wie unzureichende Zahlungen, hohe Vorlaufkosten, instabile Marktbedingungen und geringe Kosteneffizienz.
  • Soziale Risiken: Ermittlung von Risiken der Marginalisierung schutzbedürftiger Haushalte mit begrenztem Zugang zu Ressourcen, Fähigkeiten oder Informationen.
  • Umweltrisiken: Berücksichtigung unbeabsichtigter negativer Umweltauswirkungen.

Um den ermittelten Risiken zu begegnen, sollten Konsultationen mit den Interessenvertretern sowie Feldbewertungen und Basisstudien durchgeführt werden, um Erkenntnisse über die oben genannten Risiken zu gewinnen.

Analyse und Bewertung der Risiken

  • Wahrscheinlichkeits- und Auswirkungsanalyse: Bewerten Sie die Wahrscheinlichkeit und Schwere jedes identifizierten Risikos.
  • Identifizierung gefährdeter Gruppen: Stellen Sie sicher, dass alle betroffenen Gruppen berücksichtigt werden.

Qualitative und quantitative Methoden sollten verwendet werden, um die Einschätzung und das Ausmaß der Risiken für verschiedene Gruppen und Teilnehmer zu ermitteln.

Implementieren Sie Überwachung und adaptives Management.

  • Kontinuierliche Überwachung: Verfolgen Sie wirtschaftliche, soziale und ökologische Indikatoren in Echtzeit.
  • Adaptives Management: Entwerfen Sie einen flexiblen Rahmen, der eine Anpassung der RBI auf der Grundlage der verfügbaren Überwachungsdaten ermöglicht.

Scorecards, Feldbewertungen und partizipative Überwachung können verwendet werden, um eine Feedbackschleife zu etablieren, die sicherstellt, dass die Maßnahmen bedarfsgerecht und datengestützt sind.

Entwickeln Sie Strategien zur Risikominderung.

  • Wirtschaftliche Minderung: Stellen Sie sicher, dass RBIs über angemessene Zahlungsstrukturen verfügen, erwägen Sie Hybridmodelle und bieten Sie finanzielle Unterstützung (z. B. Zuschüsse, zinsgünstige Darlehen usw.).
  • Soziale Abmilderung: Gestalten Sie die Teilnahmekriterien inklusiv und flexibel, um unterschiedlichen Haushalten gerecht zu werden.
  • Umweltbezogene Abmilderung: Verwenden Sie adaptive Managementansätze, um Praktiken in Echtzeit zu überwachen, und wählen Sie Umweltindikatoren, die unbeabsichtigte Folgen vermeiden.

Für jedes Risiko sollte ein Abmilderungsplan erstellt werden, um klare Strategien für die Anpassung zu gewährleisten, falls Risiken eintreten. Darüber hinaus sollten die Interessenvertreter in die Ausarbeitung von Lösungen einbezogen werden.

Resilienz und Notfallpläne aufbauen.

  • Resilienzaufbau: Stellen Sie sicher, dass die RBI Praktiken fördert, die ökologische und sozioökonomische Faktoren verbessern.
  • Notfallplanung: Vorbereitung auf Risiken mit hoher Wahrscheinlichkeit und starken Auswirkungen (z. B. extreme Wetterereignisse) durch die Entwicklung alternativer Strategien für die Ressourcenzuteilung und Zahlungsanpassungen.

Eine klare Darstellung der Maßnahmen zur Reaktion auf unerwartete Schocks oder Störungen stellt sicher, dass die Teilnehmer nicht aufgrund von Ereignissen höherer Gewalt unfair benachteiligt werden.

Schritt 5 – Auswahl der richtigen Indikatoren

Indikatoren zur Messung der Ergebnisse müssen klar, leicht identifizierbar und für die Begünstigten und Überwachungsakteure (d. h. die Zahlstellen) messbar sein. Sie sollten mit den für die Landbewirtschafter akzeptablen Umwelt- und Klimazielen in Einklang stehen, sensibel auf Veränderungen in der landwirtschaftlichen Praxis reagieren und den Einfluss externer Faktoren minimieren, um die Risiken für die Landbewirtschafter zu verringern.

Darüber hinaus können nicht zahlungsgebundene Indikatoren ein umfassenderes Bild der Umweltauswirkungen einer RBI liefern, z. B. die Verfolgung der Abundanz und Vielfalt von Wirbellosen zur Bewertung der Biodiversität. Diese Indikatoren tragen dazu bei, das Risiko zu mindern, dass externe Faktoren wichtige Ergebnisse verschleiern, verbessern das Verständnis der Landbewirtschafter für die Umweltziele und identifizieren potenzielle Risiken oder unbeabsichtigte Folgen, wie z. B. die Bevorzugung einer Art auf Kosten einer anderen. Die Erfahrung zeigt auch, wie schwierig es ist, Änderungen in der Bewirtschaftung von landwirtschaftlichen Betrieben mit Umweltresultaten zu verknüpfen. Einige Auswirkungen sind möglicherweise nicht sofort messbar und erfordern daher eine langfristige Überwachung, d. h. RBI, die auf die Wasserqualität abzielen, können auf Einzugsgebietsebene wirksamer sein, wenn sowohl landwirtschaftliche als auch nichtlandwirtschaftliche Landbewirtschafter einbezogen werden, da die Landwirtschaft nur ein Faktor ist und nicht immer der wichtigste.

Für RBI, deren Auswirkungen in den ersten Jahren der Umsetzung nicht wirksam zum Tragen kommen, ist es bewährte Praxis, ein sich weiterentwickelndes Überwachungssystem zu entwickeln. Dieses System kann zunächst Druck- und Bedrohungsindikatoren – d. h. solche, die sich auf die Boden- und Wasserqualität beziehen – verwenden, um die Auswirkungen in der Anfangsphase zu bewerten, und im Laufe der Zeit schrittweise direkte Wirkungsindikatoren einbeziehen, um die langfristigen Auswirkungen der Maßnahme zu messen.

Bei der Bewertung muss geprüft werden, wie die Indikatoren in den PMEF passen und wie sie mit den Wirkungsindikatoren des PMEF zusammenhängen, zu diesen beitragen oder diese ergänzen.

Conceptual framework of an ex ante evaluation of result-based interventions.

Konzeptioneller Rahmen für eine Ex-ante-Bewertung ergebnisorientierter Interventionen.

Angenommen, die beobachtete RBI ist so konzipiert, dass sie umfangreiche Bereiche umfasst oder erhebliche und entscheidende Ergebnisse erzielen soll. In diesem Fall könnte eine Ex-ante-Bewertung die Ausarbeitung einer Risikomanagementstrategie und die Absicherung der RBI gegen niedrige Akzeptanzraten und die daraus resultierenden administrativen Risiken einer erfolglosen Intervention in Betracht ziehen. Anhang IV des Berichts enthält eine Übersicht über die Phasen und das Inhaltsverzeichnis einer Risikomanagementstrategie für RBIs während der Ex-ante-Bewertung.

Bewertung von RBI während der Umsetzung (laufende Bewertung)

Schritt 1 – Schaffung der Grundlage für eine laufende Bewertung

Eine laufende Bewertung stellt sicher, dass RBI wirksam bleiben, indem sie sich auf messbare Umweltresultate konzentriert und nicht nur auf die Einhaltung vorgeschriebener Maßnahmen. Da die Zahlungen direkt an die Ergebnisse geknüpft sind, sind ausgefeilte Überwachungssysteme erforderlich, um die tatsächlichen Auswirkungen zu überprüfen. Die Begünstigten können ihre Bewirtschaftungspraktiken selbst wählen, wodurch die Bewertung dynamischer und kontextsensitiver wird. Externe Faktoren wie Wetter und Schädlinge erhöhen jedoch die Unsicherheit und erfordern einen anpassungsfähigeren Ansatz als maßnahmenbasierte Systeme.

Schritt 2 – Regelmäßige Überwachung und Risikominderung

Eine regelmäßige Bewertung ist erforderlich, um Fortschritte zu verfolgen, zu beurteilen, ob die erwarteten Ergebnisse erzielt werden, und externe Risiken zu identifizieren. Angesichts der inhärenten Unsicherheiten von RBIs müssen adaptive Managementstrategien vorhanden sein, um sicherzustellen, dass Faktoren, die außerhalb ihrer Kontrolle liegen, die Teilnehmer nicht unfair benachteiligen.

Schritt 3 – Bewertung wichtiger Aspekte während der Umsetzung

Der Evaluator muss feststellen, ob die Akzeptanzraten zufriedenstellend sind und ob die erwarteten Ergebnisse innerhalb des Interventionszeitraums realistisch erreicht werden können. Die Genauigkeit der Monitoring-, Berichterstattungs- und Verifizierungssysteme (MRV) muss ebenfalls sichergestellt werden, ohne dass den Begünstigten unnötige Belastungen entstehen. Die Kohärenz mit anderen Interventionen sollte ebenfalls bewertet werden, um mögliche Zielkonflikte oder Kompromisse zu identifizieren.

Schritt 4 – Bewertung alternativer Interventionslogiken

Da die Begünstigten ihre Managementpraktiken selbst wählen können, besteht die Möglichkeit, dass sich unterschiedliche Interventionslogiken herausbilden, die die Managementpraktiken mit den erzielten Ergebnissen verbinden. Diese alternativen Interventionslogiken könnten hinsichtlich ihrer Schwierigkeit, ihrer Kosten, ihrer Effizienz und ihrer Effektivität verglichen werden. Evaluatoren sollten auch potenzielle Zusatznutzen berücksichtigen und bewerten, wie gut jede Interventionslogik mit den verschiedenen Zielen, zu denen sie beitragen kann, in Einklang steht. Diese Erkenntnisse können dabei helfen, zu bestimmen, welche Interventionslogik sich besser auf andere Kontexte übertragen lässt.

Schritt 5 – Empfehlungen und Anpassungsstrategien

Auf der Grundlage der Bewertungsergebnisse können Anpassungen erforderlich sein, um die Akzeptanz und die allgemeine Wirksamkeit zu verbessern. Die Empfehlungen sollten sich auf die Verfeinerung der Umsetzungsmechanismen, die Risikominderung und die Verbesserung der Unterstützung der Teilnehmer durch gezielte Beratung und Kapazitätsaufbau konzentrieren.

Schritt 6 – Bewertung der Lern- und Anpassungsprozesse

Ein wichtiger Teil der laufenden Bewertung besteht darin, zu verstehen, wie Begünstigte und Verwaltungsstellen aus dem Prozess lernen. Evaluatoren sollten bewerten, wie der kontinuierliche Kapazitätsaufbau im Laufe der Zeit zu einer verbesserten Umsetzung, besseren Ergebnissen und einer stärkeren Übernahme von RBI beiträgt.

Conceptual framework of an ongoing evaluation of result-based interventions.

Konzeptioneller Rahmen für eine laufende Bewertung ergebnisorientierter Interventionen.

Bewertung nach Abschluss der RBI (summative Bewertung)

Schritt 1 – Schaffung der Grundlage für die summative Bewertung

Die summative Bewertung findet nach Abschluss einer Intervention statt, um die Gesamtqualität der RBI-Umsetzung zu bewerten. Sie baut auf laufenden Bewertungen und endgültigen Daten zu den Begünstigten und den erzielten Ergebnissen auf. Das zentrale Ziel besteht darin, Lehren für künftige politische Verbesserungen zu ziehen und Empfehlungen zu erarbeiten, indem erfolgreiche Ansätze und verbesserungsbedürftige Bereiche identifiziert werden.

Schritt 2 – Bewertung der Akzeptanz und der Vielfalt der Teilnehmenden

Die Evaluatoren müssen die Heterogenität der potenziellen Akzeptanzgruppen untersuchen und bewerten, inwiefern Gleichzeitigkeitsverzerrungen die Akzeptanz beeinflusst haben könnten. Der Akzeptanzprozess sollte hinsichtlich der wahrgenommenen Risiken, der Fairness und der Inklusivität analysiert werden. Die Erfassung des Teilhabegrades gibt Aufschluss über die Zugänglichkeit und die Effizienz der Intervention für verschiedene landwirtschaftliche Gemeinschaften.

Schritt 3 – Bewertung der Effizienz und der Auswirkungen von RBIs

Das Ausmaß der Umweltauswirkungen muss anhand der Akzeptanzraten und des Grades, in dem die Intervention die beabsichtigten Ergebnisse erreicht hat, bewertet werden. Dazu gehört auch die Bewertung der Hindernisse und Motivatoren, die die Teilnahme beeinflusst haben, sowie der sozioökonomischen Auswirkungen der Intervention. Erkenntnisse aus Studien zur Akzeptanz und Zufriedenheitsumfragen können dazu beitragen, künftige Interventionen zu verfeinern.

Schritt 4 – Bestimmung der Zusätzlichkeit und der Nettoeffekte

Ein Schwerpunkt der summativen Bewertung liegt auf der Ermittlung der Zusätzlichkeit und der Frage, ob die Ergebnisse ohne GAP-Unterstützung erzielt worden wären. Die Festlegung von Umwelt-Ausgangsbedingungen zu Beginn der Interventionen hilft bei der Quantifizierung der zusätzlichen Auswirkungen. Der Vergleich der teilnehmenden Betriebe mit Nichtbegünstigten kann die Genauigkeit der Nettoeffektbewertungen weiter verbessern.

Schritt 5 – Analyse der Integration mit PMEF-Indikatoren

RBIs generieren umfangreiche Daten, die die PMEF-Indikatoren ergänzen können, insbesondere bei der Messung von Umwelt- und Klimaauswirkungen. Durch die Abstimmung der RBI-Indikatoren mit den PMEF-Kennzahlen können Evaluatoren beobachtete Veränderungen besser auf politische Maßnahmen zurückführen und künftige Überwachungsbemühungen verbessern.

Beispiele für die Komplementaritäten zwischen RBI- und PMEF-Indikatoren finden sich für die folgenden Ziele:

Biodiversität

PMEF O.14, O14 R.31 I.19, I.20
RBIs   Gesamtzahl oder prozentuale Veränderung der „positiven“ Arten;
Gesamtzahl oder % der „negativen Arten“;
Anzahl der Nester oder prozentuale Veränderung der Fläche der Nisthabitate pro Vogelart.
 

Wasserqualität

PMEF O.14, O14 R.21, R.22, R.24 I.15, 1.16, I.18
RBIs   Prozentuale Veränderung des Indikators für die Häufigkeit der Behandlung mit Pestiziden;
Änderung der Bewertung des Risikos für die Qualität natürlicher Gewässer.
 

Bodenqualität

PMEF O.8, O14 R.19 I.13
RBIs   Veränderung des Ausmaßes von nacktem Boden oder Erosion.  

Klimaschutz

PMEF O.8, O14 R.14 I.10, I.11
RBIs     Reduzierte Treibhausgasemissionen, gebundener Kohlenstoff und Verbesserung der Kohlenstoffbilanz.

Tierwohlbefinden

PMEF O.18 R.44  
RBIs     Fehlen von Verletzungen: % der Tiere mit intakten Schwänzen.

Schritt 6 – Empfehlungen für die künftige Politikgestaltung

Auf der Grundlage der Bewertungsergebnisse sollten die Empfehlungen auf die Verbesserung der Interventionsgestaltung, der Überwachungsprozesse und der Bemühungen zum Kapazitätsaufbau ausgerichtet sein. Die Beseitigung festgestellter Hindernisse, die Verfeinerung der Einführungsstrategien und die Stärkung der Bewertungsmethoden werden dazu beitragen, die Wirksamkeit künftiger RBIs zu verbessern.

Summative Bewertungen von RBIs sollten die Dauerhaftigkeit der Umweltresultate und die Fortführung der Praktiken über die finanziellen Anreize hinaus beurteilen. Evaluatoren müssen neben den primären Ergebnissen auch die Co-Benefits erfassen, wobei sie breitere Indikatoren und Methoden verwenden und potenzielle negative Auswirkungen wie Verdrängungseffekte und Leakages berücksichtigen sollten. Eine umfassende Bewertung ist für groß angelegte RBIs mit erheblichen Auswirkungen auf die Landwirtschaft gerechtfertigt, während kleinere Interventionen sich auf die Aufdeckung von Risiken und Vorteilen konzentrieren sollten.

Die positiven Nebeneffekte stehen oft im Einklang mit anderen Zielen der GAP-Strategiepläne, was die Notwendigkeit von Kohärenzprüfungen unterstreicht. Die räumliche Ausrichtung sollte auf ihre Wirksamkeit hin bewertet werden, um eine optimale Ressourcenallokation zu gewährleisten. Schließlich müssen summative Bewertungen adaptive Management- und Risikominderungsstrategien überprüfen und ihre Wirksamkeit bei der Bewältigung von Herausforderungen und der Förderung der langfristigen Widerstandsfähigkeit untersuchen.

Conceptual framework of summative evaluations of result-based interventions.

Konzeptioneller Rahmen für summative Bewertungen ergebnisorientierter Interventionen.

Wichtigste Erkenntnisse

  • EBI knüpfen Zahlungen an messbare und überprüfbare Ergebnisse und nicht nur an durchgeführte Maßnahmen. Die Ergebnisse sollten in direktem Zusammenhang mit dem Ziel der Intervention stehen (z. B. Verbesserung des Tierwohls, Reduzierung von Pestiziden, Ökosysteme usw.).
  • Biodiversität ist das häufigste Ziel von EBI. Carbon Farming gewinnt für die GAP durch Indikatoren zur Kohlenstoffbilanz von landwirtschaftlichen Betrieben zunehmend an Bedeutung – mit externen, privaten oder halbprivaten freiwilligen Kohlenstoffmärkten, die modellierte Schätzungen zur Emissionsminderung oder -bindung verwenden.
  • Zu den wichtigsten Unterschieden zwischen maßnahmenbasierten und ergebnisbasierten Interventionen, die sich auf die Gestaltung und Durchführung von Bewertungen auswirken, gehören i) die Sensitivität der Zahlungen gegenüber unterschiedlichen Ergebnisniveaus, ii) die Flexibilität der Begünstigten bei der Wahl der Praktiken und iii) die Notwendigkeit robuster, identifizierbarer Indikatoren zur Bewertung der Effizienz.
  • Die Bewertung sollte Ziele, Vorgaben und Ergebnisse mit messbaren Umweltergebnissen in Einklang bringen. Die Verwaltungen und Begünstigten könnten RBI jedoch als zu riskant empfinden. Ein wirksames Risikomanagement muss bei der Gestaltung und Umsetzung von RBI im Mittelpunkt der Bewertungen stehen.
  • RBI-Indikatoren müssen messbar, kosteneffizient, überprüfbar (z. B. durch Feldkontrollen, Fernerkundung) und über verschiedene Kontexte und Zeiträume hinweg zuverlässig sein, wobei sie gleichzeitig sensibel auf Veränderungen in der landwirtschaftlichen Praxis und das Fehlen politischer Ziele reagieren müssen.

Aus der Praxis lernen

Block, J.B., Hermann, D. und Mußhoff, O., (2024).

  • Agrarböden im Klimaschutz: Vergleich von handlungs- und ergebnisorientierten Programmen zur Kohlenstoffbindung, Climatic Change, 177.

Kreft, C., Huber, R., Schäfer, D. und Finger, R., (2024).

  • Quantifying the impact of farmers' social networks on the effectiveness of climate change mitigation policies in agriculture, Journal of Agricultural Economics, 75(1), S. 298-322.

Sidemo-Holm, W., Smith, H.G. und Brady, M.V. (2018).

  • Verbesserung der Bekämpfung der Umweltverschmutzung in der Landwirtschaft durch ergebnisorientierte Zahlungssysteme, Land Use Policy, 77, S. 209-219.

Späti, K., Huber, R., Logar, I. & Finger, R., (2022).

  • Anreize für den Einsatz präzisionslandwirtschaftlicher Technologien in kleinbäuerlichen Systemen: Ein Ansatz auf Basis von Wahlversuchen, Journal of the Agricultural and Applied Economics Association, 1(3), S. 236-253.

Šumrada, T., Vreš, B., Čelik, T., Šilc, U., Rac, I., Udovč, A. und Erjavec, E., (2021).

  • Sind ergebnisorientierte Programme besser geeignet für die Erhaltung von Grünland mit hohem Naturwert? Erkenntnisse aus Slowenien, Land use policy, 111, S. 105749.

Villanueva, A.J., Granado-Díaz, R. & Colombo, S., (2024).

  • Vergleich praxis- und ergebnisorientierter Agrarumweltprogramme, die durch Fernerkundung kontrolliert werden: Eine Anwendung auf Olivenhaine in Spanien, Journal of Agricultural Economics, 75, S. 524-545.

Wuepper, D., und Huber, R., (2022).

  • Vergleich der Effizienz und der Kapitalrendite von aktions- und ergebnisorientierten Agrarumweltzahlungen in der Schweiz, American Journal of Agricultural Economics, 104(5), S. 1585-1604.

Weiterführende Literatur

Publikation - Häufig gestellte Fragen |

Verwendung von Erfolgsfaktoren bei der Bewertung

Publikation - Berichte |

Bewertung ergebnisbasierter Interventionen