Die kleinste Einheit eines organisierten Systems, die analysiert wird. Die Analyseeinheit kann auf Mikro- und Makroebene definiert werden. Zum Beispiel könnte die Analyseeinheit auf Mikroebene Parzellen oder Betriebe sein, während sie auf Makroebene Einzugsgebiete oder NUTS 3 sowie eine gesamte Region oder das Gebiet eines CAP-Strategieplans sein könnte.

Quelle: Europäischer Evaluierungs-Helpdesk für ländliche Entwicklung (2018), Thematische Arbeitsgruppe 5 - Bewertung der Errungenschaften und Wirkungen der LE-Programme im Jahr 2019

Die Anforderungen im Zusammenhang mit verbindlichen Standards und Anforderungen, die im EU- und nationalen Recht sowie in der Konditionalität, einschließlich Standards für den guten landwirtschaftlichen und ökologischen Zustand von Flächen (GLÖZ) und Grundanforderung an die Betriebsführung (GAB) festgelegt sind, und im GAP-Strategieplan verankert werden. Die im Rahmen der GAP gewährte Unterstützung, die zusätzliche Kosten und Einkommensverluste ausgleicht, kann nur jene Kosten und Einkommensverluste kompensieren, die sich aus Verpflichtungen ergeben, die über die Ausgangsbedingungen hinausgehen.

Quelle: Artikel 12 der Verordnung (EU) 2021/2115

Ergebnisse, die sich bei der Bewertung der Wirksamkeit, Effizienz, Wirkung und Erfolge einer Intervention in Bezug auf ihre strategischen Ziele zeigen.

Quelle: Europäischer Evaluierungs-Helpdesk für ländliche Entwicklung (2015), Thematische Arbeitsgruppe 1: Abschätzung der Ergebnisse aus den LE-Programmen

Evaluierung, die während der gesamten Umsetzung der GAP-Strategiepläne stattfindet. Sie umfasst alle Evaluierungsaktivitäten, die während des Programmplanungszeitraums durchgeführt werden. Sie umfasst weder die Ex-ante

-Evaluierung noch die Ex-post-Evaluierung nach dem Umsetzungszeitraum. Evaluierungen während des Umsetzungszeitraums sind im Evaluierungsplan enthalten (Artikel 140 der Verordnung (EU) 2022/2115).

Quelle: Europäischer Evaluierungs-Helpdesk für ländliche Entwicklung (2015), Thematische Arbeitsgruppe 1: Abschätzung der Ergebnisse aus den LE-Programmen

Ein Satz von Techniken, die helfen, Bewertungsergebnisse von der Mikro- auf die Makroebene zu skalieren (z. B. vom Betrieb auf den Sektor, von der Parzelle auf den GAP-Strategieplan/Interventionsbereich). Zum Beispiel können dies sein: GIS, Satellitenbilder oder räumliche Analyse.

Quelle: Europäischer Evaluierungs-Helpdesk für ländliche Entwicklung (2018), Thematische Arbeitsgruppe 5 - Bewertung der Errungenschaften und Wirkungen der LE-Programme im Jahr 2019

Das Datennetz für die Nachhaltigkeit landwirtschaftlicher Betriebe (FSDN) ist ein statistisches Netzwerk, das aus dem Informationsnetz für landwirtschaftliche Buchführungen (INLB) ( umgewandelt wurde und Daten zur ökonomischen, ökologischen und sozialen Nachhaltigkeit landwirtschaftlicher Betriebe in der EU sammelt und verarbeitet. Das FSDN soll eine umfassendere und ganzheitlichere Sicht auf die Nachhaltigkeit von landwirtschaftlichen Betrieben bieten, die über den traditionellen Fokus auf Betriebseinkommen und landwirtschaftliche Produktivität hinausgeht und Indikatoren zu Klimawandel, Biodiversität, Bodengesundheit, Wasserbewirtschaftung und sozialen Aspekten wie ländlicher Entwicklung und Arbeitsbedingungen einschließt. Das FSDN ist Teil der GAP nach 2020 und soll politische Entscheidungen zur Nachhaltigkeit von Betrieben unterstützen sowie helfen, die Wirksamkeit der GAP-Maßnahmen zur Erreichung von Nachhaltigkeitszielen zu bewerten.

Quelle: Verordnung (EU) 2023/2674

In Abschnitt 4.1 der GAP-Strategiepläne müssen die Mitgliedstaaten Definitionen und Mindestanforderungen aufnehmen, die für mehrere Elemente der Pläne gemeinsam sind. Dazu gehören:

Ein umfassender Plan, der 2019 von der Europäischen Kommission vorgeschlagen wurde, zielt darauf ab, die EU bis 2050 kohlenstoffneutral zu machen. Der Plan umfasst eine Reihe von politischen Initiativen, die darauf abzielen, Europa in eine nachhaltige, kohlenstoffarme Wirtschaft zu transformieren und gleichzeitig Wirtschaftswachstum, Schaffung von Arbeitsplätzen und soziale Gerechtigkeit zu fördern. Der europäische Grüne Deal deckt eine breite Palette von Bereichen ab, darunter Klimawandel, Energie, Verkehr, Landwirtschaft, Biodiversität, Kreislaufwirtschaft, Umweltverschmutzung sowie Forschung und Innovation. Er wird auch als eine Schlüsselinitiative zur Bewältigung der globalen Herausforderung des Klimawandels und zur Erreichung der Ziele des Pariser Abkommens angesehen.

Quelle: Europäische Kommission: Der europäische Grüne Deal

Das Ausmaß, in dem die Intervention ihre Ziele auf wirtschaftliche und zeitgerechte Weise erreicht hat oder voraussichtlich erreichen wird. „Wirtschaftlich“ bedeutet die Umwandlung von Inputs (Gelder, Fachwissen, natürliche Ressourcen, Zeit usw.) in Outputs, Ergebnisse und Wirkungen auf die kosteneffizienteste Weise im Vergleich zu möglichen Alternativen im jeweiligen Kontext. „Zeitgerecht“ bedeutet die Lieferung innerhalb des vorgesehenen Zeitrahmens oder eines Zeitrahmens, der den Anforderungen eines sich wandelnden Kontexts angemessen angepasst wurde. Dies kann die Bewertung der betrieblichen Effizienz einschließen (wie gut die Intervention verwaltet wurde). Die Effizienzanalyse sollte das Potenzial zur Vereinfachung und Reduzierung der Belastung untersuchen, indem die administrative und regulatorische Belastung gemessen und Aspekte der Vereinfachung betrachtet werden.

Quelle 1: OECD (2021), Applying Evaluation Criteria Thoughtfully
Quelle 2: Better Regulation Toolbox, Tool #47 "Evaluation criteria and questions"

Endogenität tritt auf, wenn eine unabhängige Variable in einem Regressionsmodell mit dem Fehlerterm korreliert ist, oft aufgrund ausgelassener Variablen, Messfehler oder gleichzeitiger Verzerrungen. Diese Korrelation kann zu verzerrten und inkonsistenten Schätzungen der Modellkoeffizienten führen. Beispielsweise sind Betriebsgröße und Produktivität eines landwirtschaftlichen Betriebs in einer Wirkungseinschätzung endogen, bis ausgelassene Variablen wie der Betriebstyp, der Standort usw. einbezogen werden und bis eine geeignete Strategie zur Kontrolle der bidirektionalen Kausalität angewendet wird.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Assessing the effectiveness and efficiency of CAP income support instruments

Erfolgsfaktoren sind Kriterien, die zur Weiterentwicklung und Spezifizierung wesentlicher Bewertungselemente verwendet werden und es ermöglichen, die durch die bewertete(n) Intervention(en) bewirkte Veränderung zu beurteilen. Sie bilden die Grundlage für die Erstellung der Kausalkette zwischen Outputs, Ergebnissen und Wirkungen und können ein zentrales Element sein, um die Bewertungsergebnisse zu strukturieren.

Quelle 1: Joint Evaluation Unit for the Directorates - General EuropeAid, Development and Foreign Affairs, EVALUATION METHODS FOR THE EUROPEAN UNION’S EXTERNAL ASSISTANCE
Source 2: Better Regulation Toolbox, Tool #46 – Designing the evaluation

Bewertung, in der die von den Begünstigten erzielten Ergebnisse in Bezug auf die geplanten Ziele erfasst werden, aber nicht unbedingt die Auswirkungen auf eine Ausgangssituation.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): CAP Evaluation Expert Insights – LEADER

Der EU-Mehrwert bezieht sich auf Veränderungen, die auf eine EU-Intervention zurückzuführen sind und über das hinausgehen, was vernünftigerweise von nationalen Maßnahmen der EU-Mitgliedstaaten erwartet werden könnte. In Politikbereichen, in denen die EU keine ausschließliche Zuständigkeit hat, sollte die Analyse des EU-Mehrwerts die tatsächliche Anwendung des Subsidiaritätsprinzips untersuchen, indem der Mehrwert der EU-Maßnahmen im Vergleich zu dem anderer Akteure bewertet wird.

Quelle: Better Regulation Toolbox, Tool #47 "Evaluation criteria and questions"

Die Europäische Kommission hat EIP AGRI im Jahr 2012 ins Leben gerufen. Es handelt sich um eine Europäische Innovationspartnerschaft mit Fokus auf die Landwirtschafts- und Forstwirtschaftssektoren. EIP AGRI vereint Akteure der Innovation und schafft Synergien zwischen bestehenden Politiken. Ihr übergeordnetes Ziel ist es, die Wettbewerbsfähigkeit und Nachhaltigkeit in diesen Sektoren zu fördern und damit zu folgenden Aspekten beizutragen: Sicherstellung einer stabilen Versorgung mit Nahrungsmitteln, Futtermitteln und Biomaterialien sowie nachhaltige Bewirtschaftung der wesentlichen natürlichen Ressourcen, von denen Landwirtschaft und Forstwirtschaft abhängen, in Einklang mit der Umwelt.

EIP AGRI setzt auf ein interaktives Innovationsmodell, das auf bottom-up-Ansätze und die Zusammenarbeit verschiedener Akteure abzielt. Es nutzt ergänzende Wissensarten (wissenschaftliches, praktisches, organisatorisches Wissen etc.), um die Mitgestaltung und Verbreitung von umsetzungsreifen Lösungen und Chancen zu fördern.

Quelle 1: Mitteilung der Kommission an das Europäische Parlament und den Rat über die Europäische Innovationspartnerschaft „Landwirtschaftliche Produktivität und Nachhaltigkeit“

Ein genau vordefinierter kritischer Faktor, der eine Voraussetzung für die effektive und effiziente Erreichung eines bestimmten Ziels einer Investition oder eines EU-Schwerpunkts darstellt. Dieser Faktor hat einen direkten Einfluss auf das Ziel und steht in einem klaren Zusammenhang damit. Für den ELER (Europäischer Landwirtschaftsfonds für die Entwicklung des ländlichen Raums) sind ein Satz von schwerpunktbezogenen Konditionalitäten in Anhang V der Verordnung (EU) Nr. 1305/2013 und ein weiterer Satz allgemeiner Konditionalitäten in Teil II von Anhang XI der Verordnung (EU) Nr. 1303/2013 aufgeführt. Ex-ante-Konditionalitäten zielen darauf ab, den sofortigen Beginn und die effiziente Umsetzung der Programme zur Entwicklung des ländlichen Raums sicherzustellen. Ihre Anwendbarkeit wird von den EU-Mitgliedstaaten im Rahmen ihrer Vorbereitung der Programme zur Entwicklung des ländlichen Raums 2014-2020 und gegebenenfalls des Partnerschaftsabkommens bewertet. Die Europäische Kommission prüft die Kohärenz und Angemessenheit der von den EU-Mitgliedstaaten bereitgestellten Informationen. Im Falle einer Nichteinhaltung einer anwendbaren Ex-ante-Konditionalität innerhalb der festgelegten Frist hat die Kommission das Recht, Zwischenzahlungen an die betroffenen Schwerpunkte des Programms unter genau definierten Bedingungen auszusetzen.

Ex-ante-Konditionalitäten finden im Programmplanungszeitraum 2023–2027 keine Anwendung.

Quelle 1: Verordnung (EU) Nr. 1303/2013 
Quelle 2: Verordnung (EU) Nr. 1305/2013

Das Ausmaß, in dem die verschiedenen Komponenten unterschiedlicher Interventionen, die denselben Kontext betreffen, zusammenarbeiten, um ihre Ziele zu erreichen. Eine Kohärenzanalyse kann gegebenenfalls prüfen, ob die Interventionen mit den Zielen des Europäischen Grünen Deals übereinstimmen oder ob sie mit den übergeordneten Umweltzielen (wie dem Europäischen Klimagesetz) oder anderen umweltbezogenen Politiken im Einklang stehen. In einem breiteren Sinne sollte die externe Kohärenz auch die Einhaltung nationaler Politiken oder internationaler Abkommen/Erklärungen betrachten (zum Beispiel könnten EU-Arbeitsmarktinterventionen die Kohärenz mit den ILO-Konventionen überprüfen), insbesondere die UN-Nachhaltigkeitsziele oder EU-Interventionen in Entwicklungsländern.

Quelle: Better Regulation Toolbox, Tool #47 "Evaluation criteria and questions"

Ex-ante-Bewertung der voraussichtlichen wirtschaftlichen, ökologischen und sozialen Auswirkungen einer Politik, oft auf der Grundlage von Simulationen.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Assessing the effectiveness and efficiency of CAP income support instrument

Analysearbeiten, die die Bewertung unterstützen, ohne die Wirkung des Programms/der Intervention zu bewerten (z. B. Kontextanalyse, Umweltüberwachungsstudie, Studie zur Entwicklung von Evaluierungsmethoden, Ermittlung von Datenlücken).

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): CAP Evaluation Expert Insights – LEADER

Ein Indikator ist ein quantitativer oder qualitativer Faktor oder eine Variable, die ein einfaches und zuverlässiges Mittel bietet, um Erfolge zu messen, Veränderungen im Zusammenhang mit einer Intervention zu reflektieren oder die Leistung eines Entwicklungsakteurs zu bewerten. Im Kontext der GAP dient der Satz gemeinsamer Indikatoren, der für alle EU-Mitgliedstaaten verbindlich ist, dazu, Erfolge und Veränderungen sowohl auf der Ebene der GAP-Strategiepläne als auch auf EU-Ebene zu messen.

Quelle: Europäischer Evaluierungs-Helpdesk für ländliche Entwicklung (2015), Thematische Arbeitsgruppe 1: Abschätzung der Ergebnisse aus den LE-Programmen

Eine Gleichzeitigkeitsverzerrung tritt auf, wenn eine wechselseitige Beziehung zwischen der unabhängigen Variable (z. B. Einkommen) und der abhängigen Variable (z. B. CAP-Unterstützung) besteht.

Beispiel: Der Zusammenhang zwischen Bildung und Einkommen. Bildung wird oft als Prädiktor für das Einkommen verwendet. Diese Beziehung kann jedoch endogen sein, das heißt, das Einkommen kann auch die Bildung beeinflussen, da Personen mit hohem Einkommen leichter Zugang zu höheren Bildungsniveaus haben.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Assessing the effectiveness and efficiency of CAP income support instruments

Lokale und mehrstufige Prozesse und Mechanismen, die effektive und transparente Entscheidungsfindung sowie Beziehungen zwischen den verschiedenen Akteuren sicherstellen, die an der Umsetzung von LEADER beteiligt sind.

Lokale Governance im Rahmen von LEADER:

Prozesse und Mechanismen, die von der Lokalen Aktionsgruppe (LAG) etabliert, koordiniert und angestoßen werden, um eine partizipative, transparente und inklusive Entscheidungsfindung zu gewährleisten sowie eine starke Einbindung der Gemeinschaft in die Entwicklung und Umsetzung der Strategie zu fördern.

Mehrstufige Governance im Rahmen von LEADER:

Prozesse und Mechanismen, die gemeinsam von der Verwaltungsbehörde/Zahlstelle, regionalen Behörden und den LAGs eingerichtet werden. Diese basieren auf EU-Standards und zielen darauf ab, die LAGs zu stärken, ihre Entscheidungs-, Management- und Rechenschaftskapazitäten zu verbessern und reaktionsfähige, innovative und maßgeschneiderte Strategien zur lokalen Entwicklung zu fördern.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Leitlinien – Bewertung des Mehrwerts von LEADER

Die quantifizierte Höhe des Beitrags der GAP zu nationalen oder EU-Zielen. D Größenordnung des Effekts wird in der Regel als Prozentsatz des beobachteten Nettoeffekts eines Programms oder einer Intervention angegeben. Dieser wird anhand des entsprechenden Wirkungsindikators im Verhältnis zum festgelegten Zielwert gemessen.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Use of Factors of Success in Evaluation

Das Ausmaß, in dem die verschiedenen Komponenten derselben Intervention zusammenarbeiten, um ihre Ziele zu erreichen.

Quelle: Better Regulation Toolbox, Tool #47 "Evaluation criteria and questions"

„Intervention“ bezeichnet ein Unterstützungsinstrument mit einer Reihe von Förderbedingungen, die von einem EU-Mitgliedstaat in seinem GAP-Strategieplan festgelegt werden, basierend auf einer Art von Intervention, die in der Verordnung über den Strategieplan vorgesehen ist (Artikel 3).

Für jede im GAP-Strategieplan festgelegte Intervention sind unter anderem folgende Punkte anzugeben: auf welcher Art von Intervention sie basiert, der territoriale Geltungsbereich, das spezifische Design oder die Anforderungen der Intervention, die Förderbedingungen, die Ergebnisindikatoren, zu denen die Intervention direkt und signifikant beitragen soll, der Output-Indikator und die geplanten Outputs, die geplanten Stückkosten und die jährliche Finanzzuweisung der Intervention (Artikel 111).

Quelle 1: DG AGRI (2017) Technical Handbook for the CMEF 2014-2020
Quelle 2: Verordnung (EU) 2021/2115

Der Begriff bezieht sich auf die kollektive Nutzung einer Intervention, wie sie in einem einzelnen Artikel der Verordnung über den Strategischen Plan (EU) 2021/2115 definiert ist. Interventinoskategorien werden in Form von Direktzahlungen, Interventionskategorien in bestimmten Sektoren und Interventionskategorien zur Entwicklung des ländlichen Raums.

Quelle: European Commission: Directorate-General for Agriculture and Rural Development (2023): Mapping and analysis of CAP strategic plans – Assessment of joint efforts for 2023-2027

Die Interventionsstrategie wird für jedes spezifische Ziel des GAP-Strategieplans entwickelt und umfasst:

a) Zielwerte und Etappenziele für die relevanten Ergebnisindikatoren, die vom EU-Mitgliedstaat für das spezifische Ziel verwendet werden, basierend auf der Bedarfsbewertung;

b) die mit dem spezifischen Ziel verknüpften Interventionen, die darauf ausgelegt sind, die spezifische Situation in dem betreffenden Gebiet zu adressieren, unter Berücksichtigung einer fundierten Interventionslogik, die durch die Ex-ante-Evaluierung, die SWOT-Analyse und die Bedarfsbewertung gestützt wird;

c) Elemente, die zeigen, wie die Interventionen zur Erreichung der Zielwerte beitragen und wie sie gegenseitig kohärent und kompatibel sind;

d) Elemente, die nachweisen, dass die Zuweisung finanzieller Ressourcen für die Interventionen des GAP-Strategieplans gerechtfertigt und angemessen ist, um die gesetzten Zielwerte zu erreichen, und mit dem Finanzplan des Strategieplans übereinstimmt.

Quelle: Artikel 109 der Verordnung (EU) 2021/2115

Ein Bericht, der jährlich von den EU-Mitgliedstaaten erstellt und der Europäischen Kommission vorgelegt wird, um über die Durchführung der GAP-Strategiepläne zu informieren. Der Jährliche Leistungsbericht (APR) ist Bestandteil des Leistungs-, Überwachungs- und Bewertungsrahmens (PMEF) der GAP und liefert einen jährlichen Überblick über die Umsetzung des GAP-Strategieplans. Er umfasst sowohl qualitative als auch quantitative Informationen und bezieht sich auf finanzielle Daten sowie auf Output- und Ergebnisindikatoren.

Der APR trägt zur Bewertung der Fortschritte bei, die zur Erreichung der in den GAP-Strategieplänen festgelegten Zielwerte und Etappenziele für relevante Ergebnisindikatoren erzielt wurden. Er ist ein wichtiges Instrument zur Beurteilung der Wirksamkeit des GAP-Strategieplans und stellt sicher, dass die beabsichtigten Ergebnisse erreicht werden.

Quelle: Verordnung (EU) 2021/2115

Aktivitäten, die darauf abzielen, das Wissen und die Fähigkeiten der Akteure zu entwickeln, die an der Umsetzung, Überwachung und Bewertung der GAP-Strategiepläne beteiligt sind.

Quelle: Europäischer Evaluierungs-Helpdesk für ländliche Entwicklung (2015), Thematische Arbeitsgruppe 1: Abschätzung der Ergebnisse aus den LE-Programmen

Kausalität bezieht sich auf die Beziehung zwischen Ursachen und Wirkungen. Sie impliziert, dass eine Änderung in einer Variablen (der Ursache oder unabhängigen Variablen) eine andere Variable (die Wirkung oder abhängige Variable) direkt verändert. Die Feststellung von Kausalität ist ein zentrales Ziel in vielen wissenschaftlichen und sozialwissenschaftlichen Studien.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP: Assessing the effectiveness and efficiency of CAP income support instruments (2024)

Das Ausmaß, in dem Komplementarität oder Synergie innerhalb einer Intervention und im Verhältnis zu anderen Interventionen gefunden werden kann. Die Kohärenzanalyse kann Bereiche hervorheben, in denen Synergien die Gesamtleistung verbessern oder auf Spannungen hinweisen, z. B. Ziele, die potenziell widersprüchlich sind, sich überschneiden oder Ansätze, die Ineffizienzen verursachen.

Quelle 1: DG AGRI (2017) Technical Handbook for the CMEF 2014-2020
Quelle 2: Better Regulation Toolbox, Tool #47 "Evaluation criteria and questions"

Dies ist eine Bedingung in der kausalen Inferenz, bei der die Behandlungszuweisung (oder Exposition) unabhängig von den potenziellen Ergebnissen ist, wenn eine Reihe von Kovariaten gegeben wird. Wenn diese Bedingung erfüllt ist, ist es möglich, unverzerrte Schätzungen der kausalen Auswirkungen zu erhalten.

Wenn die Annahme der Konfundierungsfreiheit gilt, ist die Zuweisung (z. B. der Empfang oder Nichterhalt) von GAP-Subventionen unabhängig von den potenziellen Ergebnissen (landwirtschaftliches Einkommen mit Subvention oder ohne Subvention), vorausgesetzt, die Kovariaten wie Betriebsgröße, Art der Kulturen und Standort werden kontrolliert. Mit anderen Worten: Nach Berücksichtigung dieser Kovariaten liefert die Zuweisung von GAP-Subventionen keine zusätzlichen Informationen über die potenziellen landwirtschaftlichen Einkommen.

Bei der Schätzung der Auswirkungen von GAP-Subventionen (die Behandlung) auf das landwirtschaftliche Einkommen (das Ergebnis) nehmen wir an, dass ein Datensatz vorliegt, der Informationen über landwirtschaftliche Betriebe enthält. Dieser Datensatz gibt an, ob die Betriebe GAP-Subventionen erhalten haben, ihr Einkommen sowie weitere Kovariaten wie Betriebsgröße, Art der angebauten Kulturen und Standort.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Assessing the effectiveness and efficiency of CAP income support instruments

Die Gewährleistung, dass es keine logischen und faktischen Widersprüche gibt, einschließlich erheblicher Unterschiede innerhalb oder zwischen verschiedenen Interventionen, Optionen oder anderen Teilen eines Programms, Plans oder einer Bewertung.

Quelle: Better Regulation Toolbox Tool #60 "Baselines"

Externe Faktoren, die ein erhebliches Potenzial haben, unvorhergesehene Ergebnisse bei der Umsetzung von Politiken zu erzeugen. Zum Beispiel Störfaktoren, die sich aus anderen Programmen ergeben, die durch die Europäischen Struktur- und Investitionsfonds (ESI) finanziert werden, sowie nationale Finanzierungen oder andere Investitionsprogramme. Des weiteren zählen dazu auch die sozioökonomischen Folgen von Ereignissen, die die Interventionen, Zielsetzungen und Ergebnisse des GAP-Strategieplans beeinflussen können, wie etwas COVID-19, die Reaktion der EU im Rahmen von Next Generation EU, der Krieg in der Ukraine oder der Anstieg der Energiekosten.

Quelle: Europäische GAP-Netzwerk: Lernportal – Ex-post-Evaluierung der EPLR für den Zeitraum 2014–2022

Im Zusammenhang mit der Wirkungsbewertung bezieht sich „kontrafaktisch“ auf das hypothetische Szenario, was denselben Einheiten (wie Einzelpersonen oder Gruppen) passiert wäre, wenn sie nicht der untersuchten Behandlung oder Intervention ausgesetzt gewesen wären. Es ist ein grundlegendes Konzept zur Feststellung von Kausalität und besonders relevant bei der Bewertung der Wirksamkeit einer politischen Maßnahme.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Assessing the effectiveness and efficiency of CAP income support instruments

Die Quantifizierung der Vorteile, die durch einen Euro der der Gesellschaft auferlegten Kosten erzeugt würden. Während die Kosten-Nutzen-Analyse (KNA) eng mit der Kosten-Effektivitäts-Analyse (KWA) verbunden ist, verwendet letztere andere Messgrößen anstelle von monetarisierten Vorteilen, wie beispielsweise erhöhte Lebenserwartung, Bildungserfolg, verringerte Emissionen. Im Evaluationskontext kann die Kosten-Wirksamkeits-Analyse die evaluierte Intervention mit Best-Practice-Ansätzen oder ähnlichen Interventionen vergleichen. Sie kann auch verwendet werden, um die Effektivität des Implementierungsprozesses zu bewerten, wenn unterschiedliche Implementierungsansätze verfolgt wurden. Die KWA ist weniger leicht auf Interventionen anwendbar, die mehr als ein Hauptziel haben. Wenn die Intervention darauf abzielt, mehrere Ziele zu erreichen (z. B. Schaffung von Arbeitsplätzen und Umweltschutz) oder indirekte Auswirkungen hat, können die Ergebnisse der KWA irreführend oder irrelevant sein.

Quelle: Better Regulation Toolbox, Tool #57 "Methods to assess costs and benefits"

Kovariaten sind Variablen, die in statistische Analysen einbezogen werden, um ihre Auswirkungen auf das untersuchte Ergebnis zu kontrollieren. In Wirkungsbewertungsmodellen helfen sie, den Einfluss der primären unabhängigen Variablen auf die abhängige Variable zu isolieren und sind entscheidend, um Verzerrungen in ökonometrischen Modellen zu reduzieren. Beispielsweise könnten die Betriebsgröße und der Betriebstyp Kovariaten sein, wenn das Einkommen eines landwirtschaftlichen Betriebs untersucht wird.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Assessing the effectiveness and efficiency of CAP income support instruments

Ein Leistungsrahmen wird unter der gemeinsamen Zuständigkeit der EU-Mitgliedstaaten und der Europäischen Kommission festgelegt. Er ermöglicht die Berichterstattung, Überwachung und Bewertung der Leistung des GAP-Strategieplans während dessen Umsetzung. Er umfasst fünf Elemente:

1. ein Satz gemeinsamer Output-, Ergebnis-, Wirkungs- und Kontextindikatoren für die Überwachung, Bewertung und jährliche Leistungsberichterstattung;
2. Zielwerte und jährliche Etappenziele, die anhand der einschlägigen Ergebnisindikatoren für das jeweilige spezifische Ziel festgelegt werden;
3. Datenerhebung, -speicherung und -übetragung;
4. regelmäßige Berichterstattung über die Leistung sowie über Überwachungs- und Bewertungsaktivitäten;
5. die Ex-ante-, Zwischen- und Ex-post-Bewertungen und alle sonstigen Bewertungsaktivitäten im Zusammenhang mit dem GAP-Strategieplan.

Quelle: Artikel 128 der Verordnung (EU) 2021/2115

Das PMEF besteht aus einer Reihe von Elementen, wie in Artikel 128 der Verordnung (EU) 2021/2115 über den GAP-Strategieplan definiert. Dazu gehören: gemeinsame Kontext-, Output-, Ergebnis- und Wirkungsindikatoren; Zielwerte und jährliche Etappenziele; Datenerhebung, -speicherung und -übertragung; regelmäßige Berichterstattung über Leistung, Überwachung und Bewertungsaktivitäten; sowie die Ex-ante-, Zwischen- und Ex-post-Bewertungen und alle anderen Bewertungsaktivitäten im Zusammenhang mit dem GAP-Strategieplan. Der Leistungsrahmen wird unter der gemeinsamen Zuständigkeiten der EU-Mitgliedstaaten und der Europäischen Kommission eingerichtet. Er ermöglicht die Berichterstattung, Überwachung und Bewertung der Leistung des GAP-Strategieplans während dessen Umsetzung . Die Liste der gemeinsamen Indikatoren in Bezug auf Output, Ergebnis, Wirkung und Kontext ist in Anhang I der Verordnung 2021/2115 aufgeführt.

Quelle: Artikel 128 und Anhang I der Verordnung (EU) 2021/2115

Der Mitnahmeeffekt wird definiert als jene Auswirkungen, die auch eingetreten wären, wenn die Intervention nicht stattgefunden hätte. Dabei handelt es sich um Veränderungen, die bei den Begünstigten nach einer öffentlichen Intervention beobachtet werden oder von direkten Adressaten als Folge der Intervention gemeldet werden, die jedoch auch ohne diese Intervention eingetreten wären. Ein Beispiel: Ein Landwirt erhält Unterstützung für den Bau eines Ferienhauses für Selbstversorger. Eine Untersuchung der Rentabilität der Investition und der zugrunde liegenden Motive legt jedoch nahe, dass er das Ferienhaus auch ohne die Unterstützung gebaut hätte. Somit liegt ein Mitnahmeeffekt vor, da der Bau des Ferienhauses nicht vollständig der Intervention zugeschrieben werden kann.

Quelle: DG AGRI (2017) Technical Handbook for the CMEF 2014-2020

Das nationale GAP-Netzwerk ist ein Zusammenschluss von Interessengruppen (z. B. Organisationen und Verwaltungen, Berater, Forscher und andere Innovationsakteure sowie andere Akteure im Bereich Landwirtschaft und ländliche Entwicklung auf nationaler Ebene), das die Umsetzung der GAP in jedem EU-Mitgliedstaat unterstützt.

Die Ziele und Aufgaben der nationalen GAP-Netzwerke sind in Artikel 126 Absätze 3 und 4 der Verordnung (EU) 2021/2115 festgelegt. Das Netzwerk bietet eine Plattform für Dialog und Zusammenarbeit zwischen diesen Gruppen und unterstützt die Umsetzung der GAP durch den Austausch von Informationen, bewährten Verfahren und Erfahrungen.

Das nationale GAP-Netzwerk ist ein wichtiges Instrument zur Steuerung und Lenkung der Politik auf nationaler Ebene. Es trägt dazu bei, sicherzustellen, dass politische Maßnahmen an lokale Gegebenheiten und Bedürfnisse angepasst und koordiniert und effektiv umgesetzt werden. Das Netzwerk bietet auch eine Möglichkeit für Interessengruppen, sich am politischen Entscheidungsprozess zu beteiligen und zur Entwicklung neuer politischer Maßnahmen und Initiativen beizutragen.

Quelle: Verordnung (EU) 2021/2115

Gruppen von Personen (z.B. Landwirte, Forscher, Berater usw.), die an einem praktischen Innovationsprojekt mit konkreten Zielen zusammenarbeiten. Operationelle Gruppen werden durch den Europäischen Landwirtschaftsfonds für die Entwicklung des ländlichen Raums (ELER) finanziert.

Operationelle Gruppen sollen verschiedene Akteure wie Landwirte, Forscher, Berater, Unternehmen, Umweltgruppen, Verbraucherinteressengruppen oder andere NGOs zusammenbringen, um Innovationen im Landwirtschafts- und Forstsektor voranzutreiben.

Quelle: Europäische GAP-Netzwerk: Operationelle Gruppen

Bezieht sich auf das elektronische Informationssystem zur Erfassung und Aufbewahrung wichtiger Informationen zur Umsetzung des GAP-Strategieplans, die für die Überwachung und Bewertung benötigt werden, insbesondere zur Überwachung des Fortschritts bei der Erreichung der festgelegten Ziele und Vorgaben, einschließlich Informationen über jeden Begünstigten und jede Maßnahme.

Quelle: Verordnung (EU) Nr. 1303/2013

Evaluierung, bei der bewertet wird, wie ein Programm/eine Intervention umgesetzt wird (z. B. Governance, Durchführungssystem, Kommunikation, technische Hilfe, Netze).

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Experteneinblicke in die GAP-Bewertung – LEADER

Themen, die horizontal alle Bereiche der Politik betreffen. Wichtige bereichsübergreifende Themen für die GAP umfassen die Förderung der Vereinfachung.

Quelle: Europäischer Evaluierungs-Helpdesk für ländliche Entwicklung (2015), Thematische Arbeitsgruppe 1: Abschätzung der Ergebnisse aus den LE-Programmen

Die Relevanz analysiert, inwieweit die Ziele und die Gestaltung von Interventionen den aktuellen und zukünftigen Bedürfnissen und Problemen in der EU sowie den übergeordneten politischen Zielen und Prioritäten der EU entsprechen. Die Bewertung der Relevanz umfasst die Untersuchung von Unterschieden und Abwägungen zwischen verschiedenen Prioritäten oder Bedürfnissen. Es erfordert die Analyse von Veränderungen im Kontext, um zu beurteilen, inwieweit die Intervention angepasst werden kann (oder wurde), um relevant zu bleiben.

Quelle 1: OECD (2021), Applying Evaluation Criteria Thoughtfully
Quelle 2: Better Regulation Toolbox, Tool #47 "Evaluation criteria and questions"

Eine Stichprobe ist repräsentativ, wenn alle Elemente in einer Bevölkerung der Stichprobe mit derselben Wahrscheinlichkeit angehören. Eine repräsentative Stichprobe weist daher die gleichen Merkmale auf wie die Zielbevölkerung und lässt korrekte Schlussfolgerungen über eine Bevölkerung zu.

Quelle: Europäische GAP-Netzwerk: Lernportal – Ex-post-Evaluierung der EPLR für den Zeitraum 2014–2022

Im Kontext der Bewertungen des Programmplanungszeitraums 2014-2020 beziehen sich Sekundäre Beiträge, auf die Leistungen einer Maßnahme für andere Schwerpunktbereiche als den, unter dem die Maßnahme primär programmiert wurde. Diese Beiträge werden im Rahmen der Bewertungstätigkeiten für die erweiterten jährlichen Durchführungsberichte (AIR) und die Ex-post-Bewertung bewertet, z. B. bei der Berechnung der ergänzenden Ergebnisindikatoren. Evaluatoren sollten, wenn möglich, den ergänzenden Ergebnisindikator eines spezifischen Schwerpunktbereichs berechnen oder bewerten, wobei sowohl primär programmierte Maßnahmen als auch Maßnahmen mit sekundären Beiträgen zu diesem spezifischen Schwerpunktbereich berücksichtigt werden. Die Quantifizierung von sekundären Beiträgen liefert ein wesentlich vollständigeres und besseres Bild der Erfolge der spezifischen Schwerpunktbereiche unter jeder Priorität des Entwicklungsprogramms für den ländlichen Raum (EPLR).

Quelle: Europäische GAP-Netzwerk: Lernportal – Ex-post-Evaluierung der EPLR für den Zeitraum 2014–2022

Netzwerke, gegenseitiges Vertrauen, gemeinsame mentale Modelle und Überzeugungen, die die Qualität der Zusammenarbeit innerhalb und zwischen LAG-Gebieten fördern.

Quelle 1: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Leitlinien – Bewertung des Mehrwerts von LEADER (2024)

Quelle 2: Europäischer Evaluierungs-Helpdesk für die Entwicklung des ländlichen Raums (2017): Bewertung von LEADER/CLLD

Eine Reihe von politischen Zielen, die die allgemeinen Ziele der GAP in konkretere Prioritäten umsetzen und dabei die einschlägigen EU-Rechtsvorschriften, insbesondere in Bezug auf Klima, Energie und Umwelt, berücksichtigen.

Spezifische Ziele der GAP werden auf EU-Ebene festgelegt und von den EU-Mitgliedstaaten in ihren GAP-Strategieplänen umgesetzt. Es gibt neun spezifische Ziele, die in Artikel 6 der Verordnung (EU) 2021/2115 definiert sind. Diese spezifischen Ziele werden durch das Querschnittsziel der Modernisierung der Landwirtschaft und der ländlichen Gebiete ergänzt und verknüpft, indem Wissen, Innovation und Digitalisierung in der Landwirtschaft und in ländlichen Gebieten gefördert und verbreitet werden, sowie deren Übernahme durch die Landwirte durch verbesserten Zugang zu Forschung, Innovation, Wissensaustausch und Schulung unterstützt wird.

Die allgemeinen und spezifischen Ziele werden durch EU-Mittel unterstützt, die im Rahmen der GAP durch den Europäischen Garantiefonds für die Landwirtschaft (EGFL) und den Europäischen Landwirtschaftsfonds für die Entwicklung des ländlichen Raums (ELER) bereitgestellt werden.

Quelle: Artikel 6 der Verordnung (EU) 2021/2115

Dies bezieht sich auf die Wahrscheinlichkeit, dass eine in einem Datensatz beobachtete Beziehung nicht auf Zufall zurückzuführen ist. Die statistische Signifikanz wird oft mit einem p-Wert bestimmt, wobei ein niedrigerer p-Wert (normalerweise weniger als 0,05) eine höhere Wahrscheinlichkeit anzeigt, dass die beobachtete Beziehung tatsächlich signifikant ist und nicht nur ein zufälliges Auftreten.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Assessing the effectiveness and efficiency of CAP income support instruments

Eine von der Europäischen Union (EU) im Mai 2020 im Rahmen des Europäischen Grünen Deals ins Leben gerufene Initiative. Ziel der Strategie ist es, ein nachhaltigeres Lebensmittelsystem zu schaffen, indem eine Umstellung auf ein faires, gesundes und umweltfreundliches Ernährungssystem gefördert wird.

Die Strategie „Vom Hof auf den Tisch“ zielt darauf ab, den Übergang zu einem nachhaltigen Ernährungssystem zu beschleunigen, das folgende Merkmale aufweisen soll: eine neutrale oder positive Umweltbilanz; die Abschwächung des Klimawandels und die Anpassung an seine Auswirkungen; die Umkehrung des Verlusts der Biodiversität; die Sicherstellung der Ernährungssicherheit, der Ernährung und der öffentlichen Gesundheit, wobei sichergestellt wird, dass jeder Zugang zu ausreichender, sicherer, nahrhafter und nachhaltiger Nahrung hat; die Erhaltung der Erschwinglichkeit von Lebensmitteln bei gleichzeitiger Schaffung gerechterer wirtschaftlicher Erträge, Förderung der Wettbewerbsfähigkeit des EU-Liefersektors und Unterstützung des fairen Handels. Die Strategie enthält sowohl regulatorische als auch nicht-regulatorische Initiativen, wobei die gemeinsamen Agrar- und Fischereipolitik als zentrale Instrumente für einen gerechten Übergang dienen.

Quelle: COM/2020/381 final: Mitteilung der Kommission an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen „Vom Hof auf den Tisch“ – eine Strategie für ein faires, gesundes und umweltfreundliches Lebensmittelsystem

Dies ist die Variable, die in einem Experiment oder einer Wirkungsbewertungsstudie getestet und gemessen wird. Sie ist 'abhängig', weil ihre Werte von dem Einfluss/den Auswirkungen der unabhängigen (festen) Variablen abhängen. Zum Beispiel: Einkommensniveau der landwirtschaftlichen Betriebe, Produktivität der Betriebe usw.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Assessing the effectiveness and efficiency of CAP income support instruments

Auch als unabhängige Variable bezeichnet, bezieht sich auf Werte, die vom Forscher kontrolliert oder vorgegeben werden. Es wird angenommen, dass es die abhängige Variable verursacht oder beeinflusst. Zum Beispiel: Betriebsgröße, Standort, Betriebstyp, Inputpreise, Outputpreise usw.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Assessing the effectiveness and efficiency of CAP income support instruments

Die Mobilisierung des endogenen Potenzials, die Aufwertung territorialer Ressourcen und die Stärkung der Verbindungen zwischen den Mitgliedern und Akteuren der lokalen Gemeinschaft tragen dazu bei, mit den verfügbaren Ressourcen mehr zu erreichen. Dadurch werden innovative, nachhaltige und integrierte Projekte gefördert, die von der Gemeinschaft getragen werden und langfristige Auswirkungen auf das LAG-Gebiet haben.

Verbesserte Ergebnisse und Auswirkungen zeigen sich in der Art und Qualität der im Rahmen von LEADER umgesetzten Projekte. Diese unterscheiden sich deutlich von Projekten anderer Programme oder Interventionen, die den LEADER-Ansatz nicht anwenden und meist Top-down-Maßnahmen darstellen.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Leitlinien – Bewertung des Mehrwerts von LEADER

Diese Art von Verzerrung entsteht in statistischen Modellen, wenn eine relevante Variable (d. h. eine die die abhängige Variable beeinflusst) aus dem Modell ausgeschlossen wird. Diese Auslassung kann zu falschen Schätzungen der Effekte anderer im Modell enthaltener Variablen führen.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Assessing the effectiveness and efficiency of CAP income support instruments

Die Schlüsselthemen, die bei der Bewertung eines spezifischen oder Querschnittsziels behandelt werden müssen. Die wichtigsten Evaluierungselemente im Zusammenhang mit der Bewertung der Wirksamkeit für jedes spezifische oder Querschnittsziel sind in Anhang I der Verordnung (EU) 2022/1475 aufgeführt. Für andere Bewertungskriterien (Effizienz, Relevanz, Kohärenz, EU-Mehrwert) wurden in den Leitlinien „Verwendung von Erfolgsfaktoren bei der Bewertung“ entsprechende Evaluierungselemente vorgeschlagen.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): Use of Factors of Success in Evaluation

Das Ausmaß, in dem die Intervention ihre Ziele erreicht hat oder voraussichtlich erreichen wird, einschließlich etwaiger unterschiedlicher Ergebnisse zwischen Gruppen. Die Wirksamkeit kann Aufschluss darüber geben, ob eine Intervention ihre geplanten Ergebnisse erzielt hat, auf welche Weise dies geschah, welche Faktoren dabei entscheidend waren und ob es unbeabsichtigte Auswirkungen gab. Die Bewertung sollte eine Einschätzung über die bisherigen Fortschritte und die Rolle der EU-Maßnahmen bei der Herbeiführung der beobachteten Veränderungen bilden.

Quelle 1: OECD (2021), Applying Evaluation Criteria Thoughtfully
Quelle 2: Better Regulation Toolbox, Tool #47 "Evaluation criteria and questions"

Wirkung ist ein Bewertungskriterium, das beurteilt, inwieweit die Intervention signifikante positive oder negative, beabsichtigte oder unbeabsichtigte, höherwertige Effekte erzeugt hat oder voraussichtlich erzeugen wird. In EU-Bewertungen ist die Wirkung Teil des Bewertungskriteriums der Effektivität, das analysiert, wie die beobachteten Veränderungen mit den durch eine EU-Intervention ausgelösten Maßnahmen in Verbindung stehen könnten.

Quelle 1: OECD (2021), Applying Evaluation Criteria Thoughtfully 
Quelle 2: Better Regulation Toolbox, Tool #47 "Evaluation criteria and questions"

Empirische Bewertung, die übergeordnetee Effekte (Wirkungen) eines Programms/einer Intervention gegen eine Ausgangssituation (mit oder ohne kontrafaktischen Ansatz) erfasst.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2024): CAP Evaluation Expert Insights – LEADER

Die Richtung des beobachteten (Netto-)Effekts eines Programms oder einer Intervention, gemessen durch den entsprechenden Wirkungsindikator in Bezug auf die entsprechenden Erfolgsfaktoren. Die Richtung kann positiv, negativ, gemischt oder null (kein Effekt) sein.

Quelle: Europäischer Evaluierungs-Helpdesk für die GAP (2023): Use of Factors of Success in Evaluation

Ein Ziel ist eine detaillierte Leistungsanforderung, die sich aus einem politischen Ziel ergibt und erfüllt werden muss, um das festgelegte Ziel zu erreichen. Ziele sind, wann immer möglich, quantifiziert und in der Regel zeitgebunden.

Im Kontext der GAP-Strategiepläne und der Verordnung (EU) 2021/2115 über die Strategiepläne sind "Zielwerte" im Voraus festgelegte Werte, die von den EU-Mitgliedstaaten im Rahmen ihrer Interventionsstrategien festgesetzt werden und am Ende des Zeitraums des GAP-Strategieplans im Hinblick auf die Ergebnisindikatoren erreicht sein müssen (Artikel 3.7). Der Zielwert muss auf der Grundlage der Bedarfsbewertung gerechtfertigt werden. Alle GAP-Strategiepläne müssen quantifizierte Zielwerte in Bezug auf die spezifischen Ziele enthalten (Erwägungsgrund 101).

Darüber hinaus legt Artikel 3.6 fest, dass "Etappenziele" Zwischenwerte sind, die ebenfalls von den EU-Mitgliedstaaten im Rahmen ihrer Interventionsstrategien festgelegt werden und zu einem bestimmten Zeitpunkt während des GAP-Strategieplanzeitraums erreicht werden müssen, um fristgemäße Fortschritte im Hinblick auf die Ergebnisindikatoren sicherzustellen.

Quelle: Europäischer Evaluierungs-Helpdesk für ländliche Entwicklung (2015), Thematische Arbeitsgruppe 1: Abschätzung der Ergebnisse aus den LE-Programmen