Lernportal - Die Grundlagen der Bewertung

• Bei der Relevanz wird untersucht, inwieweit die Ziele und die Gestaltung der Interventionen für die aktuellen und künftigen Bedürfnisse und Probleme in der EU, einschließlich der umfassenderen politischen Ziele und Prioritäten der EU, relevant bleiben. Die Bewertung der Relevanz beinhaltet die Untersuchung von Unterschieden und Kompromissen zwischen Prioritäten oder Bedürfnissen. Sie erfordert eine Analyse aller Veränderungen im Kontext und eine Bewertung des Ausmaßes, in dem eine Intervention angepasst werden kann (oder angepasst wurde), um relevant zu bleiben.
• Kohärenz kann als das Ausmaß verstanden werden, in dem Komplementarität oder Synergie innerhalb einer Intervention und im Verhältnis zu anderen Interventionen gefunden werden kann. Die Analyse der Kohärenz kann Bereiche aufzeigen, in denen Synergien bestehen, die die Gesamtleistung verbessern und bei einer Einführung auf nationaler Ebene nicht möglich gewesen wären, oder auf Spannungen hinweisen, z. B. auf potenziell widersprüchliche oder sich überschneidende Ziele oder Ansätze, die zu Ineffizienzen führen.
  • Bei der externen Kohärenz wird analysiert, inwieweit verschiedene Komponenten unterschiedlicher Interventionen, die denselben Kontext betreffen, zusammenwirken, um ihre Ziele zu erreichen.
  • Die interne Kohärenz analysiert das Ausmaß, in dem verschiedene Komponenten derselben Intervention zusammenwirken, um ihre Ziele zu erreichen .
• Effektivität kann als das Ausmaß verstanden werden, in dem die Intervention ihre Ziele erreicht hat oder voraussichtlich erreichen wird, einschließlich der unterschiedlichen Ergebnisse in den verschiedenen Gruppen. Die Wirksamkeit kann Aufschluss darüber geben, ob eine Intervention ihre geplanten oder beabsichtigten Ergebnisse erreicht hat, wie dies geschah, welche Faktoren dabei ausschlaggebend waren und ob es unbeabsichtigte Auswirkungen gab. Der Evaluator sollte sich eine Meinung über die bisher erzielten Fortschritte und die Rolle der EU-Maßnahme bei der Herbeiführung der beobachteten Veränderungen bilden.
• Effizienz ist das Ausmaß, in dem die Intervention ihre Ziele auf wirtschaftliche und zeitgerechte Weise erreicht hat bzw. voraussichtlich erreichen wird. ‚Wirtschaftlich‘ bedeutet, dass Inputs (Mittel, Fachwissen, natürliche Ressourcen, Zeit usw.) auf möglichst kosteneffiziente Weise in Outputs, Ergebnisse und Wirkungen umgewandelt werden. Dazu kann auch die Bewertung der operativen Effizienz gehören (d. h. wie gut die Intervention verwaltet wurde). Bei der Effizienzanalyse sollte das Potenzial für Vereinfachung und Verringerung des Aufwands durch Messung des Verwaltungs- und Regelungsaufwands untersucht werden.

Der EU-Mehrwert sucht nach Veränderungen, die auf die EU-Intervention zurückzuführen sind, im Vergleich zu dem, was vernünftigerweise allein durch nationale Maßnahmen der Mitgliedstaaten hätte erwartet werden können. In Politikbereichen, in denen die EU keine ausschließliche Zuständigkeit hat, sollte die Analyse des EU-Mehrwerts die tatsächliche Anwendung des Subsidiaritätsprinzips untersuchen, indem der Mehrwert von EU-Maßnahmen im Vergleich zu denen anderer Akteure bewertet wird.

• Outputs sind Maßnahmen, die mit den für eine Intervention bereitgestellten Mitteln finanziert und durchgeführt werden. Outputs können die Form von Einrichtungen oder Arbeiten haben (z. B. Bau einer Straße, landwirtschaftliche Investitionen oder touristische Unterkünfte). Sie können auch die Form von immateriellen Dienstleistungen haben (z. B. Schulungen oder Beratung).
• Ergebnisse sind die direkten Vorteile/Nachteile, die die Begünstigten am Ende ihrer Teilnahme an einer öffentlichen Intervention oder nach Fertigstellung einer durch eine Intervention finanzierten Einrichtung erhalten. Ergebnisse können beobachtet werden, wenn ein Begünstigter oder Betreiber eine Maßnahme abschließt und darüber berichtet, wie die zugewiesenen Mittel ausgegeben und verwaltet wurden. Dies kann auf vielerlei Weise geschehen, z. B. durch die Meldung, dass die Zugänglichkeit durch den Bau einer Straße verbessert wurde oder dass die beratenen Unternehmen sich zufrieden zeigen. Diese Ergebnisse sollten regelmäßig überprüft werden. Die politischen Entscheidungsträger können die Durchführung der Maßnahme entsprechend den erzielten Ergebnissen anpassen.
• Auswirkungen beziehen sich in der Regel auf die Veränderungen, die mit einer bestimmten Intervention längerfristig verbunden sind. Solche Auswirkungen können über verschiedene Zeiträume hinweg auftreten, verschiedene Akteure betreffen und auf verschiedenen Ebenen relevant sein (z. B. auf lokaler, regionaler, nationaler und EU-Ebene).

Bei den roten Kästen handelt es sich um Bewertungsfragen, die in der Regel Ursache-Wirkungs-Fragen sind, die nach Nettoeffekten fragen und mit Zielen verknüpft sind. Die Bewertungsfragen können durch Beurteilungskriterien weiter spezifiziert werden, die festlegen, wie der Erfolg im Rahmen der einzelnen Ziele (allgemein und spezifisch) erreicht werden soll. Sie verknüpfen Ziele mit Indikatoren.

Bei den grünen Kästchen handelt es sich um Indikatoren, die mit den Beurteilungskriterien oder Bewertungsfragen und den erwarteten Auswirkungen (d. h. Outputs, Ergebnisse und Auswirkungen) übereinstimmen sollten.

Es können mehrere Arten von Indikatoren verwendet werden:

• Output-Indikatoren messen die direkt im Rahmen eines Programms durchgeführten Aktivitäten. Diese Aktivitäten sind der erste Schritt zur Verwirklichung der operationellen Ziele einer Intervention und werden in physischen oder monetären Einheiten gemessen (z. B. Anzahl der durchgeführten Schulungen, Anzahl der landwirtschaftlichen Betriebe, die eine Investitionsförderung erhalten, oder Gesamtvolumen der Investitionen).
• Ergebnisindikatoren messen die direkten und unmittelbaren Auswirkungen einer Intervention. Sie können Aufschluss über Veränderungen beispielsweise im Verhalten, in der Kapazität oder in der Leistung der direkt Begünstigten geben und werden in physischen oder monetären Einheiten gemessen (z. B. die Bruttozahl der geschaffenen Arbeitsplätze und die erfolgreichen Schulungsergebnisse). Ergebnisindikatoren werden zur Beantwortung der spezifischen Ziele im Zusammenhang mit den Fragen der Bewertung verwendet.
• Wirkungsindikatoren beziehen sich auf die Ergebnisse der Interventionen, die über die unmittelbaren Auswirkungen hinausgehen. Wirkungsindikatoren werden in der Regel ‚netto‘ ausgedrückt, d. h. durch Abzug der Wirkungen, die nicht auf die Intervention selbst zurückgeführt werden können, von der Gesamtsumme und unter Berücksichtigung indirekter Wirkungen (z. B. Gesamtfaktorproduktivität in der Landwirtschaft, Emissionen aus der Landwirtschaft, Wasserqualität und Ausmaß der ländlichen Armut). Wirkungsindikatoren messen die Auswirkungen eines Programms auf das Gebiet, in dem es durchgeführt wird. Wirkungsindikatoren werden zur Beantwortung von Bewertungsfragen im Zusammenhang mit den Gesamtzielen verwendet.

Den Indikatoren werden häufig Zielwerte zugewiesen. Bei diesen Zielwerten handelt es sich um Werte, die auf der Grundlage vorhandener Informationen festgelegt werden und die die Programme zu erreichen versuchen, um die erwarteten Auswirkungen, Ziele und Bedürfnisse zu erreichen.

Die folgende Abbildung zeigt ein Beispiel für die Kohärenz zwischen den verschiedenen Elementen der Bewertung eines hypothetischen politischen Programms, mit dem das Problem der Emissionen aus der Landwirtschaft angegangen werden soll.