Lernportal - Umfragen
- Bewertung
- Bewertung
- Bewertungsansätze
- Datenmanagement
- Performance Monitoring and Evaluation Framework (Leistungs-, Überwachungs- und Bewertungsrahmen, PMEF)
- Begleitungs- und Bewertungsrahmen
Umfragen sind besonders geeignet, um aus einer kleineren, repräsentativen Stichprobe Rückschlüsse auf eine größere Population zu ziehen. Ihr Hauptvorteil liegt darin, dass sie Datenlücken schließen und einen umfassenden Überblick über ein Thema bieten. Dieser Ansatz ist fesselnd und aufschlussreich und ermöglicht ein tieferes Verständnis komplexer Themen.
Page contents

Grundlagen
Kurz und bündig
Erhebungen sind gemischte Methoden (qualitativ und quantitativ), die häufig Teil eines deduktiven analytischen Ansatzes sind. Sie leiten Informationen aus einer (repräsentativen) Stichprobe ab, um die Realität der Gesamtheit darzustellen. Bei einem deduktiven Ansatz werden die Hypothesen meist aus der Literatur oder einem theoretischen Rahmen abgeleitet, bevor die Erhebungen konzipiert werden. Die erhobenen Daten werden dann untersucht, um die a priori aufgestellte Theorie zu prüfen.
Stichproben für das Gesamtbild
Bei einer Erhebung werden die Informationen aus einer Stichprobe von Einheiten gesammelt, um quantitative Beschreibungen der Attribute der größeren Population zu erstellen, zu der die Einheiten gehören.
Erhebungen werden unter verschiedenen Umständen zur Bewertung von Wirkungen eingesetzt, unabhängig von der Art der zu erhebenden Informationen (z. B. Stichproben von Kontrollgruppen), der Art des Indikators, dem sie dienen (in den Sozialwissenschaften werden andere Erhebungsmethoden angewandt als in den Naturwissenschaften), und den Besonderheiten des Programms (Verfügbarkeit von Daten, Art der Intervention usw.).
Einspeisung in andere Methoden
Erhebungen können bei der Sammlung quantitativer Daten (z. B. grundlegende Merkmale und Leistungen von geförderten und nicht geförderten Einheiten) sehr wertvoll sein, die später zur Schätzung von Programmergebnissen verwendet werden können, z. B. über Matching-Techniken. Bei der Anwendung dieser Datenerhebungstechnik muss besonders auf die Genauigkeit der Informationen über vergangene Ereignisse geachtet werden, z. B. über die Merkmale und die Leistung der durch das Programm geförderten und nicht geförderten Einheiten in einem Zeitraum vor der Durchführung eines bestimmten Programms.
Eine repräsentative Erhebung der Programmkomponenten kann mit fragebogengestützten Befragungen von Programmbegünstigten und Nichtbegünstigten, Tiefeninterviews und Fokusgruppen genutzt werden, um Belege für die Programmwirkungen zu sammeln. Im Rahmen dieses Ansatzes können Diskussionen in Fokusgruppen dazu beitragen, mögliche Quellen für Verzerrungen in einer quantitativen Erhebung zu identifizieren und einen Weg zu finden, diese zu beseitigen.
Keine allgemeingültige Methode
Für die Ermittlung einer geeigneten Erhebungsmethodik gibt es eine Fülle von Literatur, aber es gibt keinen Ansatz, der für alle geeignet ist. Daher muss die Anwendung von Erhebungen zu verschiedenen Themenbereichen von Indikatoren bewusst ausgewählt und entsprechend angepasst werden.
Vor- und Nachteile
Vorteile |
Nachteile |
---|---|
|
|
Wann sollte man sie einsetzen?
Im Zusammenhang mit einem GAP-Strategieplan kann eine Bewertungsumfrage helfen, Primärdaten zu sammeln, insbesondere für
- Spezifische Merkmale der GAP-Empfänger/Nicht-Empfänger. Die Erhebung wird dazu beitragen, eine Typologie der GAP-Begünstigten/Nicht-Begünstigten zu erstellen. Dies könnte besonders wichtig sein, um die Beweggründe der Landwirte zu verstehen, sich für GAP-Interventionen (insbesondere Agrarumweltmaßnahmen) zu bewerben und/oder nachhaltige landwirtschaftliche Praktiken einzuführen. Eine solche Erhebung könnte daher nützliche Informationen für eine kritische Überprüfung der theoretischen Interventionslogik liefern und die geringe Inanspruchnahme bestimmter GAP-Interventionen erklären. Der verteilte Fragebogen muss eine breite Palette von Wahlmöglichkeiten bieten, die bei der vorläufigen Literaturrecherche ermittelt wurden, und die Möglichkeit bieten, weitere, noch nicht ermittelte Faktoren aufzuschreiben.
- Von den Landwirten/GAP-Begünstigten umgesetzte Strategien/Optionen. Eine Umfrage kann helfen festzustellen, inwieweit die Landwirte mit bestimmten Problemen konfrontiert sind und wie sie diese mit oder ohne GAP angehen. Dies ist wichtig, um die Bedürfnisse der Landwirte zu verstehen und die Komplementarität der GAP-Interventionen mit anderen verfügbaren Instrumenten (z. B. privaten Marktinstrumenten) zu bewerten. Mit einer Umfrage können beispielsweise Informationen über die Auswirkungen von Marktschwankungen auf die Einkommen der Landwirte und ihre Strategien zur Überwindung erheblicher Preisrückgänge gesammelt werden. Die Befragten können gebeten werden, die Schwere der Auswirkungen anzugeben, indem sie eine Punktzahl zwischen 1 (keine Auswirkungen) und 5 (schwerste Auswirkungen) vergeben, und die verschiedenen Arten von Strategien und Risikomanagementinstrumenten, die von den Landwirten eingesetzt werden, sowie den potenziellen Einsatz von GAP-Interventionen (z. B. Unterstützung des Risikomanagements) zu untersuchen. Die Ergebnisse können dann genutzt werden, um zu klassifizieren, welche Fälle und wie die GAP-Interventionen genutzt werden, je nachdem, wie stark die Landwirte der Marktvolatilität ausgesetzt sind und welche Strategie sie anwenden.
- Kosten im Zusammenhang mit der Umsetzung spezifischer GAP-Interventionen. Eine Bewertung der Effizienz der GAP-Strategiepläne erfordert eine Beurteilung des Verwaltungsaufwands und anderer Kosten (z. B. Transaktionskosten), die mit der Durchführung der GAP-Interventionen verbunden sind. Informationen über Verwaltungs- und/oder Überwachungskosten oder andere Arten von Kosten, die von den Landwirten getragen werden, sind im Allgemeinen nicht verfügbar und müssen im Rahmen der Bewertung des GAP-Strategieplans erhoben werden. Fragebögen mit geschlossenen Fragen ermöglichen die Erhebung von quantitativen oder leicht quantifizierbaren Informationen. Urteile und Meinungen können durch Multiple-Choice-Fragen mit vorcodierten Antworten und einer Likert-Skala erfasst werden.
- Erhebungen können auch dazu verwendet werden, Informationen über die Wirksamkeit eines GAP-Strategieplans zu sammeln. Die Auswirkungen sollten jedoch durch eine Mischung von Methoden untersucht werden, die eine Bewertung des Nettobeitrags des GAP-Strategieplans ermöglichen. Die Erhebungsmethodik muss sorgfältig festgelegt werden, um valide Ergebnisse über die Nettoauswirkungen der durchgeführten Maßnahmen zu erhalten. Außerdem können die Begünstigten der GAP, wenn sie nach den Auswirkungen der GAP-Unterstützung gefragt werden, verzerrte oder falsche Antworten geben, die mit Vorsicht zu betrachten sind. Wenn jedoch keine Daten über die Auswirkungen der GAP-Interventionen vorliegen, können strukturierte schriftliche Erhebungen genutzt werden, um Informationen über die „Veränderungen“ zu sammeln, die die Landwirte durch die Teilnahme an den GAP-Unterstützungsregelungen vorgenommen haben, um nützliche Einblicke und einen Anhaltspunkt für die durch die GAP-Interventionen erzielten Auswirkungen zu erhalten. Die Veränderungen können mit Hilfe spezifischer quantitativer Indikatoren gemessen werden, die ad hoc festgelegt werden, und die Daten können mit Hilfe von Fragebögen erhoben werden, die den Interessenvertretern zugesandt werden.
Schritt-für-Schritt
Die Durchführung einer Umfrage umfasst drei Schritte: Vorbereitung und Konzeption der Fragen, Durchführung der Umfrage und Auswertung der Ergebnisse
-
Schritt 1 - Vorbereitung und Gestaltung der Fragen: Der Inhalt des Fragebogens muss den Umfang und den Zweck der Umfrage widerspiegeln. Im Zusammenhang mit der Bewertung eines GAP-Strategieplans sollte der Fragebogen mit dem Bewertungsrahmen übereinstimmen und die Erfassung von Informationen im Zusammenhang mit den verschiedenen Indikatoren ermöglichen, die zur Bewertung der Beurteilungskriterien und der entsprechenden Erfolgsfaktoren festgelegt wurden.
Ein guter Fragebogen erhöht die Qualität der Antworten. Der Anzahl, dem Format und der Reihenfolge der Fragen muss besondere Aufmerksamkeit gewidmet werden, um die Erhebung angemessener Informationen zu gewährleisten und die Durchführung robuster Analysen zu ermöglichen. Die Fragebögen sind in der Regel in thematische Abschnitte unterteilt und enthalten meist geschlossene Fragen (offene Fragen sind ebenfalls möglich, erfordern jedoch eine spezifische Kodierung, um in der quantitativen Analyse behandelt werden zu können). Es gibt verschiedene Techniken, um präzise Informationen über die Merkmale, Einstellungen oder Präferenzen der Befragten zu sammeln (z. B. dichotome oder Ja/Nein-Fragen, Multiple-Choice-Fragen, sich gegenseitig ausschließende Kategorien, Rangfolgen, Bewertungsskalen usw.). Die Fragen müssen so klar und einfach wie möglich gestaltet sein. Es wird immer empfohlen, den Fragebogen in einem Pilotversuch zu testen, bevor er an die Zielgruppe verteilt wird.
Bei der Durchführung einer Umfrage oder jeder Art von Konsultation müssen die Datenschutzbestimmungen eingehalten werden. Insbesondere müssen die Befragten auf die Datenschutzpolitik aufmerksam gemacht werden. Vergessen Sie außerdem nicht, dem Fragebogen ein Vorwort beizufügen, in dem in einfachen Worten der Hintergrund und der Kontext sowie das Ziel und der Umfang der Befragung erläutert werden.
- Schritt 2 - Verwaltung der Umfrage:
-
Schritt 2.1 - Festlegen der Stichprobenstrategie
Die Erhebung wird im Allgemeinen an einer Stichprobe der Bevölkerung durchgeführt. Damit die gesammelten Informationen die Merkmale der Grundgesamtheit widerspiegeln, muss die Stichprobe repräsentativ sein. Für die Erhebung können verschiedene Ansätze gewählt werden: Zufallsstichproben mit dem Ziel, eine signifikante Anzahl von Befragten zu erreichen (die Stichprobe muss groß genug sein, um Auswahlverzerrungen zu vermeiden), gezielte Stichproben, die sich auf eine Kategorie der Bevölkerung konzentrieren, oder geschichtete Stichproben, die sich auf verschiedene Unterkategorien beziehen, die für die Gesamtstruktur der Bevölkerung repräsentativ sind. Um die Auswirkungen der GAP-Maßnahmen zu erfassen, muss der Erhebungsfragebogen idealerweise an Begünstigte und Nicht-Begünstigte in zwei Gruppen (behandelte und Kontrollgruppen) mit ähnlichen Merkmalen verteilt werden.
-
Schritt 2.2 - Versendung des Fragebogens
Der Fragebogen kann auf verschiedene Weise an die Stichprobenpopulation verteilt werden (E-Mail, Online-Formulare, persönliche Befragung, Telefon usw.). Für einige dieser Ansätze sind jedoch Kontaktinformationen der Stichprobenpopulation erforderlich. Es gibt auch mehrere Strategien, um die Antwortquote der Stichprobenpopulation zu maximieren.
-
-
Schritt 3 - Analyse der Ergebnisse: Bei der Analyse sind mehrere Mängel zu berücksichtigen, die mit der Erhebungsmethode einhergehen. Insbesondere können die Befragten aus verschiedenen Gründen ungenaue Antworten geben (Missverständnisse, Erinnerungslücken, Bereitschaft zur Beeinflussung der Umfrageergebnisse usw.). Die Ergebnisse der Umfrage sind daher mit Vorsicht zu genießen. Außerdem können je nach Antwortquote bestimmte Kategorien der Bevölkerung überrepräsentiert sein, was das Risiko von Selektionsverzerrungen erhöhen kann. Daher sollte der Fragebogen immer einen ersten Abschnitt über das Profil des Befragten enthalten, in dem nach seinen wichtigsten Eigenschaften gefragt wird. Auf diese Weise können die gesammelten Antworten die angestrebte Stichprobenpopulation angemessen repräsentieren und die Validität der Ergebnisse gewährleisten.
Vor der Analyse müssen die Daten geprüft und aufbereitet werden. Es ist wichtig, die Konsistenz der Daten zu gewährleisten und mögliche Duplikate oder Fehler zu bereinigen. Dies kann spezifische Techniken erfordern, wie z. B. ein integriertes Kontrollsystem, Quervergleiche mit anderen Quellen, Datensatzabgleiche oder analytische Techniken zur Untersuchung irrelevanter Daten (z. B. ungewöhnliche Beträge über oder unter vorgegebenen Schwellenwerten).
Um die Auswirkungen der GAP-Maßnahmen zu erfassen, muss idealerweise ein Erhebungsfragebogen an Begünstigte und Nicht-Begünstigte verteilt werden. Es gibt verschiedene Methoden, um die beiden Gruppen zu vergleichen und festzustellen, inwieweit die beobachteten Veränderungen auf die bewertete Intervention zurückgeführt werden können. Eine davon ist der Vergleich der Veränderungen, die vor und nach der Einführung der Unterstützung für Begünstigte und Nicht-Begünstigte eingetreten sind, unter Verwendung der Differenz-von-Differenzen-Methode (DvD).
Die Antworten zu den Attributen, Präferenzen und Einstellungen der Befragten können mit Hilfe von deskriptiven Statistiken und einfachen Indikatoren wie Prozentsätzen, Durchschnittswerten und Datenverteilung verarbeitet werden. Urteile und Meinungen, die mit Hilfe von Bewertungsskalen und Punktzahlen gesammelt wurden, können ebenfalls quantitativ behandelt werden, um Vergleiche zwischen den verschiedenen Gruppen von Befragten zu ermöglichen. Um Verzerrungen zu vermeiden, müssen bei den Umfrageergebnissen die Antworten nach Interessenvertretern, Standort, Sektor usw. berücksichtigt werden.
Wichtigste Punkte zum Mitnehmen
- Umfragen kombinieren qualitative und quantitative Ansätze für eine umfassende Datenerhebung.
- Deduktive Analysen werden eingesetzt, um Theorien anhand der erhobenen Daten zu validieren.
- Sie füllen Datenlücken, indem sie breitere Schlussfolgerungen aus repräsentativen Stichproben ableiten.
- Umfragen sind für die Sammlung von Primärdaten zu verschiedenen Themen unerlässlich.
- Eine gut konzipierte Umfrage ist der Schlüssel zur Gewinnung genauer und zuverlässiger Erkenntnisse.
Aus der Praxis lernen
The Evaluation of Support for the Expansion of Broadband in Sweden
How to Evaluate RDP Contributions to Animal Welfare: Experiences From Germany
Weiterführende Literatur
- Europäische Kommission, Generaldirektion Landwirtschaft und ländliche Entwicklung, (2023)
Studie zur Unterstützung der Bewertung der Kosten und des Nutzens der Umsetzung von LEADER: Abschlussbericht, Amt für Veröffentlichungen der Europäischen Union - Europäisches Evaluierungsnetzwerk für die Entwicklung des ländlichen Raums für die GAP (2014)
Den Erfolg Ihres EPLRs erfassen: Leitlinien für die Ex-post-Evaluierung der EPLRs 2007-2013