Évaluation des interventions axées sur les résultats

Les interventions axées sur les résultats (RBI) dans le cadre de la politique agricole commune (PAC) sont celles qui prévoient un paiement – ou au moins une partie de celui-ci – aux bénéficiaires qui est directement lié à la réalisation de résultats définis et vérifiables et qui dépend de ces derniers.

Cette définition dépend de la manière dont les résultats sont définis. Les résultats sont des paramètres mesurables directement liés à l'objectif auquel l'intervention vise à contribuer (par exemple, pour la biodiversité, le nombre d'espèces présentes dans une prairie bénéficiant d'une aide). Ils peuvent toutefois également inclure des mesures reflétant une réduction des pressions ou des menaces pesant sur l'environnement (par exemple, la mesure de la réduction de l'utilisation de pesticides plutôt que la concentration de substances actives dans les masses d'eau). Ces résultats peuvent être vérifiés par un suivi sur place ou prévus à l'aide d'approches de modélisation scientifique robuste lorsque le suivi sur place n'est pas possible. Dans le cas d'approches de modélisation, un auditeur indépendant peut être nécessaire pour vérifier les résultats à un moment approprié afin de mieux qualifier les RBI.

Les principales caractéristiques des RBI sont les suivantes :

La biodiversité est l'objectif le plus courant auquel les RBI contribuent. Une surveillance efficace de la biodiversité nécessite souvent une combinaison d'indicateurs, comprenant à la fois des mesures biotiques (par exemple, la présence d'espèces) et non biotiques (par exemple, la structure des habitats).

Peu d'initiatives axées sur les résultats traitent de la qualité de l'eau et des sols. Elles utilisent principalement des indicateurs liés à la réduction des pressions et des menaces pesant sur ces ressources naturelles afin de surmonter les difficultés liées au décalage temporel nécessaire pour mesurer les impacts réels en termes de bilan azoté, par exemple. Des approches innovantes telles que des indicateurs au niveau des bassins versants peuvent également être nécessaires.

Bien que le rapport n'ait recensé qu'un seul exemple d'intervention liée au bien-être animal, les connaissances sont considérables en matière d'indicateurs pouvant être utilisés à cette fin et pour l'utilisation des antimicrobiens. Combinés à des systèmes de surveillance spécifiques du bétail, ils peuvent servir de base à des processus efficaces de surveillance, de notification et de vérification.

Une intervention recensée dans les plans stratégiques relevant de la PAC, relative à l'agriculture à faible intensité d'émissions de carbone, utilisait les changements dans le bilan carbone des exploitations agricoles comme indicateur de résultat. Il existe toutefois de nombreuses approches en dehors de la PAC qui fonctionnent dans le cadre de marchés volontaires du carbone. Il s'agit de systèmes publics, semi-publics et privés qui s'appuient sur la modélisation du potentiel d'un ensemble de pratiques visant à réduire les émissions de gaz à effet de serre (GES) ou à augmenter la séquestration du carbone afin d'estimer les résultats et de calculer les paiements. Dans certains cas, ces résultats modélisés sont ensuite vérifiés par des mesures du sol sur le terrain.

Bien que les RBI aient été développés pour contribuer principalement à un certain objectif (par exemple, la biodiversité), elles offrent souvent des avantages connexes qui étendent leur contribution à d'autres objectifs, par exemple la qualité de l'eau ou des sols. Cela signifie que les RBI peuvent être conçues pour s'adapter à une approche globale de l'exploitation agricole qui rémunère les bénéficiaires pour l'ensemble des services environnementaux qu'ils fournissent. Toutefois, la complexité inhérente à la conception d'interventions visant plusieurs objectifs et avantages connexes nécessite une planification minutieuse tant pour les bénéficiaires que pour les administrateurs. Pour y remédier, des tableaux de bord peuvent être utiles pour lier les paiements aux résultats, ce qui permet des évaluations complètes et holistiques de l'ensemble des objectifs environnementaux.

Les exemples de RBI inclus dans les plans stratégiques relevant de la PAC n'ont pas encore été évalués. Toutefois, diverses études d'évaluation ont été menées dans différents pays et contextes agricoles. Elles mettent en évidence des thèmes, des méthodologies et des résultats communs, qui définissent l'ordre du jour des évaluations et des recherches futures. Plusieurs études (voir la section « Leçons tirées de la pratique » pour plus de détails) ont été menées, certaines évaluant des politiques ou des réformes politiques réelles, d'autres évaluant des scénarios réalistes basés sur des simulations.

Interventions axées sur l'action ou sur les résultats

L'objectif de l'évaluation des RBI ne diffère pas de celui de l'évaluation de toute autre intervention. Toutefois, l'évaluation doit tenir compte des spécificités découlant des différences entre l'approche axée sur l'action et les RBI.

Selon la boîte à outils « Mieux légiférer » de la Commission européenne, les objectifs et les cibles de la politique pour chaque bénéficiaire et les interventions correspondantes doivent être exprimés en unités physiques de résultats environnementaux et comparés à une base de référence. Par exemple, évaluer l'efficacité brute signifie que la base de référence, les objectifs et les progrès peuvent être mesurés en unités physiques de résultats environnementaux. En d'autres termes, pour exploiter pleinement le potentiel des RBI afin de mieux démontrer la performance de la politique, les objectifs, ainsi que les cibles fixées au niveau des États membres ou des interventions, doivent être alignés sur la manière dont les résultats sont mesurés au niveau des bénéficiaires.

La deuxième différence importante entre les RBI et les interventions axées sur l'action tient au fait que le paiement est subordonné à la réalisation de résultats environnementaux ou agricoles spécifiques. Cela entraîne une incertitude et un risque perçus comme plus élevés pour les deux parties au contrat, à savoir les agriculteurs et les administrations. Dans le cadre des RBI, le risque de non-paiement est plus élevé pour les bénéficiaires, car les paiements sont subordonnés à la réalisation et à la mesure précise de résultats spécifiques.

Ce risque peut constituer un obstacle à la participation, créant une incertitude pour l'administration quant à la réalisation des objectifs fixés dans le plan stratégique relevant de la PAC et aux implications pour l'attestation et l'examen des performances. Du point de vue de l'évaluation, la perception d'un risque plus élevé que d'habitude peut avoir une incidence sur les taux d'adoption et la satisfaction des agriculteurs et introduire un biais concernant l'attitude face au risque, qui s'ajoute à un biais lié à la compréhension et à la familiarité avec les RBI. Cela aura de graves implications pour l'efficacité du régime et les options méthodologiques dont dispose l'évaluateur.

Mesure des résultats

Les indicateurs utilisés pour mesurer les résultats sont essentiels pour calculer les paiements aux bénéficiaires. Ils doivent présenter des caractéristiques spécifiques qui garantissent leur fiabilité, leur caractère pratique et leur adéquation avec les objectifs de l'intervention. Les évaluateurs doivent veiller à ce que les indicateurs soient :

Évaluation ex ante des RBI

Étape 1 – Réaliser une analyse SWOT et/ou une évaluation des besoins

L'évaluation ex ante garantit la pertinence des interventions en vérifiant que les RBI proposées sont conformes aux besoins identifiés dans le plan stratégique relevant de la PAC au moyen d'une analyse SWOT et d'une évaluation des besoins.

Étape 2 – Identifier les besoins auxquels une RBI vise à répondre, ainsi que les objectifs auxquels elle vise à contribuer

Cette évaluation se fonde sur les besoins identifiés auxquels une RBI vise à répondre et les objectifs auxquels elle contribue. Ceux-ci déterminent la définition des résultats attendus et les indicateurs utilisés pour les mesurer, qui influencent à leur tour la perception des risques par les bénéficiaires et les défis auxquels l'administration est confrontée.

Les évaluateurs doivent examiner attentivement les caractéristiques des indicateurs décrits à la section 2 du rapport thématique et s'assurer qu'ils sont conformes aux critères suivants :

1. Objectifs définis
2. Mesurabilité
3. Sensibilité aux changements
4. Faisabilité
5. Rentabilité
6. Pertinence pour les parties prenantes
7. Établissement d'une base de référence
8. Applicabilité aux contextes locaux

Si les caractéristiques ci-dessus ne sont pas prises en compte, cela se traduira par une diminution de la précision, du suivi et de la rentabilité globale des interventions observées dans l'évaluation des RBI.

Étape 3 – Déterminer si la formulation des résultats et des indicateurs répond aux critères requis

Les évaluateurs ex ante doivent déterminer si la formulation des résultats et des indicateurs correspondants répond aux caractéristiques requises, telles que décrites dans la section « Mesure des résultats » ci-dessus.

Étape 4 – Élaborer un plan de gestion des risques pour les RBI

Un plan de gestion des risques garantit que les interventions proposées atteignent leurs objectifs tout en suscitant la participation des bénéficiaires sans générer d'impacts économiques, sociaux ou environnementaux négatifs.

Les évaluateurs peuvent suivre le plan de gestion des risques suivant pour les RBI observées :

Identifier les risques

• Risques économiques : évaluer les problèmes potentiels tels que l'insuffisance des paiements, les coûts initiaux élevés, l'instabilité des conditions du marché et la faible rentabilité.
• Risques sociaux : identifier les risques de marginalisation des ménages vulnérables ayant un accès limité aux ressources, aux compétences ou à l'information.
• Risques environnementaux : tenir compte des incidences négatives involontaires sur l'environnement.

Pour faire face aux risques identifiés, il convient de mener des consultations avec les parties prenantes, ainsi que des évaluations sur le terrain et des études de référence afin de recueillir des informations sur les risques susmentionnés.

Analyser et évaluer les risques

• Analyse de probabilité et d'impact : évaluer la probabilité et la gravité de chaque risque identifié.
• Identification des groupes vulnérables : veiller à ce que tous les groupes concernés soient pris en compte.

Des méthodes qualitatives et quantitatives doivent être utilisées pour estimer l'exposition (et l'ampleur) des différents groupes et participants aux risques.

Mettre en œuvre un suivi et une gestion adaptative.

• Suivi continu : suivre en temps réel les indicateurs économiques, sociaux et environnementaux.
• Gestion adaptative : concevoir un cadre flexible permettant de modifier les RBI en fonction des données de suivi disponibles.

Des tableaux de bord, des évaluations sur le terrain et un suivi participatif peuvent être utilisés pour établir une boucle de rétroaction qui garantit que les interventions sont adaptées et fondées sur des données.

Élaborer des stratégies d'atténuation des risques.

• Atténuation économique : veiller à ce que les RBI disposent de structures de paiement adéquates, envisager des modèles hybrides et fournir un soutien financier (par exemple, des subventions, des prêts à faible taux d'intérêt, etc.).
• Atténuation sociale : rendre les critères de participation inclusifs et flexibles afin de tenir compte de la diversité des ménages.
• Atténuation environnementale : utiliser des approches de gestion adaptatives pour surveiller les pratiques en temps réel et sélectionner des indicateurs environnementaux qui évitent les conséquences imprévues.

Un plan d'atténuation doit être élaboré pour chaque risque afin de garantir des stratégies d'adaptation claires si les risques se concrétisent. En outre, les parties prenantes doivent être associées à la conception des solutions.

Renforcer la résilience et élaborer des plans d'urgence.

• Renforcement de la résilience : veiller à ce que les RBI encouragent les pratiques qui améliorent les facteurs environnementaux et socio-économiques.
• Planification d'urgence : se préparer aux risques à forte probabilité et à fort impact (par exemple, les phénomènes météorologiques extrêmes) en élaborant des stratégies alternatives pour l'allocation des ressources et l'ajustement des paiements.

Une description claire des mesures à prendre en cas de chocs ou de perturbations imprévus garantit que les participants ne sont pas pénalisés de manière injuste en raison d'événements de force majeure.

Étape 5 – Sélectionner les bons indicateurs

Les indicateurs utilisés pour mesurer les résultats doivent être clairs, facilement identifiables et mesurables par les bénéficiaires et les acteurs chargés du suivi (c'est-à-dire les organismes payeurs). Ils doivent être alignés sur des objectifs environnementaux et climatiques acceptables pour les gestionnaires fonciers, être sensibles aux changements dans les pratiques agricoles et minimiser l'influence des facteurs externes afin de réduire les risques pour les gestionnaires fonciers.

En outre, des indicateurs non liés au paiement peuvent fournir une vue plus complète de l'impact environnemental d'une RBI, par exemple en suivant l'abondance et la diversité des invertébrés pour évaluer la biodiversité. Ces indicateurs contribuent à atténuer le risque que des facteurs externes masquent les résultats clés, à améliorer la compréhension des objectifs environnementaux par les gestionnaires fonciers et à identifier les risques potentiels ou les conséquences imprévues, telles que la favorisation d'une espèce au détriment d'une autre. L'expérience met également en évidence les difficultés liées à l'établissement d'un lien entre les changements dans la gestion des exploitations agricoles et les résultats environnementaux. Certains impacts peuvent ne pas être immédiatement mesurables, ce qui nécessite un suivi à long terme. Par exemple, les RBI ciblant la qualité de l'eau peuvent être plus efficaces au niveau du bassin versant, impliquant à la fois les gestionnaires de terres agricoles et non agricoles, car l'agriculture n'est un facteur contributif et n'est pas toujours le plus important.

Pour les RBI dont les effets ne peuvent pas se manifester efficacement au cours des premières années de mise en œuvre, une bonne pratique consiste à développer un système de suivi évolutif. Ce système peut initialement utiliser des indicateurs de pression et de menace – c'est-à-dire ceux liés à la qualité des sols et de l'eau – pour évaluer les impacts à un stade précoce, puis intégrer progressivement des indicateurs d'impact direct afin de mesurer les effets à long terme de l'intervention.

L'évaluation doit examiner comment les indicateurs s'inscrivent dans le CCSE et comment ils sont liés aux indicateurs d'impact du CCSE, y contribuent ou les complètent.

Supposons que la RBI observée soit conçue pour couvrir de vastes zones ou pour produire des résultats considérables et cruciaux. Dans ce cas, une évaluation ex ante peut envisager l'élaboration d'une stratégie de gestion des risques et la couverture des RBI contre les faibles taux d'adoption et les risques administratifs qui en découlent, à savoir l'incapacité de produire des résultats grâce à cette intervention. L'annexe IV du rapport décrit les étapes et le contenu d'une stratégie de gestion des risques pour les RBI pendant l'évaluation ex ante.

Évaluation des RBI pendant la mise en œuvre (évaluation continue)

Étape 1 – Établir les bases d'une évaluation continue

L'évaluation continue garantit l'efficacité des RBI en mettant l'accent sur des résultats environnementaux mesurables plutôt que sur la simple conformité aux mesures prescrites. Les paiements étant directement liés aux résultats, des systèmes de suivi sophistiqués sont nécessaires pour vérifier les impacts réels. Les bénéficiaires peuvent choisir leurs pratiques de gestion, ce qui rend l'évaluation plus dynamique et plus adaptée au contexte. Toutefois, des facteurs externes tels que les conditions météorologiques et les nuisibles ajoutent une part d'incertitude, ce qui nécessite une approche plus adaptative que les programmes basés sur des actions.

Étape 2 – Mettre en place un suivi fréquent et des mesures d'atténuation des risques

Une évaluation régulière est nécessaire pour suivre les progrès, évaluer si les résultats attendus sont atteints et identifier les risques externes. Compte tenu des incertitudes inhérentes aux RBI, des stratégies de gestion adaptatives doivent être mises en place pour garantir que des facteurs indépendants de leur volonté ne désavantagent pas injustement les participants.

Étape 3 – Évaluer les questions clés pendant la mise en œuvre

L'évaluateur doit déterminer si les taux d'adoption sont satisfaisants et si les résultats attendus peuvent être atteints de manière réaliste dans le délai prévu pour l'intervention. La précision des systèmes de suivi, de rapport et de vérification (MRV) doit également être garantie sans créer de charges inutiles pour les bénéficiaires. La cohérence avec d'autres interventions doit également être évaluée afin d'identifier les compromis ou les conflits qui pourraient survenir.

Étape 4 – Évaluer d'autres logiques d'intervention

Étant donné que les bénéficiaires peuvent choisir leurs pratiques de gestion, il est possible que différentes logiques d'intervention émergent, qui relieront les pratiques de gestion aux résultats obtenus. Ces logiques d'intervention alternatives pourraient être comparées en fonction de leur difficulté, de leur coût, de leur efficacité et de leur efficience. Les évaluateurs devraient également tenir compte des avantages connexes potentiels et évaluer dans quelle mesure chaque logique d'intervention correspond aux différents objectifs auxquels elle peut contribuer. Ces informations peuvent aider à déterminer quelle logique d'intervention est la plus facilement transposable à d'autres contextes.

Étape 5 – Formuler des recommandations et des stratégies d'adaptation

Sur la base des résultats de l'évaluation, des ajustements peuvent être nécessaires pour améliorer l'adoption et l'efficacité globale. Les recommandations devraient se concentrer sur l'amélioration des mécanismes de mise en œuvre, l'atténuation des risques et le renforcement du soutien aux participants par le biais de conseils ciblés et du renforcement des compétences.

Étape 6 – Évaluer les processus d'apprentissage et d'adaptation

Une partie essentielle de l'évaluation continue consiste à comprendre comment les bénéficiaires et les administrateurs tirent des enseignements du processus. Les évaluateurs doivent évaluer comment le renforcement continu des capacités contribue à améliorer la mise en œuvre, à obtenir de meilleurs résultats et à accroître l'adoption des RBI au fil du temps.

Évaluation après l'achèvement des RBI (évaluation sommative)

Étape 1 – Établir les bases de l'évaluation sommative

L'évaluation sommative a lieu après l'achèvement d'une intervention afin d'évaluer la qualité globale de la mise en œuvre des RBI. Elle s'appuie sur les évaluations continues et les données finales sur les bénéficiaires et les résultats obtenus. L'objectif principal est de tirer des enseignements et de formuler des recommandations pour améliorer les politiques futures, en identifiant les approches efficaces et les domaines à améliorer.

Étape 2 – Évaluer les taux d'adoption et la diversité des participants

Les évaluateurs doivent examiner l'hétérogénéité des adoptants potentiels et évaluer dans quelle mesure les biais de sélection ont pu influencer l'adoption. Le processus d'adoption doit être analysé en termes de risques perçus, d'équité et d'inclusivité. La compréhension des niveaux de participation permet de mieux appréhender l'accessibilité et l'efficacité de l'intervention pour atteindre diverses communautés agricoles.

Étape 3 – Évaluer l'efficacité et l'impact des RBI

L'ampleur de l'impact environnemental doit être évaluée en examinant les taux d'adoption et la mesure dans laquelle l'intervention a atteint les résultats escomptés. Cela comprend l'évaluation des obstacles et des facteurs de motivation qui ont influencé la participation et les aspects socio-économiques de l'intervention. Les enseignements tirés des études sur l'adoption et des enquêtes de satisfaction peuvent aider à affiner les interventions futures.

Étape 4 – Déterminer l'additionnalité et les effets nets

L'évaluation sommative vise principalement à déterminer l'additionnalité et à établir si les résultats auraient été atteints sans le soutien de la PAC. L'établissement de bases de référence environnementales au début des interventions permet de quantifier l'impact supplémentaire. La comparaison entre les exploitations participantes et les exploitations non bénéficiaires peut améliorer encore la précision des évaluations des effets nets.

Étape 5 – Analyser l'intégration avec les indicateurs du CCSE

Les RBI génèrent des données exhaustives qui peuvent compléter les indicateurs du CCSE, en particulier pour mesurer les impacts environnementaux et climatiques. En alignant les indicateurs des RBI sur les mesures du CCSE, les évaluateurs peuvent mieux attribuer les changements observés aux interventions politiques et améliorer les efforts de suivi futurs.

On trouve des exemples de complémentarités entre les indicateurs des RBI et du CCSE pour les objectifs suivants :

Biodiversité

Water quality

Soil quality

Climate change mitigation

Animal welfare

Étape 6 – Formuler des recommandations pour la conception des politiques futures

Sur la base des résultats de l'évaluation, les recommandations devraient se concentrer sur l'amélioration de la conception des interventions, des processus de suivi et des efforts de renforcement des compétences. La suppression des obstacles identifiés, l'affinement des stratégies d'adoption et le renforcement des méthodologies d'évaluation contribueront à améliorer l'efficacité des futures RBI.

Les évaluations sommatives des RBI devraient évaluer la permanence des résultats environnementaux et déterminer si les pratiques se poursuivent au-delà des incitations financières. Les évaluateurs doivent saisir les co-bénéfices parallèlement aux résultats primaires, en utilisant des indicateurs et des méthodologies plus larges tout en tenant compte des effets négatifs potentiels tels que le report des problèmes et les fuites. Une évaluation complète se justifie pour les RBI à grande échelle ayant un impact agricole significatif, tandis que les interventions de moindre envergure devraient se concentrer sur la mise en évidence des risques et des avantages.

Les avantages connexes s'alignent souvent sur d'autres objectifs du plan stratégique relevant de la PAC, ce qui souligne la nécessité d'évaluer la cohérence. L'efficacité du ciblage spatial devrait être évaluée afin de garantir une allocation optimale des ressources. Enfin, les évaluations sommatives doivent examiner les stratégies de gestion adaptative et d'atténuation des risques, en analysant leur efficacité pour relever les défis et favoriser la résilience à long terme.

Block, J.B., Hermann, D. and Mußhoff, O., (2024).