Portail d'apprentissage - Les bases de l'évaluation
Qu'est-ce qu'une évaluation ? Comment les évaluations sont-elles structurées ? Comment la PAC est-elle actuellement évaluée ? Plongez dans les bases de l'évaluation de la PAC.
Page contents
Principes de base
En bref
Qu'est-ce que l'évaluation ?
Le suivi, l'évaluation et l'audit sont trois processus souvent mal compris et confondus. Le suivi et l'évaluation sont souvent présentés ensemble parce qu'il s'agit de deux processus interdépendants qui partagent le même objectif, mais ils restent des processus fondamentalement différents - à la fois en termes de portée et d'approche, ainsi qu'en ce qui concerne les personnes chargées de les mener à bien.
Les audits sont des inspections officielles et indépendantes des comptes et des performances d'une organisation. Un audit financier examine si les documents financiers de l'organisation sont une représentation juste et précise des transactions qu'ils sont censés représenter. Un audit de performance est une évaluation indépendante des opérations d'une entité visant à déterminer si des programmes ou des fonctions spécifiques fonctionnent comme prévu pour atteindre les objectifs fixés.
Le suivi est un examen exhaustif et régulier des ressources, des rendements et des résultats des interventions publiques. Il repose sur des informations systématiques obtenues principalement auprès des opérateurs sous la forme de rapports, d'examens, de bilans et d'indicateurs. Le suivi relève généralement de la responsabilité des acteurs qui mettent en œuvre les mesures politiques.
L'évaluation est le processus qui consiste à juger les interventions en fonction de leurs résultats, de leur impact et de la mesure dans laquelle elles répondent aux besoins qu'elles visaient à résoudre. L'évaluation permet de découvrir et de comprendre dans quelle mesure et pourquoi les changements observés peuvent être attribués aux interventions d'une politique. Pour ce faire, les évaluations utilisent non seulement des données de suivi, mais aussi de nombreuses autres sources, qui peuvent ensuite être analysées à l'aide de différentes méthodes quantitatives et qualitatives afin de mieux comprendre les programmes et leurs impacts. Les évaluations peuvent également inclure des analyses approfondies ou des études de cas afin de mieux comprendre une politique dans une situation et un contexte particuliers.
Qui fait l'évaluation ?
L'évaluation relève de la responsabilité des évaluateurs, qui sont indépendants des structures de mise en œuvre. En tant que telle, l'évaluation fournit un « regard extérieur » et se distingue de l'auto-évaluation, qui est effectuée par ceux qui mettent en œuvre une intervention en vue de l'améliorer.
Critères d'évaluation
Les évaluations de la PAC portent sur cinq critères d'évaluation d'une intervention : l'efficacité, l'efficience, la cohérence, la pertinence et la valeur ajoutée de l'UE.
- La pertinence permet d'analyser dans quelle mesure les objectifs et la conception des interventions restent adaptés aux besoins et aux problèmes actuels et futurs de l'UE, y compris les objectifs et les priorités politiques plus larges de l'UE. L'évaluation de la pertinence implique d'examiner les différences et les compromis entre les priorités ou les besoins. Elle nécessite d'analyser tout changement dans le contexte et d'évaluer dans quelle mesure une intervention peut être (ou a été) adaptée pour rester pertinente.
- La cohérence peut être comprise comme la mesure dans laquelle une complémentarité ou une synergie peut être trouvée au sein d'une intervention et en relation avec d'autres interventions. L'analyse de la cohérence peut mettre en évidence des domaines dans lesquels il existe des synergies qui améliorent la performance globale, qui n'auraient pas été possibles si elles avaient été introduites au niveau national, ou mettre en évidence des tensions, par exemple des objectifs potentiellement contradictoires, des chevauchements ou des approches qui entraînent un manque d'efficacité.
- La cohérence externe analyse la mesure dans laquelle les diverses composantes des différentes interventions affectant le même contexte fonctionnent ensemble pour atteindre leurs objectifs.
- La cohérence interne analyse la mesure dans laquelle les différentes composantes d'une même intervention fonctionnent ensemble pour atteindre leurs objectifs.
- L'efficacité peut être comprise comme la mesure dans laquelle l'intervention a atteint, ou est censée atteindre, ses objectifs, y compris les résultats différentiels entre les groupes. L'efficacité peut permettre de savoir si une intervention a atteint les résultats prévus ou escomptés, le processus par lequel cela s'est produit, les facteurs qui ont été déterminants dans ce processus et l'existence éventuelle d'effets imprévus. L'évaluation doit permettre de se faire une opinion sur les progrès réalisés à ce jour et sur le rôle de l'action de l'UE dans l'obtention des changements observés.
- L'efficience est la mesure dans laquelle l'intervention a atteint, ou devrait atteindre, ses objectifs de manière économique et en temps voulu. Le terme « économique » désigne la conversion d'intrants (fonds, expertise, ressources naturelles, temps, etc.) en rendements, résultats et impacts de la manière la plus rentable possible. Cela peut inclure l'évaluation de l'efficacité opérationnelle (c'est-à-dire la qualité de la gestion de l'intervention). L'analyse de l'efficacité doit explorer le potentiel de simplification et de réduction des charges en mesurant les fardeaux administratifs et réglementaires.
La valeur ajoutée de l'UE recherche les changements dus à l'intervention de l'UE par rapport à ce que l'on aurait pu raisonnablement attendre des seules actions nationales des États membres. Dans les domaines politiques où l'UE a une compétence non exclusive, l'analyse de la valeur ajoutée de l'UE devrait explorer l'application réelle du principe de subsidiarité en évaluant la valeur ajoutée de l'action de l'UE par rapport à celle d'autres acteurs.
Éléments d'un système d'évaluation
Définition des éléments
Un système d'évaluation se compose des éléments essentiels suivants : une logique d'intervention, des questions d'évaluation et les critères de jugement correspondants (ou facteurs de réussite), ainsi que des indicateurs.
-
Venn diagram
Questions d'évaluation / critères de jugement
< Approche / méthodes d'évaluation Logique d'intervention
Indicateurs
< Données et informations
Logique d'intervention
La logique d'intervention fournit une description (narrative) et est généralement présentée sous la forme d'un diagramme résumant la manière dont l'intervention est censée fonctionner. En d'autres termes, elle décrit la logique attendue de l'intervention ou la chaîne d'événements qui devrait conduire au changement souhaité. La logique d'intervention est un outil qui permet d'expliquer (et souvent de visualiser) les différentes étapes et les acteurs impliqués dans une intervention, ainsi que leurs dépendances, présentant ainsi les relations de « cause à effet » attendues. La logique d'intervention sert de base aux évaluations.
Questions d'évaluation et critères de jugement
Les questions d'évaluation définissent les domaines clés à évaluer par rapport aux objectifs politiques. Les questions doivent être formulées de manière à obliger l'évaluateur à fournir une réponse complète, fondée sur des données probantes, qui améliore la compréhension de la performance d'une intervention de l'UE par rapport aux cinq critères d'évaluation.
Chaque question d'évaluation doit être associée à un ou plusieurs critères de jugement (facteurs de réussite). Ces critères sont utilisés pour définir ce que serait la réussite par rapport à la question d'évaluation. Ils servent également de base à l'identification des indicateurs qui peuvent être utilisés pour mesurer l'étendue des réalisations et, par conséquent, répondre à la question d'évaluation.
Les indicateurs
Un indicateur est un outil permettant de mesurer la réalisation d'un objectif (par exemple, une ressource mobilisée, un rendement obtenu ou un effet obtenu). Les indicateurs servent également à décrire le contexte (économique, social ou environnemental). Les informations fournies par un indicateur sont utilisées comme outil de mesure. Les indicateurs sont des agrégats de données qui permettent de quantifier (et de simplifier) un phénomène. Les indicateurs sont les outils de mesure qui permettent de collecter des données pour toutes les évaluations.
Réunir tous les éléments
Pour réaliser des évaluations, ces trois éléments doivent être nourris par différentes approches, méthodes, données et informations en matière d'évaluation.
Une approche d'évaluation est une manière de mener une évaluation. Elle couvre la conceptualisation et la mise en œuvre pratique d'une évaluation afin de produire des éléments probants sur les effets des interventions et leurs réalisations. Les méthodes d'évaluation sont des types de techniques et d'outils d'évaluation qui répondent à des objectifs différents. Elles consistent généralement en des procédures et des protocoles qui garantissent la cohérence de la manière dont chaque évaluation est entreprise. Les approches et les méthodes d'évaluation permettent d'attribuer les effets et les impacts d'une intervention spécifique, aidant ainsi les décideurs politiques à comprendre sa valeur réelle.
Données, données, données
Les données sont des informations quantitatives sur des indicateurs ou des variables sélectionnés qui peuvent être collectées à partir de la source elle-même (par exemple, par le biais d'enquêtes, de suivi et de statistiques d'entités) ou secondairement par le biais de sources préexistantes (études, statistiques agrégées, etc.). Des informations qualitatives peuvent également être recueillies pour fournir un contexte à l'évaluation et être collectées principalement auprès de diverses parties prenantes (gestionnaires d'intervention, bénéficiaires, etc.) tout en utilisant diverses méthodes qualitatives ou mixtes (enquêtes, études de cas, groupes de discussion, entretiens, etc.) Les données et les informations constituent les éléments probants de l'évaluation.
Cohérence
Le schéma suivant montre les liens de cohérence entre la logique d'intervention et les autres éléments, questions et indicateurs de l'évaluation. Ceux-ci doivent être décidés avant le début de l'évaluation. Le schéma montre la logique d'intervention générique pour les programmes de développement rural pour la période 2014-2022.
-
La logique d'intervention des programmes de développement rural 2014-2022 présentée dans le schéma commence par l'identification des besoins au moyen d'une analyse SWOT et par la définition d'une hiérarchie d'objectifs (objectifs globaux, spécifiques et de mesure). Les interventions politiques (mesures, activités, projets) sont ensuite conçues et mises en œuvre à l'aide d'intrants financiers alloués (euros). L'efficacité, l'efficience, la pertinence et la cohérence de ces interventions sont évaluées à l'aide des éléments d'évaluation définis (questions d'évaluation connexes, critères de jugement et indicateurs, y compris les valeurs cibles). Les effets politiques attendus sont évalués en comparant les rendements, les résultats et les impacts attendus et réalisés.
Les encadrés bleus montrent la relation entre les besoins identifiés dans l'analyse SWOT et l'évaluation des besoins (formulés sous forme d'objectifs), les actions (mesures, activités et projets) soutenues par un budget qui seront entreprises pour atteindre les objectifs et les effets escomptés. Ces boîtes bleues constituent la logique d'intervention. Les effets escomptés sont définis comme des rendements, des résultats et des impacts :
- Les rendements sont des actions financées et accomplies avec l'argent alloué à une intervention. Les rendements peuvent prendre la forme d'installations ou de travaux (par exemple, la construction d'une route, un investissement agricole ou un hébergement touristique). Ils peuvent également prendre la forme de services immatériels (par exemple, des formations ou des conseils).
- Les résultats sont les avantages/inconvénients directs que les bénéficiaires obtiennent à la fin de leur participation à une intervention publique ou dès qu'une installation financée par une intervention a été achevée. Les résultats peuvent être observés lorsqu'un bénéficiaire ou un opérateur achève une action et rend compte de la manière dont les fonds alloués ont été dépensés et gérés. Cela peut se traduire de différentes manières, par exemple en signalant que l'accessibilité a été améliorée grâce à la construction d'une route ou que les entreprises qui ont reçu des conseils se déclarent satisfaites. Ces résultats doivent faire l'objet d'un suivi régulier. Les décideurs politiques peuvent adapter la mise en œuvre de l'intervention en fonction des résultats obtenus.
- Les impacts font généralement référence aux changements associés à une intervention particulière sur le long terme. Ces impacts peuvent se produire à différents moments, toucher différents acteurs et être pertinents à différentes échelles (par exemple, aux niveaux local, régional, national et européen).
Les encadrés oranges représentent les questions d'évaluation, qui sont généralement des questions de cause à effet portant sur les effets nets et liées aux objectifs. Les questions d'évaluation peuvent être précisées par des critères de jugement qui définissent la manière dont le succès doit être atteint pour chaque objectif (global et spécifique). Ils relient les objectifs aux indicateurs.
Les encadrés verts représentent les indicateurs, qui doivent être cohérents avec les critères de jugement ou les questions d'évaluation et avec les effets escomptés (c'est-à-dire les rendements, les résultats et les impacts).
Plusieurs types d'indicateurs peuvent être utilisés :
- Les indicateurs de rendement mesurent les activités directement réalisées dans le cadre d'un programme. Ces activités constituent la première étape vers la réalisation des objectifs opérationnels d'une intervention et sont mesurées en unités physiques ou monétaires (par exemple, le nombre de sessions de formation organisées, le nombre d'exploitations agricoles bénéficiant d'un soutien à l'investissement ou le volume total d'investissement).
- Les indicateurs de résultats mesurent les effets directs et immédiats d'une intervention. Ils peuvent fournir des informations sur les changements intervenus, par exemple, dans le comportement, la capacité ou la performance des bénéficiaires directs et sont mesurés en termes physiques ou monétaires (par exemple, le nombre brut d'emplois créés et les résultats des formations réussies). Les indicateurs de résultats sont utilisés pour répondre aux objectifs spécifiques liés aux questions d'évaluation.
- Les indicateurs d'impact se réfèrent aux résultats des interventions au-delà des effets immédiats. Les indicateurs d'impact sont normalement exprimés en termes « nets », c'est-à-dire en soustrayant du total les effets qui ne peuvent être attribués à l'intervention elle-même et en tenant compte des effets indirects (par exemple, la productivité totale des facteurs dans l'agriculture, les émissions provenant de l'agriculture, la qualité de l'eau et le degré de pauvreté rurale). Les indicateurs d'impact mesurent les effets d'un programme sur la zone dans laquelle il est mis en œuvre. Les indicateurs d'impact sont utilisés pour répondre aux questions d'évaluation liées aux objectifs généraux.
Des valeurs cibles sont souvent attribuées aux indicateurs. Ces cibles sont des valeurs établies sur la base des informations existantes que les programmes tentent de réaliser pour atteindre les effets, les objectifs et les besoins escomptés.
Le schéma suivant montre un exemple de liens de cohérence entre les différents éléments d'évaluation d'un programme politique hypothétique conçu pour traiter le problème des émissions provenant de l'agriculture.
-
Les schémas montrent un exemple de logique d'intervention spécifique pour les interventions du PDR, qui vise à lutter contre le changement climatique en se concentrant sur la réduction des émissions provenant de l'agriculture et sur l'augmentation de la production d'énergies renouvelables. Les apports financiers (euros) soutiennent les start-ups et les entreprises existantes pour produire des énergies renouvelables.
L'objectif opérationnel est d'augmenter le nombre d'entreprises produisant des énergies renouvelables. L'indicateur de rendement est le nombre d'entreprises produisant des énergies renouvelables, et le rendement attendu est un plus grand nombre d'entreprises impliquées dans la production d'énergies renouvelables.
L'objectif spécifique est d'augmenter la production d'énergies renouvelables. Il est évalué en demandant si la stratégie ou le programme a contribué à l'augmentation de la production d'énergies renouvelables. Le critère de réussite est l'augmentation de la production d'énergies renouvelables, l'indicateur de résultat étant la quantité d'énergie renouvelable produite par les projets soutenus. Le résultat attendu est une augmentation du volume d'énergies renouvelables produites.
L'objectif global est de réduire les émissions. Cet objectif est évalué en demandant si la stratégie ou le programme a contribué à la réduction des émissions. Le critère de réussite est que les émissions ont diminué, l'indicateur d'impact étant les tonnes de méthane, d'ammoniac et d'oxyde nitreux réduites. L'impact attendu est une réduction des émissions.
Matériel de formation
Key evaluation concepts for 2023-2027 based on Regulation (EU) 2022/1475 in relation to the evaluation of CAP Strategic Plans
(PPTX – 12.26 Mo)