Portail d'apprentissage - Méthode du changement le plus significatif

• complexes et produisent des résultats divers et émergents ;
• de grande envergure avec de nombreux niveaux d'organisation ;
• axées sur le changement social ;
• conçues avec des contacts répétés entre la (les) structure(s) de mise en œuvre et les bénéficiaires ;
• qui se heurtent à des systèmes de suivi conventionnels ;
• des services hautement personnalisés pour les bénéficiaires (tels que les services de conseil agricole).

Conditions préalables

• Engagement des différents groupes impliqués dans le processus et maintien de leur intérêt.
• Bonnes compétences en matière de facilitation et capacité à identifier les priorités.
• Temps disponible (pour l'analyse des histoires et le partage avec les contributeurs et les parties prenantes, répété sur plusieurs cycles).
• Des évaluateurs expérimentés dans l'utilisation de la MSC.

Dans le cadre de la PAC, cette méthode peut être utilisée, en conjonction avec d'autres méthodes qualitatives et quantitatives, pour l'évaluation des types d'interventions suivants :

• Coopération, y compris LEADER.
• L'échange de connaissances et la diffusion d'informations.

Elle peut également être utilisée pour trianguler les résultats de l'analyse quantitative de la plupart des autres types d'interventions et pour identifier les résultats inattendus.

Enfin, elle peut être utilisée dans la préparation des évaluations de la PAC. Par exemple, les critères utilisés par les différents niveaux pour sélectionner les histoires MSC peuvent éclairer la formulation des facteurs de réussite.

• Étape 1 - Présenter la MSC à un ensemble de parties prenantes et susciter l'intérêt et l'engagement à participer.
• Étape 2 - Identifier les domaines de changement à suivre. Il s'agit pour les parties prenantes sélectionnées d'identifier des domaines généraux, tels que les changements dans la qualité de vie des personnes, qui ne sont pas définis avec précision, comme les indicateurs de performance, qui sont délibérément laissés en suspens afin d'être définis ultérieurement par les bénéficiaires réels.
• Étape 3 - Décider de la fréquence du suivi des changements dans ces domaines.
• Étape 4 - Recueillir des témoignages de changements significatifs auprès des personnes les plus directement impliquées, telles que les participants et le personnel chargé de la mise en œuvre. Les récits sont recueillis en posant une question simple telle que : « Au cours du mois dernier, quel a été, selon vous, le changement le plus important survenu pour les participants au programme ? » Au départ, il appartient aux personnes interrogées de classer leurs récits dans une catégorie. En outre, les répondants sont encouragés à faire part des raisons pour lesquelles ils considèrent qu'un changement particulier est le plus important.
• Étape 5 - Sélectionner les récits de changement les plus significatifs en les analysant et en les filtrant à travers les niveaux de gouvernance typiques d'une intervention. Chaque niveau examine une série d'histoires qui lui sont envoyées par le niveau inférieur et sélectionne le récit le plus significatif du changement dans chacun des domaines. Chaque groupe envoie ensuite les récits sélectionnés au niveau suivant de la hiérarchie du programme, et le nombre de récits est réduit selon un processus systématique et transparent. Les critères utilisés pour sélectionner les histoires sont enregistrés à chaque fois qu'elles sont sélectionnées.
• Étape 6 - Communiquer les histoires sélectionnées et les critères utilisés pour les sélectionner à toutes les parties prenantes intéressées afin que le retour d'information des cycles précédents soit pris en compte lors de chaque cycle ultérieur de collecte et de sélection d'histoires. Le mécanisme de mise en œuvre enregistre et ajuste efficacement la direction de son attention - et les critères qu'il utilise pour évaluer les événements qu'il y voit. Après un certain temps d'utilisation de ce processus, par exemple un an, l'autorité de gestion peut produire un document contenant toutes les histoires qui représentent le mieux les résultats qui contribuent le plus aux objectifs de l'intervention. Les histoires sont accompagnées des raisons pour lesquelles elles ont été sélectionnées. Ces informations sont communiquées à toutes les parties prenantes concernées.
• Étape 7 - Vérifier les histoires sélectionnées en visitant les sites où les événements décrits ont eu lieu. L'objectif est double : vérifier que les récits ont été rapportés avec précision et honnêteté, et donner l'occasion de recueillir des informations plus détaillées sur des événements considérés comme particulièrement significatifs. Si elle a lieu quelque temps après l'événement, une visite permet également de voir ce qui s'est passé depuis que l'événement a été documenté pour la première fois.
• Étape 8 - Quantifier les résultats. Lors de la première description d'un changement, il est possible d'inclure des informations quantitatives et qualitatives. Il est également possible de quantifier la mesure dans laquelle les changements les plus significatifs identifiés dans un lieu ont eu lieu dans d'autres lieux au cours d'une période donnée.
• Étape 9 - Effectuer une analyse secondaire en examinant ceux qui ont participé, la manière dont ils ont affecté le contenu et la fréquence à laquelle différents types de changements sont rapportés.
• Étape 10 - Réviser la conception du processus de MSC pour tenir compte des enseignements tirés de son utilisation et de l'analyse de son utilisation.

• Les parties prenantes sont au cœur de la méthode MSC, apportant des perspectives diverses à l'évaluation.
• La MSC se concentre sur les résultats significatifs, souvent inattendus, plutôt que sur les expériences typiques.
• Différente des méthodes conventionnelles, la MSC capture les extrêmes afin d'informer et de guider les interventions.
• Elle est idéale pour les scénarios complexes, les initiatives de changement social et les situations nécessitant un suivi sur mesure.
• Le processus MSC est un parcours systématique allant de la collecte d'informations à l'analyse, au retour d'information et à l'amélioration.

• Simona Cristiano & Patrizia Proietti (2019)Open link in new window
  Evaluating the effects of interactive innovations at farm level: the potential of FADN, The Journal of Agricultural Education and Extension, 25:2, 103-116
• Fink Shapiro, L., Hoey, L., & Colasanti, K. (2021)Open link in new window
  Stories as indicators: Lessons learned using the Most Significant Change Method to evaluate food systems work in Michigan. Journal of Agriculture, Food Systems, and Community Development, 10(2), 399–411
• Davies, R. and Dart, J. (2005)Open link in new window
  The 'Most Significant Change' Technique - A Guide to Its Use

• Réseau européen d'évaluation du développement rural pour la PAC (2014)
  Capturing the success of your RDP: Guidelines for the ex post evaluation of 2007-2013 RDPs (Saisir le succès de votre PDR : Lignes directrices pour l'évaluation ex post des PDR 2007-2013)