Vous est-il déjà arrivé de remplir un rapport de subvention et de constater que les choses que vous aviez dit que vous feriez il y a trois ans semblent avoir été écrites par une personne différente ? Et pourtant, vous savez que vous avez fait du bon travail dans le cadre de la subvention et que de grandes choses en sont sorties... mais ce n'est pas ce que vous pensiez qu'il allait se passer. Lorsque nous travaillons sur des changements systémiques à long terme, les signaux de progrès sont loin d'être linéaires. Nous avons récemment travaillé sur un projet utilisant la cartographie des effets d'entraînement pour résoudre un problème similaire.

Nous avons pu appliquer la cartographie des effets d'entraînement dans son travail d'évaluateur pour le Sperry S. and Ella Graber Packard Fund for Pueblo (Packard Fund). Le Packard Fund a été créé en juin 2019 et a accordé des subventions à des programmes et des entités qui soutiennent les enfants, les jeunes et les familles ou l'impact communautaire à Pueblo. En utilisant la cartographie des effets d'entraînement, nous avons cherché à répondre à la question suivante : Quel a été l'impact du Fonds Packard sur Pueblo ? Notre équipe de projet était dirigée par Bill Fulton et comprenait Daniela Young, Gloria DeLoach et Laura Kam.

La cartographie des effets d'entraînement est un outil d'évaluation qui identifie les résultats plus larges d'une intervention plutôt que de s'arrêter à ses résultats directs. Son objectif est de mettre au jour les effets d'entraînement intentionnels et non intentionnels en cascade. Chaque action que nous entreprenons est comme un rocher qui saute sur l'eau. Elle crée des ondulations, intentionnelles ou non. Cette méthode d'évaluation nous permet de saisir ces ondulations et de voir ce qu'elles ont provoqué à leur tour. Elle est née entre 2007 et 2009 de la convergence des méthodes utilisées pour l'évaluation du Cadre des Capitaux Communautaires et du Programme Horizons (1). Elle combine les étapes des entretiens individuels, des discussions de groupe, de la cartographie des histoires et de l'analyse des données qualitatives.

Tout d'abord, nous avons travaillé avec le personnel du Packard Fund pour déterminer les bonnes parties prenantes qui participeraient à la cartographie des effets d'entraînement. Nous avons décidé d'inviter les bénéficiaires du Packard Fund, car ce sont eux qui connaissent le mieux l'impact direct du fonds à Pueblo et les autres effets d'entraînement de leur travail. Nous avons également décidé d'organiser deux sessions afin que le nombre de participants à chaque session ne soit pas trop important, ce qui empêcherait les participants de s'exprimer, ou trop faible, ce qui empêcherait d'établir des liens entre les histoires qui sont partagées. Nous avons invité 29 organisations bénéficiaires à participer. Les sessions ont finalement réuni 25 représentants de 23 organismes bénéficiaires.

Lors des sessions de cartographie des effets d'entraînement, Bill et Daniela, les animateurs de Canopy, ont présenté le processus et invité les bénéficiaires à mener des entretiens en binôme. L'objectif était double : donner aux bénéficiaires suffisamment de temps pour raconter leur histoire et leur permettre de nouer des liens. Les entretiens en binôme se sont concentrés sur les questions suivantes :

1. Quel est le fait marquant, l'accomplissement ou le succès que vous avez eu grâce à votre implication dans le Fonds Packard ? Quel a été l'aboutissement de cette réalisation ?
2. Quels liens nouveaux ou approfondis avec d'autres personnes (individus, organisations communautaires, gouvernements, organisations philanthropiques) avez-vous noués à la suite de ces efforts ? À quoi ces liens ont-ils abouti ?
3. Quelles sont les choses inattendues qui se sont produites à la suite de votre participation à ces efforts ?

Après les entretiens en binôme, Bill et Daniela ont animé une réflexion de groupe au cours de laquelle les bénéficiaires ont fait part de leurs liens, que nous avons transcrits sur des notes autocollantes et sur une carte mentale en ligne. Les animateurs ont mis l'accent sur la nécessité de saisir les nombreuses façons dont cet effort s'est répercuté et d'assurer un examen rigoureux des liens de cause à effet. Des questions de suivi ont permis de vérifier les liens, par exemple :

• Ce résultat aurait-il été obtenu sans le Fonds Packard ?
• Quelle part de ce résultat peut être attribuée au Fonds Packard ?
• Existe-t-il une autre explication plus convaincante ?

Au fur et à mesure que les parties prenantes partageaient leurs histoires et leurs effets d'entraînement, nous avons veillé à noter les liens de cause à effet plutôt que de simples séquences dans le temps. Voici un bon exemple : Le bénéficiaire de la subvention A a reçu la subvention, a participé à une cohorte de leadership et, à partir de cette cohorte, les portes d'un nouveau bailleur de fonds se sont ouvertes. La conclusion à en tirer serait que la participation au Fonds Packard a ouvert de nouvelles portes à d'autres financements. Un mauvais exemple, non causal, pourrait être le suivant : Le bénéficiaire B a reçu une subvention, puis le COVID a frappé - avec la conclusion que la subvention a causé le COVID. Il doit y avoir une association claire pour déterminer un effet d'entraînement et aucune autre explication plausible ne doit mieux expliquer le lien.

Un bénéficiaire a expliqué comment le Fonds Packard a créé un effet d'entraînement qui a conduit à une collaboration accrue entre les organisations à but non lucratif de Pueblo :

"J'ai eu beaucoup de réalisations (et) de succès grâce à mon implication dans Packard, mais la cohorte de leadership à laquelle j'ai participé a eu l'impact le plus important à long terme. J'ai acquis de nouvelles compétences qui m'ont aidée à réussir en tant que directrice exécutive et j'ai créé un nouveau réseau de collègues professionnels. La cohorte de leadership m'a permis d'entrer en contact avec beaucoup plus d'organisations à but non lucratif. C'était un moyen naturel pour nous d'établir la confiance et de trouver des moyens de collaborer les uns avec les autres. Ces liens ont permis d'obtenir de meilleurs résultats pour notre communauté en étant en mesure d'offrir plus de services en travaillant ensemble.  

Un autre bénéficiaire a raconté comment le fonds Packard a créé un effet d'entraînement qui a contribué à la création du groupe de travail sur le bien-être mental dans le sud du Colorado :

"(Packard) Funding.... (a apporté) des services de bien-être mental aux jeunes - groupes d'entraide pour les jeunes, thérapie individuelle, manuel de bien-être mental pour les jeunes dans le sud du Colorado. Le financement a permis de briser les silos. Grâce à Youth Kickback et aux difficultés rencontrées par les jeunes et les familles pour trouver des services de santé mentale et des services d'urgence, le groupe de travail sur le bien-être mental pour le Colorado du Sud a été créé. 

Ensuite, les animateurs de Canopy ont cherché à identifier les thèmes qui ressortaient des différents récits et à déterminer comment les exemples contenus dans les récits pouvaient être reliés entre eux par le biais des ondulations. En écoutant les récits des uns et des autres, les participants les ont complétés par d'autres récits et d'autres liens. Les principaux thèmes qui sont ressortis des récits des bénéficiaires sont les suivants : le fonds Packard a fourni un financement basé sur la confiance, il a renforcé les capacités de manière réactive et son personnel était basé sur le terrain. Ces caractéristiques du fonds ont conduit à la création de programmes efficaces répondant aux besoins de la communauté, ainsi qu'à des organisations à but non lucratif partageant l'accès aux ressources et bénéficiant d'une plus grande stabilité organisationnelle. L'utilisation du processus de cartographie des effets d'entraînement a été un outil efficace pour démontrer l'impact global du Packard Fund sur Pueblo et mettre en évidence des exemples de collaboration accrue entre les organisations à but non lucratif et de programmes plus solides.

Les images ci-dessous illustrent quelques-uns des effets d'entraînement et des exemples :