Annexe V : Cadre de l’évaluation formative et sommative

Évaluation formative

L’expérience des municipalités canadiennes qui sont plus avancées dans le processus deCAAlaisse croire que les premières étapes de l’exécution de votre plan d’action amèneront divers intervenants à mettre en œuvre des programmes ou des projets à petite échelle, au lieu de susciter une seule grande intervention qui nécessite un réseau complexe de collaborations. Pour augmenter vos chances de succès, communiquez les nouveaux défis et les leçons entre intervenants.

Une évaluation formative organisée efficacement constitue une façon de contribuer à rendre cette communication possible. Plus précisément, il sera primordial de prendre en compte la progression logique des initiatives de la façon décrite dans votre plan d’action. Vous pourrez ainsi déterminer comment vous évaluerez un programme actuel ou comment vous mettrez en place un projet avec l’organisation ou la personne responsable de la prochaine initiative de la séquence. En ce faisant, vous pouvez régler des enjeux qui sont importants pour toutes les parties et, ce qui importe davantage, tirer les leçons permettant d’orienter des résultats qui comblent mieux les besoins des personnes âgées.

Les évaluations formatives se fondent généralement sur les questions et les sources de données suivantes; vous devez les étudier pour mieux concentrer vos efforts. Pour obtenir des conseils plus approfondis sur la tenue d’une évaluation formative, prière de lire le chapitre 5, « Formative and Process Evaluation », dans Rosye et al., 2010, et le chapitre 9,« Implementation Evaluation: What Happened in the Program », dans Patton, 2008.

Questions d’évaluation formative

1. Qu’est-ce que les divers intervenants — participants, membres du personnel, administrateurs, bailleurs de fonds — considèrent important pour le programme? Dans quelle mesure ces perceptions sont-elles similaires ou différentes? Quel est le fondement et quelles sont les répercussions des différentes perceptions?
2. Quelle est la rétroaction du participant et des membres du personnel sur les mécanismes du programme? Qu’est-ce qui fonctionne bien et qui ne fonctionne pas si bien, selon eux?
3. Quels défis et quels obstacles ont pris naissance à la mise en œuvre du programme? Comment ont réagi les membres du personnel à ces défis et à ces obstacles? Quels bogues devez-vous régler?
4. Quelles hypothèses originales se sont avérées? Quelles hypothèses semblent problématiques? Dans quelle mesure l’évaluation originale des besoins a-t-elle été exacte? Dans quelle mesure, s’il y a lieu, les besoins réels des participants diffèrent-ils de ce qui avait été planifié?
5. Que font les participants dans le programme? Quelles sont leurs activités principales (en détails)? Quelle expérience vivent-ils? Dans quelle mesure ces expériences donnentelles des résultats immédiats ou les résultats à court terme que vous souhaitiez? Pourquoi ou pourquoi pas? Pour l’essentiel, le modèle semble-t-il fonctionner?
6. Qu’est-ce que les participants aiment et n’aiment pas? Savent-ils ce qu’ils sont censés accomplir comme participants? Adhèrent-ils aux objectifs du programme et aux résultats souhaités?
7. Dans quelle mesure les membres du personnel fonctionnent-ils bien ensemble? Connaissent-ils les résultats visés et sont-ils d’accord avec ceux-ci? Dans quelle mesure sont-ils d’accord avec les objectifs et les résultats visés du programme? Quelles sont les perceptions des participants? Des administrateurs? De leurs propres rôles et de leur efficacité?
8. Qu’est-ce qui a changé par rapport à la conception originale et pourquoi? Pourquoi a-ton adapté la conception originale? Qui doit « approuver » ces changements? Comment ces changements sont-ils documentés et reflétés, s’il y a lieu?
9. Quel système de suivi a été établi pour évaluer la mise en œuvre sur une base continue et comment est-il utilisé?^{footnote 23[23]}

Sources de données sur l’évaluation formative

1. Caractéristiques socio-démographiques du client
2. Utilisation du service à la clientèle (type et quantité de services reçus par les clients)
3. Sources de référence (points de vue d’un organisme de référence et de coordination sur les forces et les faiblesses du programme)
4. Caractéristiques des membres du personnel :
   • Diplômes professionnels
   • Expérience
   • Caractéristiques socio-démographiques
   • Perceptions qu’ont les membres du personnel des forces et faiblesses du programme
5. Activités de programme :
   • Événements spéciaux et réunions spéciales
   • Assemblées du personnel
   • Formation
   • Protocoles, procédures et guides de formation du programme
   • Données de réponse aux questions : « Qu’arrive-t-il aux clients? » et « Quel est le programme? »’’
   • Observation des activités de programme : le programme est-il mis en œuvre comme prévu?
6. Compte-rendu des assemblées du conseil, du personnel et du comité
7. Correspondance et notes internes sur le projet
8. Données sur la satisfaction du client : rapports sur les forces et les faiblesses du programme et sur les obstacles
9. Données financières; coûts et dépenses du programme^{footnote 24[24]}

Évaluation sommative

Lorsque les modifications au milieu bâti seront achevées et que les programmes commenceront à se stabiliser, évaluez les résultats réels de vos efforts et comparez-les aux objectifs que vous aviez décrit dans votre plan d’action. Cette démarche pourrait être exigée par un processus de financement externe ou vous pourriez avoir besoin de déterminer si un programme en cours nécessite plus de financement local.

Le chapitre 7, intitulé « Focusing on Outcomes: Beyond the Goals Clarification Game »,dans Patton, 2008, décrit de manière très exhaustive l’évaluation fondée sur le résultat que la présente section résume brièvement. Cette section décrit les six éléments qui sont au cœur de ce cadre d’évaluation parce qu’ils ont trait au contexte de laCAA.

Groupe cible :Le groupe cible pour l’évaluation comprend des participants à un programme ou des clients d’un service ou, plus généralement, des personnes qui sont susceptibles de profiter d’une initiative. Dans le contexte de la planification de laCAA, le groupe cible variera selon la nature de l’intervention. Dans le cas des programmes ayant été créés ou adaptés, le groupe cible sera formé de participants au programme, tandis que le groupe cible d’une intervention dans le milieu bâti sera formé des utilisateurs de l’espace. Il ne faut pas généraliser à outrance lorsque l’on définit un groupe cible. Aux fins de l’évaluation, il importe que tous les membres du groupe partagent un résultat visé, ce qui ne sera peut- être pas le cas si vous faites de grandes distinctions.

Résultats visés : Les résultats visés correspondent aux changements prévus qui surviendront dans le groupe cible en raison d’une intervention. Selon la nature du programme ou du projet de laCAA, ces changements pourraient inclure l’amélioration de la santé, un meilleur accès aux transports en commun ou l’allégement des sentiments de solitude et d’isolement. Bien que les objectifs explicites que vous avez élaborés ne permettent pas de prévoir avec exactitude les résultats, ils aident à définir ce que sont ces résultats. De même, comme le programme ou le projet que vous évaluez était au cœur d’une stratégie de votre plan d’action, réfléchissez à la réponse à la question suivante : « Quelles répercussions positives attendiez-vous de la mise en œuvre de cette stratégie? »

Indicateurs de résultat : Un signe d’un résultat visé est celui que vous pouvez mesurer de façon significative comme une atteinte d’un objectif précis. Quand vous mesurez les résultats visés, vous devez commencer par l’évaluation des besoins. Le choix des indicateurs de votre évaluation des besoins assurera une continuité entre la base d’information que vous avez déjà établie et l’évaluation de vos programmes et projets. Un nouvel examen de chaque question de votre évaluation des besoins ne sera ni nécessaire ni souhaité. Utilisez seulement les questions qui ont trait à l’intervention en particulier. Par exemple, la mesure d’un résultat lié à la santé d’un nouveau programme pourrait être une amélioration de la capacité des personnes âgées d’exercer de manière autonome leurs activités de la vie quotidienne.

Plan de collecte des données : L’élaboration d’un plan de collecte de données sur vos indicateurs comprend bon nombre des mêmes détails que ceux dont vous avez discuté lorsque vous avez effectué votre évaluation des besoins (Qui recueillera les données? Comment la collecte sera-t-elle effectuée? Quel est l’échantillon et quelle est la technique d’échantillonnage?, et ainsi de suite.) À ce stade, la différence est que vous devriez faire intervenir l’utilisateur prévu de l’évaluation dans les décisions sur le plan de collecte des données. Cette démarche favorisera l’appartenance et la crédibilité, car il est inutile de recueillir de l’information et d’en faire rapport sous une forme que l’utilisateur prévu ne comprend pas tout à fait, ou pire encore, en laquelle il n’a pas confiance.

Description de l’utilisation des résultats :Le fait de déterminer comment utiliser vos résultats d’évaluation augmente l’utilité de votre évaluation. Collaborez avec l’utilisateur prévu et imaginez comment utiliser les résultats dans divers scénarios. Vous pouvez alors prévoir les faiblesses de votre plan d’évaluation et l’adapter au besoin. Assurez-vous que l’utilisateur prévu se concentre sur les répercussions des résultats et sur les mesures qu’il prendrait dans un avenir immédiat. Par exemple, si une évaluation a établi qu’un programme d’envois postaux est parvenu avec beaucoup de succès à informer les personnes âgées d’un quartier en particulier des activités communautaires à venir, l’utilisateur prévu pourraient considérer d’élargir le programme et commencer à chercher des ressources pour accroître sa capacité.

Objectifs de rendement : Les mesures que vous choisissez déterminent si vous atteignez vos objectifs de rendement. Par exemple, une collectivité pourrait souhaiter atteindre l’objectif suivant : d’ici 2013, 40 % des personnes âgées utiliseront régulièrement les transports en commun. Les 40 % sont un objectif tout à fait arbitraire, mais lorsque les objectifs de rendement sont bien conçus, ce ne devrait jamais être le cas.

Les objectifs arbitraires peuvent favoriser les mauvais résultats, voire être tout simplement inatteignables. L’utilisation du rendement passé — dans le présent cas, les résultats de votre évaluation des besoins — est la meilleure manière d’élaborer des objectifs qui représentent un changement significatif et qui sont réalistes, compte tenu des ressources existantes. Plutôt que de vous servir des mesures du rendement local antérieures, penchez-vous sur les normes dont se servent les autres administrations, quoique les circonstances locales vont toujours exercer une influence sur l’utilité des modèles que vous avez adopté des autres administrations.