Module 4 – phase 4 de la mise en œuvre : durabilité

Dans cette page Passer cette navigation de page

Objectifs du module :

Le présent module a pour but d'aider les responsables de la mise en œuvre à intégrer pleinement les outils de la suite SMEA dans la pratique organisationnelle et à maintenir cette intégration! D’après notre expérience, des facteurs tels que la culture organisationnelle et la lutte contre la résistance sont essentiels pour maintenir l’utilisation durable de la SMEA. Avec ce module vous allez :

Comparer la mise en œuvre réalisée par votre organisation jusqu’à présent avec les facteurs clés dont il a été montré qu’ils maintenaient le changement.
Déterminer et résoudre les problèmes qui suivent le lancement et menacent la durabilité de la mise en œuvre à long terme.
Découvrir comment les données de la suite SMEA peuvent être utilisées pour soutenir la prise de décision organisationnelle et régionale.
Déterminer et célébrer les réussites de votre mise en œuvre.

4.1 Maintenir le changement

La bonne nouvelle :

Si vous avez suivi les étapes de la présente boîte à outils, vous pouvez être sûr d’avoir posé une base solide pour assurer la durabilité!

La durabilité dépend de la création et du suivi d'un plan clair qui comprend les éléments clés connus pour être liés à la réussite à long terme, comme s'assurer de l’état de préparation avant de commencer, avoir une bonne communication bidirectionnelle, etc.

Même les plans les mieux conçus peuvent légèrement mal tourner. Lors de la phase de la durabilité, il importe de vérifier les facteurs de durabilité de votre organisation.

Faites preuve de flexibilité et d’ouverture. Vous devrez peut-être revenir aux activités d'une étape antérieure pour apporter des ajustements afin d'assurer la réussite à long terme de l'utilisation de la suite SMEA dans votre organisation.

À quoi ressemble l’utilisation pleinement réalisée de la suite SMEA?

Les évaluations de la suite SMEA sont réalisées en respectant fidèlement les processus de votre organisation et les définitions et instructions du manuel de l'utilisateur.
Les résultats de la suite SMEA sont régulièrement intégrés à la planification et à la documentation du traitement. Toutes les personnes qui ont besoin de savoir comment lire et comprendre les résultats le savent. Les résultats de la suite SMEA ne sont jamais classés sans avoir été examinés et utilisés.
La culture de votre organisation consiste à valoriser la prise de décision fondée sur les données. Les données de la suite SMEA sont recueillies, partagées avec les clients et les fournisseurs de soins, et utilisées pour évaluer les progrès du traitement, l'efficacité du programme et les réussites de l’organisation.
Des formateurs sont en place et bien informés et peuvent être consultés par les membres du personnel qui ont des questions ou des préoccupations. Les formateurs participent aux activités des communautés de pratique.
La communication entre la direction et le personnel est continue et demeure bidirectionnelle. Le soutien offert pour la suite SMEA est toujours visible sous forme de multiples voies telles que les bulletins et le partage des données lors des réunions du personnel.

Les six facteurs essentiels pour maintenir le changement

Leaders
La recherche l’indique clairement : le leadership organisationnel est essentiel à la réussite de la mise en œuvre et à la durabilité. Votre équipe de direction fait-elle constamment connaître les avantages des outils, pour un usage clinique comme pour l’aide à la prise de décision éclairée par les données? Vos responsables cliniques et administratifs travaillent-ils continuellement à éliminer les obstacles et à communiquer les priorités du projet?
Participation
Une autre clé de la réussite à long terme consiste à faire participer davantage le personnel à mesure que la mise en œuvre évolue. Il est temps de passer d’une équipe de la mise en œuvre à une équipe de la durabilité, ce qui créera une possibilité pour d’émergence de nouveaux champions. Appliquez la même prise de décision que celle qui a été utilisée pour créer l’équipe de la mise en œuvre. Efforcez-vous d’assurer une bonne représentation de la façon dont les outils sont utilisés. Par exemple, les évaluateurs, le personnel de l’admission, les spécialistes en soins primaires et les analystes de données auront tous des perspectives différentes et utiles à apporter. La création d’une équipe diversifiée contribuera à faire en sorte que les besoins de toutes les personnes qui utilisent les outils soient au premier plan des conversations sur la durabilité.
Préparation
L’état de préparation demeure un facteur important pour maintenir des résultats optimaux en matière de mise en œuvre. L'après-lancement est un excellent moment pour demander à l'équipe de la durabilité de répéter l'auto-évaluation de l'état de préparation (section 1.5) pour voir si des lacunes nouvelles ou persistantes doivent être comblées.
Intégration
Notre expérience nous a appris que l’intégration clinique est la clé de la durabilité de l’utilisation des outils de la SMEA. Comment cela se passe-t-il dans votre organisation? Les membres du personnel clinique ont-ils intégré les outils dans leur documentation clinique? Incorporent-ils les GAD et les résultats d’échelle dans la planification des soins, et utilisent-ils régulièrement les résultats de l’évaluation du suivi lors des réunions de planification des services? Envisagez de lier l’utilisation de la suite SMEA d’interRAI à la stratégie/vision de votre organisation pour rendre les attentes explicites.
Mesure
Établir un système de mesure continu et une façon normalisée de communiquer les résultats (comme le nombre d'évaluations de la SMEA effectuées ou les besoins les plus courants des enfants à l'admission). La prise de décision fondée sur les données peut être nouvelle pour certaines personnes. Montrer au personnel comment les renseignements recueillis grâce aux outils peuvent améliorer les résultats pour les enfants et les familles contribuera donc à maintenir leur utilisation.
Communication
N'arrêtez pas de communiquer avec le personnel au sujet de la valeur de la suite SMEA pour votre organisation et vos clients, et n'arrêtez pas non plus d'écouter les membres du personnel qui vous disent ce dont ils ont besoin pour qu’elle fonctionne. Utilisez votre plan de communication pour résoudre les problèmes au fur et à mesure qu'ils surviennent et pour clarifier les attentes et les processus pour le personnel.

En fin de compte, les efforts de mise en œuvre de la suite SMEA ne peuvent réussir que si la culture de l’organisation évolue de manière à ce que les évaluations de la suite SMEA soient appréciées en tant qu’outils cliniques plutôt que de n’être considérées que comme de la « paperasse » et des « données ». Pour y parvenir, votre organisation doit s’assurer que trois facteurs cruciaux sont en place :

Le personnel doit comprendre la raison pour laquelle il recueille des données objectives sur les clients.
Le personnel doit disposer des ressources dont il a besoin, notamment de processus gérables et d’une technologie conviviale.
Les membres du personnel doivent comprendre comment utiliser les données dans le cadre de leurs rôles et disposer de systèmes clairs pour utiliser les données aux fins de la prise de décision.

4.2 Résolution des problèmes de durabilité

Les problèmes courants qui menacent la durabilité sont présentés ci-dessous avec des approches suggérées pour les résoudre.

Si vous entendez dire…	Ceci peut comprendre…	Approches recommandées :
« Les membres du personnel sont réticents. Ils n’ont pas ‘adopté’ le changement ».	Membres du personnel qui éprouvent des difficultés avec le changement et qui évitent d’utiliser les outils. Le personnel a l’impression que les outils ne sont utiles « que pour les données ». Les membres du personnel craignent que le processus d’évaluation ne réduise sa capacité à établir une relation thérapeutique.	Faites la lumière sur le mécontentement. Travaillez à faire sentir aux membres du personnel qu’ils peuvent exprimer leurs préoccupations sans craintes. Offrez une possibilité de dialogue entre le personnel et la direction afin que ces problèmes soient révélés au grand jour et puissent être résolus. Communiquez un message clair de la direction qui favorise une communication ouverte tout en indiquant clairement que la décision de soutenir ce changement est ferme. Si votre direction a fait des faux pas en cours de route, reconnaissez-le! Montrez aux membres de votre personnel que vous les entendez et que vous êtes disposé à apprendre de vos erreurs et à vous améliorer. Utilisez votre plan de communication pour préparer et transmettre des communications au personnel sur le besoin urgent d'adopter ce changement, les avantages d'un processus d'évaluation normalisé et l'utilisation des données pour améliorer ou démontrer les avantages des soins cliniques. Aidez les évaluateurs à comprendre que tant qu'ils utilisent l'approche de l'entrevue conversationnel prévue (et ne traitent pas les évaluations comme des questionnaires), les outils favorisent l'établissement de relations en fournissant une structure permettant d'acquérir une compréhension approfondie de chaque client, de sa famille, de sa situation et de ses besoins particuliers.
« Les membres du personnel réalisent des évaluations, mais les résultats ne sont pas utilisés »	Les membres du personnel ont le sentiment de ne pas comprendre suffisamment bien les résultats pour les utiliser. Les membres du personnel ne font pas confiance aux résultats et estiment que leur propre jugement devrait suffire. Les membres du personnel ont l’impression de ne pas savoir comment discuter des résultats de l’évaluation avec leur équipe, leurs superviseurs ou leurs clients. Les membres du personnel ont l'impression qu'il n'y a pas d'orientation claire concernant la manière d'utiliser les résultats dans leurs programmes.	Assurez-vous que les gestionnaires/superviseurs des soins cliniques comprennent bien les résultats et sont capables de guider les membres du personnel dans leur utilisation. Consultez la liste de vérification des compétences du personnel clinique dans les annexes pour aider chaque membre du personnel. Établissez des lignes directrices générales, examinez les modèles de rapport et les guides, et définissez les attentes en matière de discussion des résultats avec les clients et les familles. Consultez votre équipe de la formation au sujet des options telles qu’une formation d’appoint ou une série de « déjeuners-conférences » pour examiner comment interpréter et utiliser certaines des mesures de statut/résultat les plus couramment déterminées chez la clientèle de votre organisation. Les exemples de sujets comprennent les GAD les plus fréquemment déclenchés, les échelles les plus fréquemment consultées ou surveillées, ou encore les algorithmes d'aide à la prise de décision pour le dépistage.
« Nous avons fait suivre au personnel une formation appropriée, mais les évaluations ne sont pas effectuées de manière uniforme. »	Ne pas bien savoir qui effectuera les évaluations ou quelles sont les exigences relatives aux délais de réalisation des évaluations. Certains programmes fonctionnent très bien, tandis que d'autres sont à la traîne. Un petit nombre d’« opposants » bruyants qui font dérailler le travail de l’équipe de la mise en œuvre dans certains secteurs de l’organisation.	Assurez-vous que les instructions concernant les processus sont 1) claires et précises, 2) adaptées au niveau du programme (afin qu'il n'y ait aucune possibilité de mauvaises interprétations du genre « Eh bien, ils ne parlent certainement pas de nous. ») et 3) communiquées efficacement à l’aide de votre plan de communication. Si certains secteurs de votre équipe clinique éprouvent des difficultés alors que les autres n’en éprouvent pas, enquêtez plus en profondeur pour déterminer si les problèmes sous-jacents concernent les processus, les membres du personnel qui éprouvent des difficultés ou les « opposants » qui propagent la négativité. Pour la première possibilité, voir la puce ci-dessus; pour la seconde, consultez votre équipe de la formation et déterminez si une formation d’appoint ou des possibilités de mentorat pourraient contribuer au développement des compétences; et pour la troisième, essayez de diffuser des messages positifs uniformes à partir de sources multiples (telles que les dirigeants et les champions) et envisagez de vous adresser directement aux opposants d'une manière qui répond directement à leurs préoccupations.
« Le processus n’a pas de sens. Nous ne recevons pas les directives dont nous avons besoin »	Différents programmes dérivent vers l’utilisation de processus différents, ce qui crée de la confusion. La nécessité d’apporter des ajustements propres au programme aux processus. Des superviseurs et des gestionnaires qui ne sont pas outillés pour orienter les décisions concernant les changements de processus parce qu’ils ne sont pas informés de ce que les différents outils fournissent en termes de renseignements cliniques.	Commencez par le haut. Concentrez-vous sur l’équipe de gestion clinique pour vous assurer qu’elle dispose de ce dont elle a besoin pour diriger. La formation à la littératie destinée à ce groupe doit être assez détaillée. Les superviseurs doivent bien comprendre les résultats afin de pouvoir suggérer des moyens d'intégrer les résultats dans les pratiques quotidiennes de leurs équipes. Évaluez le processus actuel pour le programme en question. Le processus fonctionne-t-il? A-t-il été clairement communiqué? Des modifications ont-elles été apportées depuis le lancement initial, et si oui, cette adaptation a-t-elle été utile ou nuisible? Organisez des séances de remue-méninges fondées sur un programme qui encouragent tous les membres de l'équipe à lier le travail effectué par leur équipe aux renseignements produits par les évaluations. Il peut être utile de se concentrer sur des échelles ou des GAD donnés qui mettent en évidence les interventions que le programme utilise couramment. Commencez par réfléchir aux résultats qui peuvent être utilisés pour démontrer le succès, puis déterminez comment les gains secondaires communs pourraient également être saisis dans les résultats.
« Pourquoi ne pouvons-nous pas tous utiliser l’outil de dépistage? La SMEA prend trop de temps et de toute façon, ce sont fondamentalement les mêmes outils »	Les évaluateurs (ou responsables cliniques) qui ne comprennent pas les différences entre les outils de la suite SMEA et les différentes fins auxquelles ils sont utilisés. Des évaluateurs qui ne croient pas que leurs évaluations sont utilisées cliniquement. Si les évaluateurs estiment que les outils sont utilisés « uniquement pour les données », ils penseront probablement qu’il serait plus utile de consacrer le temps qu'ils passent à réaliser des évaluations au « travail clinique ».	Utilisez votre plan de communication et votre équipe de la formation pour aider le personnel à comprendre que les outils d’évaluation complète et de dépistage ne sont pas interchangeables. A première vue, les évaluations se ressemblent beaucoup, et on peut facilement croire que cela signifie que les outils sont les mêmes. Aidez votre personnel à comprendre que même si la SMEA et l’outil de dépistage ont en commun de nombreux éléments, ils produisent des types de résultats différents qui soutiennent différents aspects du travail clinique. Jetez un regard objectif sur la manière dont votre organisation utilise les résultats de la suite SMEA. Les efforts déployés pour recueillir ces données s'accompagnent-ils d’une volonté tout aussi forte d'utiliser les données pour prendre des décisions concernant les soins aux clients? Il importe de concilier l’accent mis sur la réalisation de l’évaluation et l’utilisation des résultats de l’évaluation. L'administration d'une évaluation de la suite SMEA est la compétence la plus importante que le personnel doit développer pendant la mise en œuvre. Il va donc de soi que cela devient très prioritaire. Cependant, si l’accent n’est pas mis aussi sur l’utilisation des résultats, les évaluateurs n’apprécieront pas les évaluations à leur juste valeur, ce qui réduira la fidélité lors de la réalisation des évaluations et aboutira finalement à la production de données de mauvaise qualité qui ne seront pas utiles.

4.3 Comment les données de la suite SMEA peuvent aider votre organisation

Les membres du personnel clinique découvrent souvent qu'apprendre à appliquer les renseignements et les résultats de l'évaluation de la suite SMEA aux soins de leurs clients est très gratifiant. Cette réalisation peut prendre un certain temps car ils doivent d’abord apprendre à utiliser les outils avec une certaine aisance. Une fois cet objectif atteint, il est plaisant d’utiliser une prise de décision éclairée par les données pour soutenir les jeunes et leurs fournisseurs de soins!

Les évaluations de la suite SMEA peuvent également favoriser une prise de décision éclairée par les données au niveau organisationnel. Lorsque les données d’évaluation sont regroupées, il devient possible de raconter l’histoire des clients et de révéler l’effet du soutien apporté.

Apprendre à utiliser avec agilité vos ensembles de données pour examiner les résultats ou évaluer les programmes est une première étape vers l’utilisation des données pour guider la prise de décisions plus générales. Apprendre à communiquer vos résultats à différentes intervenants peut motiver les personnes concernées à soutenir les améliorations et souligner l'importance de recueillir en premier lieu des renseignements normalisés.

Valeur que les données de la suite SMEA peuvent apporter à votre organisation :

La capacité de créer un profil richement détaillé de votre clientèle, notamment en déterminant les « types » courants de clients, afin de mieux les servir.
La capacité d’évaluer en toute confiance l’efficacité des programmes et des services. L'utilisation des observations objectives et chiffrables qui constituent le fondement de la conception de l'outil de la suite SMEA vous permet d'aller au-delà des mesures subjectives (par exemple, si quelqu'un estime que le client s'est amélioré) pour obtenir des mesures objectives plus crédibles (telles que le degré d'amélioration d'un comportement en particulier).
L’accès à des données pertinentes et crédibles vous aidera à raconter l’histoire de votre organisation, y compris l’effet de votre travail.

Choisir les bons éléments de données ou « variables »

Ce qui rend les outils de la suite SMEA si utiles réside en partie dans la richesse des renseignements qu’ils fournissent. En raison de la nature exhaustive des outils, il peut être difficile de choisir des éléments de données sur lesquels se concentrer lors de l’examen des données. La présente section donne un aperçu de ce qu'il faut prendre en compte lors de la sélection des données à utiliser à différentes fins.

Créer un profil de client « typique »	De nombreuses organisations commencent à travailler avec leurs données de la suite SMEA en se concentrant sur la réponse à la question « Qui servons-nous? » Une fois que vous connaissez les besoins de vos clients typiques, vous pouvez examiner les services existants pour rechercher les lacunes. Vous pouvez également utiliser ces renseignements pour déterminer si la priorité réelle de votre organisation (le travail quotidien) diffère de ce qui est prévu (les objectifs du programme). À cette fin, tenez compte des scores récapitulatifs fournis par les résultats d’évaluation (tels que les GAD, les échelles, les résultats d’algorithme) ou d’éléments individuels qui sont pertinents pour vos services.
Évaluer le changement au fil du temps	Il importe de comprendre le but clinique des extrants d’interRAI, car il a une incidence sur la pertinence des données pour la mesure du changement. Tous les résultats des échelles, des GAD ou des algorithmes de données du dépistage ne sont pas capables de montrer un changement général et/ou clinique. Il faut examiner soigneusement les extrants des outils avant de déterminer les variables à inclure dans toute analyse qui consiste à comparer les résultats au fil du temps.
Créer une structure pour donner une signification	La quantité de données produite par les outils de la suite SMEA peut être impressionnante et il peut être difficile de savoir par où commencer. Il est essentiel de disposer d’un système pertinent pour organiser, interpréter et communiquer de grandes quantités de données pour transformer les données en connaissances, et l’importance de cette étape ne doit pas être sous-estimée. Pour répondre à ce besoin d'une structure globale qui aide à rendre les données pertinentes, le CPRI a élaboré un cadre des domaines (voir l’Annexe A). Utilisez ce cadre lorsque vous organisez vos données ou comme point de départ pour créer un cadre qui répond aux besoins de votre organisation.

Créer un profil de client « typique »

De nombreuses organisations commencent à travailler avec leurs données de la suite SMEA en se concentrant sur la réponse à la question « Qui servons-nous? » Une fois que vous connaissez les besoins de vos clients typiques, vous pouvez examiner les services existants pour rechercher les lacunes. Vous pouvez également utiliser ces renseignements pour déterminer si la priorité réelle de votre organisation (le travail quotidien) diffère de ce qui est prévu (les objectifs du programme).

À cette fin, tenez compte des scores récapitulatifs fournis par les résultats d’évaluation (tels que les GAD, les échelles, les résultats d’algorithme) ou d’éléments individuels qui sont pertinents pour vos services.

Évaluer le changement au fil du temps

Il importe de comprendre le but clinique des extrants d’interRAI, car il a une incidence sur la pertinence des données pour la mesure du changement. Tous les résultats des échelles, des GAD ou des algorithmes de données du dépistage ne sont pas capables de montrer un changement général et/ou clinique. Il faut examiner soigneusement les extrants des outils avant de déterminer les variables à inclure dans toute analyse qui consiste à comparer les résultats au fil du temps.

Créer une structure pour donner une signification

La quantité de données produite par les outils de la suite SMEA peut être impressionnante et il peut être difficile de savoir par où commencer. Il est essentiel de disposer d’un système pertinent pour organiser, interpréter et communiquer de grandes quantités de données pour transformer les données en connaissances, et l’importance de cette étape ne doit pas être sous-estimée. Pour répondre à ce besoin d'une structure globale qui aide à rendre les données pertinentes, le CPRI a élaboré un cadre des domaines (voir l’Annexe A). Utilisez ce cadre lorsque vous organisez vos données ou comme point de départ pour créer un cadre qui répond aux besoins de votre organisation.

Conseils pour assurer la qualité des données

Des renseignements inexacts recueillis lors des évaluations ne donneront pas aux membres de votre personnel clinique ce dont ils ont besoin pour prendre des décisions éclairées concernant les besoins de leurs clients. Une mauvaise qualité des données peut également conduire à des décisions inexactes au niveau organisationnel. Heureusement, certaines mesures peuvent être prises pour assurer la qualité des données.

Mettre l’accent sur l’apprentissage continu	La dérive de l’évaluateur est l’érosion progressive du respect des lignes directrices en matière d’évaluation au fil du temps. Les problèmes de dérive surviennent généralement lorsque les organisations abordent la formation des évaluateurs avec une mentalité selon laquelle « une seule suffit ». Pour réduire la dérive, abordez l’apprentissage comme un processus continu. Mettez à jour périodiquement la formation de votre personnel avec des séances d’appoint. Utilisez des mesures de la compétence pour trouver les membres du personnel qui ont besoin de soutien. Examiner les évaluations dans le cadre de la supervision clinique. Par exemple, recherchez les résultats qui n’ont pas de sens sur le plan clinique et travaillez ensemble pour déterminer pourquoi les données d’évaluation ont mal tourné.
Relier les faits	Pour créer une culture qui valorise les données de la suite SMEA, comblez le fossé entre le personnel clinique et la direction. Montrez au personnel comment la direction utilise les données de la suite SMEA pour prendre des décisions pour l'organisation. Montrez comment les données de votre organisation s'intègrent à des comparaisons plus vastes (telles que des mesures régionales ou provinciales) pour aider à faire participer le personnel à l’établissement et à l'atteinte des objectifs. Comblez également le fossé entre le personnel clinique et les analystes de données. Partagez ce que vous avez appris de l’analyse des données de la suite SMEA. Cela aidera le personnel à voir comment les évaluations sont « regroupées ». Posez des questions de recherche! D’après notre expérience, les évaluateurs souhaitent savoir « ce que disent les chiffres » pour leurs domaines de travail et au-delà.
Gérer et utiliser judicieusement les données	Quelques étapes supplémentaires vous aideront à vous assurer que vos ensembles de données sont dans le meilleur état possible pour fournir les renseignements les plus utiles N'oubliez pas qu'un seul identifiant unique doit être attribué à chaque client. Créez un « livre de codes » ou un « dictionnaire de données » pour vous assurer que des définitions communes sont en place. Les noms des variables apparaissent généralement sous une forme différente dans un fichier de données. La création d'une description détaillée des termes et de leur signification constitue donc une pratique exemplaire qui réduit les erreurs et augmente l'efficacité. Les livres de codes ou les dictionnaires de données peuvent également contenir des notes sur les difficultés ou les changements dans les éléments de données au fil du temps. Cela peut aider les utilisateurs à comprendre les limites des données d’un fichier de données. Planifiez soigneusement les analyses. Tel qu’indiqué à la section 3.4, il existe des limites à la manière dont les GAD, les échelles et les algorithmes peuvent être utilisés pour montrer la gravité et le changement. Les autres considérations comprennent : la taille de l’échantillon : disposez-vous de suffisamment de cas pour détecter un changement? le type d'analyse : l'analyse que vous avez planifiée correspond-elle aux données dont vous disposez? Si vous prévoyez des analyses statistiques, songez à vous renseigner sur la façon de choisir un test paramétrique (comme un test t) ou un test non paramétrique (comme un test de Wilcoxon).

Mettre l’accent sur l’apprentissage continu

La dérive de l’évaluateur est l’érosion progressive du respect des lignes directrices en matière d’évaluation au fil du temps. Les problèmes de dérive surviennent généralement lorsque les organisations abordent la formation des évaluateurs avec une mentalité selon laquelle « une seule suffit ».

Pour réduire la dérive, abordez l’apprentissage comme un processus continu.

Mettez à jour périodiquement la formation de votre personnel avec des séances d’appoint.
Utilisez des mesures de la compétence pour trouver les membres du personnel qui ont besoin de soutien.
Examiner les évaluations dans le cadre de la supervision clinique. Par exemple, recherchez les résultats qui n’ont pas de sens sur le plan clinique et travaillez ensemble pour déterminer pourquoi les données d’évaluation ont mal tourné.

Relier les faits

Pour créer une culture qui valorise les données de la suite SMEA, comblez le fossé entre le personnel clinique et la direction.

Montrez au personnel comment la direction utilise les données de la suite SMEA pour prendre des décisions pour l'organisation.
Montrez comment les données de votre organisation s'intègrent à des comparaisons plus vastes (telles que des mesures régionales ou provinciales) pour aider à faire participer le personnel à l’établissement et à l'atteinte des objectifs.

Comblez également le fossé entre le personnel clinique et les analystes de données.

Partagez ce que vous avez appris de l’analyse des données de la suite SMEA. Cela aidera le personnel à voir comment les évaluations sont « regroupées ».
Posez des questions de recherche! D’après notre expérience, les évaluateurs souhaitent savoir « ce que disent les chiffres » pour leurs domaines de travail et au-delà.

Gérer et utiliser judicieusement les données

Quelques étapes supplémentaires vous aideront à vous assurer que vos ensembles de données sont dans le meilleur état possible pour fournir les renseignements les plus utiles

N'oubliez pas qu'un seul identifiant unique doit être attribué à chaque client.
Créez un « livre de codes » ou un « dictionnaire de données » pour vous assurer que des définitions communes sont en place. Les noms des variables apparaissent généralement sous une forme différente dans un fichier de données. La création d'une description détaillée des termes et de leur signification constitue donc une pratique exemplaire qui réduit les erreurs et augmente l'efficacité. Les livres de codes ou les dictionnaires de données peuvent également contenir des notes sur les difficultés ou les changements dans les éléments de données au fil du temps. Cela peut aider les utilisateurs à comprendre les limites des données d’un fichier de données.
Planifiez soigneusement les analyses. Tel qu’indiqué à la section 3.4, il existe des limites à la manière dont les GAD, les échelles et les algorithmes peuvent être utilisés pour montrer la gravité et le changement. Les autres considérations comprennent :
- la taille de l’échantillon : disposez-vous de suffisamment de cas pour détecter un changement?
- le type d'analyse : l'analyse que vous avez planifiée correspond-elle aux données dont vous disposez? Si vous prévoyez des analyses statistiques, songez à vous renseigner sur la façon de choisir un test paramétrique (comme un test t) ou un test non paramétrique (comme un test de Wilcoxon).

Mesurer la réussite : évaluation du programme à l’aide des données de la suite SMEA

L'évaluation du programme peut vous aider à répondre à la question la plus cruciale en matière de prestation de services : Est-ce que ce que nous faisons fonctionne?

La présente boîte à outils ne fournit pas de guide étape par étape pour l’évaluation des programmes. Il existe de nombreuses ressources excellentes pour aider à planifier et à réaliser des évaluations des programmes dans le secteur de la santé mentale. L’une de ces ressources est la trousse d’outils d’évaluation des programmes du Centre d'excellence de l'Ontario en santé mentale des enfants et des adolescents, accessible à l’adresse www.excellenceforchildandyouth.ca. Le but ici est plutôt de fournir un exemple de la manière dont les données de la suite SMEA peuvent être utilisées aux fins de l’évaluation d’un programme. À cette fin, nous avons inclus un exemple de modèle logique qui illustre la façon dont les variables de la suite SMEA peuvent être utilisées pour évaluer un programme clinique.^{footnote 11[11]}

Qu'est-ce qu'un modèle logique?

Un modèle logique est un diagramme visuel qui représente le fonctionnement d'un programme. Il présente en détail tous les éléments du programme (y compris les intrants, les extrants et les activités) et les objectifs ou résultats attendus.

Intrants	Les intrants sont les ressources nécessaires pour offrir le programme. Les ressources humaines et financières, le temps, et les ressources technologiques et physiques sont des exemples d'intrants qui seraient déterminés ici.
Extrants	Les extrants sont les produits ou unités de service réels du programme.
Activités	Les activités sont les tâches réalisées ou les étapes franchies dans le cadre de la prestation du programme, telles que la réalisation d'évaluations, l'éducation ou la fourniture de conseils.
Résultats	Les résultats sont les changements que le programme est censé entraîner.

Les évaluations de la suite SMEA d’interRAI sont d’excellentes sources de données cliniques pour évaluer l’effet des services sur le fonctionnement des clients. Les outils sont axés sur des renseignements objectifs, fiables, à jour et globaux. La SMEA et la SMEA-DD fournissent une abondance de données cliniques dont on peut tirer des indicateurs de la santé mentale et de la qualité du service qui peuvent être utilisés pour évaluer les résultats d'un programme ou d'un service.

4.4 Célébrer les réussites

La mise en œuvre de la suite SMEA est un marathon et non un sprint. Il sera important de prendre le temps de reconnaître les réussites en cours de route. C’est à vous de choisir les jalons que votre organisation célébrera, mais en voici quelques-uns que vous voudrez peut-être envisager :

Fête d’après le lancement!

Reconnaître le travail acharné et le dévouement des personnes de toute l’organisation – y compris l’équipe de la mise en œuvre, le personnel de la technologie de l’information, le personnel clinique et les gestionnaires – est une excellente façon de créer un sentiment de communauté. Le lancement de l'utilisation d'un outil n'est pas une mince affaire, et le fait d’avoir surmonté ces premiers obstacles, qu’ils soient grands (terminer les premières évaluations!) ou petits (accéder aux justificatifs de connexion!) est une chose qu’il faut célébrer. Organiser une fête d’après le lancement environ un mois après la date de « mise en service » est une excellente façon de rassembler votre organisation pour célébrer son travail acharné et montrer votre engagement envers les outils.

Jalon de la centième évaluation!

Cette étape est une occasion idéale pour montrer la valeur que ces données peuvent apporter à votre organisation. D’après notre expérience, les membres du personnel sont enthousiasmés lorsqu’ils peuvent voir quelque chose de tangible créé à partir des données qu’ils ont recueillies. Envisagez de créer un profil « Voici ce que nous avons vu lors des cent premières évaluations » de vos clients (tels que les principaux besoins, les motifs de l’aiguillage, l'âge médian). Une présentation lors d'une réunion du personnel, un envoi de courriels ou un bulletin interne offrent tous d'excellentes possibilités de souligner le jalon et de partager les données.

Remarque : Vous devriez peut-être ajuster ce nombre. Visez un jalon qui sera atteint environ 3 à 4 mois après la date de « mise en service ».

Premier anniversaire!

Nous vous recommandons d’organiser une fête – avec un gâteau! C'est le moment idéal pour annoncer la création de votre nouvelle équipe de la durabilité interRAI et, bien sûr, pour montrer vos données. Le fait de souligner le premier anniversaire de reconnaître les défis et les réussites et de manifester de la reconnaissance pour un effort d’équipe bien fait. Faites de cette célébration un moment de réflexion : qu’est-ce qui s’est bien passé? Que nous disent les données? Que nous disent les évaluateurs? Comment pouvons-nous nous améliorer à l’avenir?

Mini-scénario 4

Les membres de l'équipe de la durabilité ont rencontré le personnel des différents programmes et les gestionnaires de programme ont présenté certaines des difficultés auxquelles ils sont confrontés. Certains membres du personnel ont le sentiment qu'il ne s'agit que d'un « outil parmi d'autres » dans une série d'outils élaborés au fil des années. D’autres estiment que l’outil est trop complet ou intrusif et ne sentent pas à l’aise lorsqu’il s’agit de recueillir des renseignements sur certains éléments. D’autres ne voient tout simplement aucun avantage à changer la façon dont les choses ont été faites dans le passé. De nombreux membres du personnel clinique déclarent qu'ils n'aiment pas le format et qu'ils préféreraient utiliser une approche plus narrative qui correspond à la manière dont ils ont été formés.

Une analyse rapide montre que la baisse du nombre d'évaluations réalisées est causée par le fait que des membres du personnel clinique choisissent de ne pas faire l'évaluation ou commencent des évaluations mais ne les terminent pas.

Les gestionnaires ont également indiqué que même si certains programmes intègrent les résultats dans leurs documents et utilisent le manuel des GAD, d'autres ne le font pas.

L'organisme D fournit des services en milieu hospitalier et aux patients externes aux enfants et aux jeunes. Il a lancé la suite SMEA il y a 14 mois. La mise en œuvre a bien commencé, mais l'organisation a constaté récemment une baisse du taux d'achèvement des évaluations. Une nouvelle équipe de la durabilité a été créée pour rencontrer chaque programme et discuter des obstacles potentiels.

Après avoir examiné tous les renseignements recueillis, l'équipe de la durabilité a élaboré un plan qui comprend :

Fournir une formation d’appoint axée sur l'intégration des outils dans les pratiques cliniques;
Faire en sorte que certains des « champions » travaillent directement avec les programmes en difficulté;
Demander au directeur général d'envoyer un courriel à tout le personnel pour rappeler aux équipes les raisons pour lesquelles l'utilisation continue des outils de la suite SMEA est une priorité organisationnelle;
Partager les résultats de l’évaluation de la mise en œuvre à ce jour;
Faire de l’engagement avec les données une priorité en fournissant à chaque programme un aperçu personnalisé des données qui le concernent.

Réflexion sur le mini-scénario 4 :

Questions d’orientation

Au sein de l’organisation D, le premier signe d’un déclin de l’engagement envers la suite SMEA a été une baisse du taux d’achèvement des évaluations. Quels autres signes de problèmes devriez-vous surveiller? Y a-t-il actuellement certains de ces problèmes dans votre organisation?
Réfléchissez aux plans de l’organisation D pour relever les défis qui ont été soulevés. Ces plans comprennent un mélange de formation, de communication, d’utilisation de données et de participation propre au programme. Votre organisation s’appuie-t-elle généralement sur une ou deux de ces approches? Existe-t-il une possibilité d’élaborer une approche plus multiforme pour résoudre les problèmes?
Une équipe de la durabilité n'est-elle nécessaire que si la durabilité à long terme de l'utilisation de la suite SMEA est menacée? Quelles fonctions une équipe de la durabilité peut-elle accomplir lorsque le personnel clinique est satisfait des outils?

Liste de vérification des actions de la Phase 4

Retirez du service l'équipe de la mise en œuvre et créez une équipe de la durabilité.

En retirant du service l'équipe de la mise en œuvre, assurez-vous de reconnaître et de célébrer ses réalisations : ses membres ont travaillé fort pour faire passer votre organisation à travers les phases de la planification, du lancement et de l'utilisation initiale!
Mélangez vos membres – idéalement, une équipe de la durabilité devrait être composée d'un mélange de membres du personnel expérimentés de l'équipe de la mise en œuvre qui souhaitent continuer à participer et de nouveaux membres du personne; de différents domaines de l'organisation qui peuvent apporter une expérience vécue de l’utilisation des outils ou des résultats dans leurs rôles.
Convenez des rôles, des responsabilités et des tâches de l'équipe de la durabilité et documentez-les.
Reprenez l'auto-évaluation de l'état de la préparation dans la section 1.5 pour avoir un aperçu des lacunes actuelles ainsi que des points forts que vous avez développés.
Consultez le guide de résolution des problèmes de durabilité dans la section 4.2. L’un de ces problèmes courants est-il présent dans votre organisation? Élaborez un plan formel sur la manière dont l'équipe de la durabilité aidera votre organisation à surmonter les obstacles persistants.

Développez votre utilisation des données.

Renseignez-vous auprès des différentes équipes et assurez-vous que les données sont utilisées pour soutenir la prise de décision clinique.
Si ce n’est pas déjà fait, élaborez une stratégie sur la manière dont les données seront utilisées pour soutenir la prise de décision organisationnelle et opérationnelle. Déterminez si vous utiliserez le cadre des domaines du CPRI pour organiser les données de manière pertinente ou si vous élaborerez votre propre cadre.
Assurez-vous de donner aux membres du personnel qui travailleront avec les données suffisamment de temps pour comprendre les différents types de variables dans les données et déterminer lesquels sont utiles au niveau organisationnel.
Consultez les équipes cliniques pour comprendre quelles variables et quels résultats sont pertinents pour élaborer un profil des clients pour votre organisation.

Veiller à ce que les efforts continus de formation et d’éducation favorisent la durabilité.

Vérifiez votre formation des évaluateurs et des formateurs. Déterminez si la formation continue se déroule conformément au plan de formation et si elle répond ou non à vos besoins.
Vérifiez la compétence du personnel. Reportez-vous à la section 3.3 et à l’Annexe M. Déterminez s'il existe des lacunes courantes qui pourraient être comblées grâce à une formation d’appoint ciblée.
Vérifiez le travail des superviseurs cliniques. Veiller à ce que les superviseurs continuent d’accorder la priorité à l’utilisation continue des outils et à l’apprentissage par leur personnel.

Planifiez une célébration!

Il n’a pas été facile de réaliser les progrès accomplis jusqu’ici. Assurez-vous de reconnaître et de célébrer vos réussites!

Notes en bas de page

note de bas de page[11] Retour au paragraphe Pour voir un exemple de modèle logique qui intègre les données de la SMEA comme mesures d'évaluation, consultez l’Annexe J.

Mis à jour : 03 octobre 2024

Date de publication : 02 octobre 2024