Des tableaux de bord pour des décisions défendables Supports de formation interne d’IDER Cas et chiffres hypothétiques pour expliquer les méthodes. Objectifs Définir des indicateurs reproductibles avec unité et dénominateur explicites. Diagnostiquer les effets de composition et calculer des taux standardisés. Relier incertitude, qualité des données et responsabilité d'action. Pourcentages et pratique élémentaire des données opérationnelles en tableau. Construire un tableau de bord qui guide l'action La décision avant l'affichage Le dénominateur avant la couleur Tous les chiffres sont hypothétiques Un tableau de bord annonce une forte amélioration du succès d'un service, alors que les responsables des deux districts signalent une dégradation. Vous devez déterminer si l'affichage est erroné ou si les acteurs décrivent des quantités différentes. Cette clinique utilise un programme fictif pour enseigner la définition des indicateurs, l'agrégation, l'incertitude et la réponse opérationnelle. Nous construirons une chaîne vérifiable reliant les dossiers aux décisions. Gardez une calculatrice et écrivez le dénominateur de chaque taux. Les praticiens débutants reproduiront les calculs; les plus expérimentés examineront la pertinence décisionnelle de chaque indicateur. Vous pourrez ensuite formaliser une fiche de définition, détecter un renversement dû à la composition et préciser des actions fondées sur les preuves plutôt que sur la seule couleur d'un voyant. Associer chaque indicateur à une action et un responsable Quelle décision peut changer? Qui agit et dans quel délai? Quelle preuve déclenche l'examen? Commencez par une décision de gestion réellement modifiable. Un superviseur peut réaffecter des agents la semaine prochaine, tandis qu'une direction ajuste les effectifs au trimestre suivant. Ces décisions exigent des horizons et des niveaux de détail différents. Précisez le responsable, la fréquence de revue et les réponses possibles avant de sélectionner l'indicateur. Un voyant rouge sans responsable ne constitue pas un mécanisme d'action. Définissez aussi les éléments nécessaires pour distinguer un manque de capacité d'un défaut de remontée des données. Une baisse de résolution avec accumulation des dossiers appelle une enquête différente d'une disparition soudaine des fichiers transmis. Le tableau doit rendre la prochaine vérification claire, sans laisser croire que toute détérioration possède la même cause ou nécessite la même intervention opérationnelle. Définir ensemble unité, numérateur et dénominateur Une ligne: un épisode admissible Résolution dans un délai défini Inclure les épisodes encore non résolus Supposons que l'indicateur mesure la proportion de dossiers admissibles résolus en trente jours. Définissez un épisode afin que plusieurs contacts ne deviennent pas plusieurs succès. Enregistrez l'identifiant, la date d'admissibilité et celle de résolution. Le dénominateur inclut les épisodes disposant du recul nécessaire, y compris ceux qui restent non résolus. Diviser seulement par les dossiers terminés retire les cas difficiles et embellit artificiellement le résultat. Explicitez les exclusions, comme les tests ou vrais doublons, puis appliquez-les uniformément. Une fiche d'indicateur doit préciser la définition, l'unité d'observation, les règles de date, le responsable et la version. Un autre analyste doit retrouver le même résultat à partir du même extrait figé, sans dépendre des explications orales du développeur initial du tableau de bord. Vérifier le parcours des dossiers jusqu'au taux Tester l'unicité des épisodes Contrôler jointures et complétude Rapprocher les effectifs avant diffusion Avant de calculer un taux, suivez les lignes apportées par chaque source. Relier un dossier à plusieurs contacts peut le multiplier, gonflant les effectifs et l'activité apparente. Testez l'unicité à l'unité attendue avant et après chaque jointure. Rapprochez les effectifs des totaux de contrôle et quantifiez les exclusions liées aux dates, à l'admissibilité ou aux champs manquants. Examinez ensuite séparément actualité et complétude: une extraction d'hier peut ne contenir que la moitié des retours attendus. Conservez l'identifiant de l'extrait et l'heure du calcul pour reproduire une valeur antérieure. Ces contrôles sont opérationnels. Lorsqu'un taux change brusquement, ils aident à distinguer une évolution réelle du service, une population différente, un retard de transmission ou une erreur de transformation dans la chaîne analytique. Le taux global pondère par les dossiers admissibles Période 1: A = 90/100; B = 90/900 Taux global: 180/1 000 = 18% Moyenne des taux de district: 50% Pendant la première période, le district A résout quatre-vingt-dix dossiers sur cent, et le district B quatre-vingt-dix sur neuf cents. Leurs taux sont donc quatre-vingt-dix et dix pour cent. Le taux global vaut cent quatre-vingts sur mille, soit dix-huit pour cent. La moyenne simple des deux taux vaut cinquante pour cent, mais elle répond à une autre question: celle d'un district moyen auquel on donne le même poids qu'à l'autre. Ne choisissez pas une quantité parce qu'elle paraît meilleure. Pour décrire la réussite globale des dossiers admissibles observés, utilisez le taux agrégé. Pour accorder une importance égale aux districts, annoncez explicitement cet objectif. Accompagnez toujours les taux de leurs dénominateurs afin que le lecteur puisse comprendre et vérifier la règle d'agrégation. Une hausse globale peut masquer deux baisses locales Période 2: A = 720/900 = 80% Période 2: B = 5/100 = 5% Le taux global atteint 72,5% Pendant la deuxième période, A résout sept cent vingt dossiers sur neuf cents, et B cinq sur cent. Le taux de A baisse de quatre-vingt-dix à quatre-vingts pour cent; celui de B passe de dix à cinq pour cent. Pourtant, le résultat global atteint sept cent vingt-cinq sur mille, soit soixante-douze virgule cinq pour cent. La deuxième période contient beaucoup plus de dossiers du district initialement le plus performant. Ce changement de composition dépasse les baisses locales. Le calcul global est exact, mais le présenter comme une amélioration de la performance des districts serait trompeur. Affichez les résultats locaux et recherchez l'origine du changement: demande, réaffectation, règles d'admissibilité ou transmission incomplète. L'interprétation opérationnelle dépend de cette explication, pas seulement du total affiché. Maintenir constante la répartition des districts Poids de période 1: A 10%; B 90% Taux de période 2: A 80%; B 5% Calculer le taux standardisé de période 2 Mettez la vidéo en pause et calculez le taux de la deuxième période si les parts des districts restaient celles de la première. Multipliez le nouveau taux de A par dix pour cent et celui de B par quatre-vingt-dix pour cent, puis additionnez les contributions. Comparez ce résultat standardisé aux dix-huit pour cent initiaux. Expliquez ensuite pourquoi il diffère des soixante-douze virgule cinq pour cent observés. Identifiez une question de gestion à laquelle chaque quantité répond. Évitez de déclarer un chiffre vrai et l'autre faux: ils décrivent des compositions différentes. Votre réponse doit préciser les poids de référence afin qu'un collègue puisse reproduire le calcul et comprendre pourquoi un autre choix de population standard produirait éventuellement un résultat standardisé différent. La standardisation révèle une baisse de 5,5 points 0,10 × 80% + 0,90 × 5% = 12,5% 12,5% − 18% = −5,5 points Deux compositions, deux questions différentes 0,10 × 80% + 0,90 × 5% = 12,5% Dix pour cent de quatre-vingts pour cent apportent huit points de pourcentage. Quatre-vingt-dix pour cent de cinq pour cent apportent quatre virgule cinq points. Leur somme vaut douze virgule cinq pour cent, soit cinq virgule cinq points sous le taux initial de dix-huit pour cent. Le taux observé décrit les dossiers réellement présents pendant la deuxième période. Le taux standardisé combine les nouveaux résultats locaux selon la répartition de référence. Cette méthode aide à comparer la performance en maintenant constante une dimension de composition. Elle ne corrige pas automatiquement la gravité des cas ou les canaux d'orientation au sein des districts. Publiez les poids, conservez le résultat brut et expliquez pourquoi cette population de référence convient à la question de gestion étudiée. Ajuster uniquement selon une justification explicite Distinguer profil initial et mécanisme du programme Vérifier le recouvrement des profils Conserver résultats bruts et ajustés L'ajustement du profil des dossiers peut améliorer une comparaison, mais un ajustement indiscriminé peut cacher une performance pertinente. Supposons que le soutien des agents modifie la rapidité avec laquelle un dossier devient complexe. Ajuster sur cette complexité mesurée après le soutien pourrait retirer une partie de son effet. Privilégiez les caractéristiques initiales lorsque l'objectif consiste à comparer des profils semblables, et expliquez le rôle de chaque variable. Vérifiez le recouvrement: des districts aux profils totalement différents imposent une extrapolation plutôt qu'une comparaison directe. Présentez les résultats bruts avec les résultats ajustés et documentez la règle utilisée. Un classement corrigé n'est pas automatiquement un classement de qualité managériale. L'ajustement traite certaines différences définies, sans garantir que toutes les différences pertinentes sont observées ou corrigées. Adapter l'incertitude à la source des données Enquête: incertitude d'échantillonnage Registre exhaustif: couverture et mesure Une cible ne supprime pas l'incertitude Un taux issu d'un échantillon probabiliste comporte une incertitude d'échantillonnage: d'autres personnes sélectionnées auraient pu produire une autre estimation. Un dénombrement administratif complet d'une population définie ne devient pas aléatoire simplement parce qu'il figure dans un tableau de bord. Il reste exposé aux erreurs de mesure, dossiers manquants, doublons et retards. Distinguez ces sources au lieu d'ajouter mécaniquement un intervalle à chaque chiffre. Pour une enquête, utilisez les poids et le plan de sondage appropriés. Pour un registre, affichez la couverture, les problèmes de validation et le statut des révisions. Une cible constitue une référence de gestion, pas un calcul d'incertitude. Près de cette cible, la qualité des données et les conséquences d'une mauvaise réponse doivent influencer la décision opérationnelle retenue. Calculer la marge avant d'attribuer un statut Succès: 60%; échantillon aléatoire simple de 400 Erreur standard ≈ 2,45 points Intervalle à 95% ≈ 55,20% à 64,80% Supposons quatre cents observations indépendantes tirées aléatoirement dans une population beaucoup plus grande, avec soixante pour cent de succès. L'erreur standard approximative d'une proportion est la racine carrée du rapport entre la proportion multipliée par son complément et l'effectif. Ici, la racine de zéro virgule six fois zéro virgule quatre, le tout sur quatre cents, vaut environ zéro virgule zéro deux quatre cinq. En multipliant par un virgule quatre-vingt-seize, la marge atteint environ quatre virgule huit points. L'intervalle va de cinquante-cinq virgule deux à soixante-quatre virgule huit pour cent. L'approximation normale convient à ces effectifs illustratifs, mais un vrai plan d'enquête peut exiger une autre erreur standard. Gardez l'hypothèse d'échantillonnage visible à côté du calcul présenté aux responsables. Distinguer signal, investigation et réponse Signal défini par une règle Investigation du mécanisme probable Responsable, délai et vérification des suites Un tableau de bord ne doit pas transformer un chiffre en sanction ou en dépense. Définissez une règle de signalement, une investigation, puis une réponse autorisée. Par exemple, une accumulation durable de dossiers déclenche l'examen des effectifs, de la complexité et de la complétude des remontées. Cet examen détermine s'il faut des renforts, une réparation du processus ou une correction des données. Consignez l'action, son responsable et la date de revue dans l'outil utilisé pour le suivi. Pensez aussi aux fausses alertes lorsque de nombreux indicateurs sont examinés fréquemment. Un franchissement isolé peut survenir par hasard. Choisissez une méthode de surveillance adaptée au processus et à ses dépendances temporelles. L'objectif est une boucle où les preuves orientent l'action et permettent ensuite d'en vérifier les effets. 60% établit-il un dépassement de la cible de 58%? Estimation: 60%; échantillon simple de 400 Cible: 58% Puis considérer un effet de plan de 2 Mettez la vidéo en pause et décidez si un voyant vert peut signifier que la performance dépasse de manière établie la cible. Utilisez l'intervalle calculé, et pas seulement l'estimation centrale. Considérez ensuite un effet de plan de deux. Multipliez la variance par deux, donc l'erreur standard par la racine carrée de deux. Recalculez l'intervalle approximatif à quatre-vingt-quinze pour cent et expliquez son changement. L'effet de plan est fourni ici; dans une enquête réelle, il doit correspondre à l'indicateur et à l'estimateur concernés. Proposez enfin une étiquette distinguant la valeur observée de la force des preuves concernant la cible. Le but est un message de gestion clair, sans certitude injustifiée créée par la couleur du voyant ou la précision apparente des décimales. La cible appartient aux deux intervalles Intervalle simple: 55,20%–64,80% Effet de plan 2: 53,21%–66,79% Estimation au-dessus; conclusion incertaine L'intervalle simple comprend cinquante-huit pour cent: le résultat n'établit donc pas que la performance sous-jacente dépasse la cible. Avec un effet de plan de deux, l'erreur standard atteint environ trois virgule quarante-six points. La marge à quatre-vingt-quinze pour cent vaut environ six virgule soixante-dix-neuf points, donnant un intervalle de cinquante-trois virgule vingt et un à soixante-six virgule soixante-dix-neuf pour cent. La cible reste incluse et l'incertitude augmente. Une étiquette utile serait: estimation supérieure à la cible, preuve non concluante. La direction peut agir selon les coûts et les risques, mais cette décision ne devient pas une démonstration statistique. Pour un suivi répété, adoptez une méthode cohérente plutôt que d'interpréter chaque nouvel intervalle comme un test indépendant des observations déjà examinées. Afficher les limites à l'endroit où la décision se prend Dénominateur, période et actualité Étiquettes accessibles et échelles cohérentes Lien vers la définition du chiffre Placez près de chaque indicateur les informations nécessaires: numérateur, dénominateur, période, définition de la cible et statut des données. Associez texte et couleur pour rendre le résultat compréhensible en cas de déficience de perception des couleurs ou d'impression monochrome. Gardez des échelles et axes cohérents lorsque la comparaison en dépend. Évitez de tronquer un axe de barres au point d'exagérer les écarts. Permettez de passer du résumé au détail par district et à la définition sans exposer de données personnelles. Signalez les révisions et conservez un extrait reproductible. Une présentation visuellement sobre peut porter une analyse approfondie si sa hiérarchie rend faciles à trouver la décision, les preuves et l'incertitude, dans l'ordre où le responsable en a besoin pour agir. Livrer un système de mesure et une routine de gestion Définitions et calculs reproductibles Contrôles de composition et d'incertitude Journal d'action avec responsables et échéances Choisissez un indicateur de votre organisation et reconstruisez-le comme un processus décisionnel complet. Rédigez sa fiche, remontez aux dossiers sources et reproduisez numérateur et dénominateur. Vérifiez si un changement de composition explique la tendance récente. Identifiez l'information appropriée sur l'incertitude ou la qualité, puis convenez d'une règle d'action avec le responsable concerné. Organisez une revue courte à partir du tableau: qu'est-ce qui a changé, les preuves sont-elles fiables, quel mécanisme est plausible et quelle action vérifiera-t-on à la prochaine réunion? Conservez les décisions prises. Votre livrable dépasse l'écran: il relie de façon répétable des mesures définies, une interprétation transparente et des actions attribuées. Ce système doit pouvoir répondre aux questions des analystes comme à celles des responsables opérationnels qui l'utilisent chaque jour. Vérifiez vos acquis 1. A résout 90/100 dossiers et B 90/900. Quel est le taux global? A. 50% B. 18% C. 90% D. 10% 2. Les deux taux locaux baissent mais le taux global monte. Que vérifier en premier? A. Le changement des parts de population B. La possibilité d'ignorer les calculs C. Une amélioration dans chaque district D. La suppression de la cible 3. Les poids initiaux sont 10% et 90%, et les nouveaux taux 80% et 5%. Quel taux standardisé? A. 72,5% B. 42,5% C. 12,5% D. 8% 4. Une estimation de 60% a un intervalle de 55,20%–64,80%; la cible vaut 58%. Quelle étiquette convient? A. Cible dépassée avec certitude B. Estimation supérieure; preuve non concluante C. Cible certainement manquée D. Aucune incertitude puisque 60 dépasse 58 5. Avec un effet de plan de 2, que devient l'erreur standard? A. Elle double B. Elle est divisée par 2 C. Elle est multipliée par √2 D. Elle reste inchangée 6. Un registre exhaustif contient des absences et des doublons. Quelle réponse convient? A. Ajouter un intervalle générique pour résoudre le problème B. Présenter les limites de couverture et de mesure puis corriger les dossiers C. Traiter toute erreur comme de l'échantillonnage D. Masquer le dénominateur Exercice 1 Rédigez la fiche d'un taux de résolution en trente jours: dates, doublons, dossiers non résolus, responsable et action. Exercice 2 Expliquez les deux périodes à une direction avec taux observés et standardisés, puis proposez une investigation. Réponses et explications 1. B. Le taux global est 180 succès sur 1 000 dossiers. Cinquante pour cent est une moyenne donnant le même poids aux districts. (Diapositive 5) 2. A. Un déplacement vers le district au taux le plus élevé peut augmenter le total malgré les baisses locales. (Diapositive 6) 3. C. 0,10 × 80% + 0,90 × 5% = 8% + 4,5% = 12,5%. (Diapositive 8) 4. B. L'intervalle contient la cible: une estimation supérieure ne démontre pas un niveau sous-jacent supérieur. (Diapositive 14) 5. C. L'effet de plan multiplie la variance; l'erreur standard est sa racine carrée. (Diapositive 14) 6. B. Un intervalle d'échantillonnage ne corrige ni couverture, ni doublons, ni erreurs de mesure. (Diapositive 10) Exercice 1 L'unité est un épisode admissible. Le dénominateur contient les épisodes avec trente jours de recul; le numérateur compte ceux résolus dans ce délai. Conservez les épisodes admissibles non résolus et documentez le traitement des doublons. Précisez extrait, fréquence, responsable et investigation préalable à l'action. Numérateur et dénominateur partagent unité et fenêtre explicites. Absences, doublons et complétude font l'objet de contrôles. Un rôle responsable possède une revue et une action de suivi définies. Exercice 2 Le taux observé passe de 18% à 72,5% lorsque les dossiers se déplacent vers A, malgré deux baisses locales. Avec les poids initiaux, le taux vaut 12,5%, soit une baisse de 5,5 points. Examinez demande, réaffectation, admissibilité ou transmissions manquantes avant une attribution managériale. Calculs agrégés et standardisés corrects. Distinction claire entre performance et composition. Investigation fondée sur les données sans conclusion causale excessive. Références ONS — Uncertainty and how we measure it for our surveys https://www.ons.gov.uk/methodology/methodologytopicsandstatisticalconcepts/uncertaintyandhowwemeasureit Sampling uncertainty, confidence intervals and non-sampling limitations. J-PAL — Introduction to measurement and indicators https://www.povertyactionlab.org/resource/introduction-measurement-and-indicators Indicator definitions and measurement choices. J-PAL — Data visualization https://www.povertyactionlab.org/resource/data-visualization Clear quantitative communication and interpretable displays.