Concevoir une évaluation aux conclusions causales crédibles Production: 2026-09-20 Langue: fr Supports de formation interne d’IDER : cas pratiques, illustrations et exercices guidés. Tous les cas et chiffres sont hypothétiques et servent à l’apprentissage ; ils ne constituent pas des données actuelles de marché. [00:00:00.000 – 00:00:53.917] Construire une conclusion causale défendable À L’ÉCRAN Définir la décision publique Distinguer évolution et effet Tous les chiffres sont hypothétiques EXPLICATION Imaginez que vous conseillez un programme de formation qui annonce une hausse des revenus après sa première année. Vous devez apprécier si son extension est justifiée. Cette progression est encourageante, mais elle ne prouve pas que la formation en est la cause. Une reprise économique, la sélection des participants ou un autre soutien peuvent expliquer une partie du changement. Dans cette clinique, nous construirons un raisonnement allant de la question décisionnelle au contrefactuel, puis à l'interprétation des effets et de leur incertitude. Tous les chiffres sont hypothétiques. Gardez une calculatrice et une feuille disponibles. Les praticiens débutants suivront les étapes; les plus expérimentés examineront les hypothèses. Le résultat attendu est une note argumentée dont un autre chercheur peut reproduire les calculs. [00:00:53.917 – 00:01:45.687] Définir l'effet recherché avant de choisir le modèle À L’ÉCRAN Population, intervention et résultat Horizon de suivi explicite Effet de l'offre ou de la participation? EXPLICATION Commencez par une phrase complète décrivant l'effet recherché. Par exemple, quel est l'effet d'une offre de formation aux candidats admissibles sur leur emploi douze mois après? Cette formulation fixe la population, l'intervention, le résultat et l'horizon. Elle précise aussi que l'offre constitue le levier de décision. Comparer les personnes présentes aux absents répond à une autre question, car la présence dépend notamment de la motivation et du temps disponible. Avant toute analyse, consignez l'effet cible, l'unité d'affectation, l'unité observée et la population visée par les conclusions. Si ces définitions changent, conservez la version initiale et justifiez la modification. Une définition précise évite qu'un modèle techniquement élaboré réponde finalement à une question peu pertinente pour le responsable du programme. [00:01:45.687 – 00:02:39.740] Transformer la théorie du changement en vérifications À L’ÉCRAN Formation → compétences → recherche → emploi Mesurer la réalisation et les étapes intermédiaires Documenter les explications concurrentes EXPLICATION Une théorie du changement utile identifie les relations qui peuvent échouer. La formation peut améliorer les compétences sans accroître l'emploi si les entreprises recrutent peu ou si le transport empêche la recherche. Mesurez la présence et la qualité des séances pour documenter la réalisation, puis les compétences et les démarches pour étudier les mécanismes. Un résultat intermédiaire positif ne prouve pas l'effet final. Placez chaque mesure sur une chronologie afin qu'elle précède le résultat qu'elle doit expliquer. Documentez aussi les interventions concurrentes, notamment les aides au transport et les subventions salariales. Dans le plan d'analyse, distinguez résultats principaux et vérifications des mécanismes. Cette distinction protège l'inférence centrale tout en éclairant les gestionnaires lorsque la formation est réalisée sans produire le bénéfice économique attendu. [00:02:39.740 – 00:03:34.199] Choisir un contrefactuel qui résiste à l'examen À L’ÉCRAN Affectation aléatoire lorsque possible Comparaison justifiée sinon Examiner sélection et effets indirects EXPLICATION Le contrefactuel correspond au résultat que les participants auraient obtenu sans le programme. Comme nous ne l'observons pas directement, le dispositif détermine si une comparaison peut l'approcher. Avec une affectation réellement aléatoire, conservez l'indicateur initial et analysez chacun dans son groupe d'affectation. Lorsque l'affectation est observationnelle, étudiez d'abord sa règle concrète avant de choisir appariement, discontinuité ou double différence. L'appariement sur des caractéristiques mesurées n'élimine pas automatiquement une motivation non observée. Vérifiez si les témoins reçoivent un soutien voisin ou apprennent auprès des bénéficiaires; ces effets indirects modifient le contraste estimé. Documentez le consentement, l'accès et l'allocation. Un schéma des groupes et des dates de démarrage éclaire souvent davantage le raisonnement qu'une première liste de régressions possibles. [00:03:34.199 – 00:04:28.282] La double différence retranche une évolution commune À L’ÉCRAN Profit traité: 100 → 140 Profit témoin: 80 → 100 Évolution supplémentaire estimée: 20 (140 − 100) − (100 − 80) = 20 EXPLICATION Considérons le profit mensuel moyen de deux groupes, mesuré dans les mêmes unités monétaires. Les entreprises traitées passent de cent à cent quarante, tandis que les entreprises témoins passent de quatre-vingts à cent. La progression traitée est de quarante, mais vingt unités d'amélioration apparaissent également sans programme. Retrancher cette évolution témoin donne un effet estimé de vingt. Autrement, ajoutez les vingt unités au niveau initial traité: le profit contrefactuel serait de cent vingt. Le résultat observé le dépasse de vingt. L'arithmétique est simple; sa crédibilité dépend de tendances qui auraient été parallèles sans traitement. Elle suppose aussi une mesure stable, une composition appropriée et l'absence d'un choc simultané touchant différemment les deux groupes. Vérifiez ces conditions avant toute interprétation causale. [00:04:28.282 – 00:05:20.083] Examiner les tendances et le calendrier des traitements À L’ÉCRAN Plusieurs périodes avant intervention Recherche de chocs différentiels Comparaisons adaptées aux dates de démarrage EXPLICATION L'hypothèse de tendances parallèles concerne les évolutions sans traitement, et non l'égalité des niveaux initiaux. Examinez plusieurs périodes antérieures et expliquez pourquoi les groupes subissent des forces économiques comparables. Des trajectoires historiques proches étayent le raisonnement sans prouver le contrefactuel futur. Vérifiez les entrées et sorties d'entreprises ainsi que les changements de mesure contemporains de l'intervention. Lorsque les démarrages sont échelonnés, ne considérez pas automatiquement les unités déjà traitées comme des témoins valables pour les nouvelles. Les effets peuvent varier selon la cohorte et le temps écoulé. Utilisez des effets par groupe et période avec des règles explicites de comparaison. Avant d'interpréter un coefficient global, dessinez le calendrier et identifiez les observations qui construisent chaque contrefactuel pertinent. [00:05:20.083 – 00:06:15.641] Calculer l'effet puis interroger son attribution À L’ÉCRAN Emploi traité: 50% → 68% Emploi témoin: 40% → 50% Aide au transport uniquement dans les zones traitées EXPLICATION Mettez la vidéo en pause et rédigez trois réponses. Calculez d'abord la double différence d'emploi en points de pourcentage. Déterminez ensuite le niveau d'emploi contrefactuel du groupe traité sous l'hypothèse de tendances parallèles. Expliquez enfin ce que change une aide au transport introduite seulement dans les zones traitées pour attribuer le résultat à la formation. Travaillez sur les évolutions, plutôt que sur la seule différence entre niveaux finaux. Vous pouvez également exprimer l'effet relativement au niveau contrefactuel, mais indiquez explicitement ce dénominateur. N'essayez pas de résoudre le problème de l'aide au transport en ajoutant des décimales. L'exercice distingue un contraste numérique correctement calculé d'une interprétation crédible du dispositif réellement évalué. Notez séparément le calcul et la réserve méthodologique. [00:06:15.641 – 00:07:11.176] Huit points ne suffisent pas à attribuer l'effet À L’ÉCRAN 18 − 10 = 8 points de pourcentage Emploi contrefactuel: 60% L'aide concomitante empêche une attribution simple EXPLICATION La progression traitée est de dix-huit points et la progression témoin de dix, soit une différence de huit points de pourcentage. Sous la tendance commune supposée, l'emploi traité aurait atteint soixante pour cent. Huit divisé par soixante représente environ treize virgule trente-trois pour cent d'amélioration relative; cela diffère d'une hausse de huit pour cent. Considérons maintenant l'aide au transport. Si elle apparaît simultanément dans les seules zones traitées, le contraste peut combiner ses effets avec ceux de la formation. Cette comparaison simple ne les sépare pas. Recherchez une variation distincte des interventions ou limitez la conclusion au dispositif combiné, sous les autres hypothèses nécessaires. Présentez côte à côte le résultat numérique et la limite d'attribution dans votre note décisionnelle. [00:07:11.176 – 00:08:08.170] Conserver l'affectation malgré une participation imparfaite À L’ÉCRAN Effet de l'offre en intention de traiter Présence effective potentiellement sélectionnée Mesurer la participation dans les deux groupes EXPLICATION Certaines personnes auxquelles une place est offerte peuvent refuser, tandis que des témoins obtiennent une formation comparable ailleurs. L'effet de proposer le programme demeure pertinent pour la décision. Estimez-le en comparant les résultats selon l'affectation initiale, indépendamment de la présence effective. C'est l'effet en intention de traiter. Exclure les absents risque de détruire la comparabilité aléatoire, puisque leur choix dépend de contraintes et de bénéfices attendus. Présentez la participation dans les deux groupes, avec sa définition et sa source. Décidez ensuite si la question nécessite un effet supplémentaire de participation. Pour un responsable qui choisit d'offrir des places, l'effet de l'offre est souvent directement utile. Une participation imparfaite révèle parfois des obstacles opérationnels déterminants pour une extension future du programme. [00:08:08.170 – 00:08:58.349] L'effet de participation exige d'autres hypothèses À L’ÉCRAN Effet de l'offre: 12 unités Participation: 70% contre 10% 12 ÷ (0,70 − 0,10) = 20 12 ÷ (0,70 − 0,10) = 20 EXPLICATION Supposons que l'affectation aléatoire augmente le résultat de douze unités et la participation de dix à soixante-dix pour cent. Le premier étage vaut donc soixante points, soit zéro virgule six. Diviser douze par zéro virgule six donne vingt unités pour les personnes dont la participation est déclenchée par l'offre. Cette interprétation locale exige une affectation indépendante et pertinente, l'absence de personnes qui participeraient moins à cause de l'offre, ainsi qu'une restriction d'exclusion: l'affectation agit uniquement par la participation. Une offre comprenant une aide financière avec son propre effet peut violer cette condition. Présentez donc les hypothèses et le premier étage avec l'estimation. Vingt ne représente pas automatiquement l'effet pour tous les participants, tous les admissibles ou une généralisation nationale. [00:08:58.349 – 00:09:50.792] Adapter l'inférence à la structure du dispositif À L’ÉCRAN Tenir compte des dépendances Présenter effet et intervalle ensemble Distinguer importance statistique et pratique EXPLICATION L'incertitude dépend de l'information contenue dans le dispositif, pas seulement du nombre de lignes du fichier. Si des villages sont affectés ensemble et partagent des chocs, considérer chaque personne comme une affectation indépendante peut sous-estimer l'incertitude. Employez une méthode adaptée à l'affectation et à l'échantillonnage, avec une attention particulière aux faibles nombres de grappes. Présentez l'effet dans une unité compréhensible accompagné d'un intervalle de confiance. Comparez ensuite cet intervalle à un effet minimal jugé utile avant l'analyse. Une estimation peut se distinguer de zéro sans établir un bénéfice suffisant. Inversement, un intervalle comprenant zéro ne prouve pas l'absence d'effet. Expliquez quelles valeurs pertinentes pour la décision restent compatibles avec les données et quelles informations supplémentaires permettraient de mieux trancher. [00:09:50.792 – 00:10:48.273] Choisir des vérifications capables de modifier la conclusion À L’ÉCRAN Examiner attrition et résultats manquants Prévoir résultats principaux et sous-groupes Relier estimation et réalisation effective EXPLICATION Une analyse de robustesse doit examiner des menaces concrètes plutôt qu'accumuler des régressions voisines. Commencez par un tableau des personnes affectées, contactées et observées dans chaque groupe. Si les résultats manquants diffèrent, discutez la sélection possible et conduisez des analyses de sensibilité justifiées. L'équilibre des seuls répondants ne démontre pas que l'attrition est innocente. Distinguez ensuite les résultats prévus des explorations et traitez la multiplicité lorsque vous formulez plusieurs conclusions liées. Pour les sous-groupes, testez la différence entre effets: un résultat significatif dans un groupe et non significatif dans l'autre ne suffit pas. Enfin, rapprochez les estimations des observations de terrain. Une réalisation faible signifie que l'estimation décrit l'offre effectivement mise en œuvre, pas nécessairement une formation intégralement délivrée. [00:10:48.273 – 00:11:40.902] L'effet positif dépasse-t-il le seuil utile? À L’ÉCRAN Effet estimé: 8 points de pourcentage Erreur standard: 3 points Effet minimal utile: 5 points EXPLICATION Mettez la vidéo en pause et calculez un intervalle de confiance approximatif à quatre-vingt-quinze pour cent. Utilisez l'estimation plus ou moins un virgule quatre-vingt-seize fois son erreur standard, en conservant les points de pourcentage. Répondez ensuite à deux questions distinctes: zéro est-il exclu, et les effets inférieurs au seuil utile de cinq points sont-ils exclus? Rédigez une recommandation qui respecte cette distinction. Supposons ici que l'erreur standard tient correctement compte du dispositif et que l'approximation normale est justifiée. En pratique, cette condition doit être vérifiée, notamment avec peu de grappes. L'exercice porte sur l'interprétation. Identifiez aussi une information nécessaire à la décision, par exemple le coût supplémentaire, la capacité de réalisation ou le coût d'attendre davantage de résultats. [00:11:40.902 – 00:12:38.767] Un bénéfice établi peut rester insuffisamment précis À L’ÉCRAN Intervalle à 95%: 2,12 à 13,88 points Zéro est exclu Des effets inférieurs à 5 points restent possibles EXPLICATION Trois multiplié par un virgule quatre-vingt-seize donne une marge de cinq virgule quatre-vingt-huit points. En la retranchant puis en l'ajoutant à huit, l'intervalle va de deux virgule douze à treize virgule quatre-vingt-huit. Zéro est exclu: sous les hypothèses retenues, le calcul apporte des éléments en faveur d'un effet positif. Mais l'intervalle comprend des effets inférieurs à cinq points. Il ne démontre donc pas le franchissement du seuil minimal utile. Une extension limitée accompagnée de mesures supplémentaires peut être raisonnable selon les coûts et les risques; il s'agit alors d'une décision sous incertitude. Ne donnez pas à cet intervalle une probabilité de contenir un effet fixe. Son niveau de confiance décrit la couverture répétée de la procédure utilisée sur de nouveaux échantillons. [00:12:38.767 – 00:13:26.658] Relier l'effet valide au coût supplémentaire À L’ÉCRAN 0,08 × 1 000 offres = 80 emplois supplémentaires Coût supplémentaire: 240 000 Coût par emploi supplémentaire: 3 000 240 000 ÷ (0,08 × 1 000) = 3 000 EXPLICATION Supposons un effet de l'offre de huit points sur mille personnes admissibles auxquelles le programme est proposé. Cela représente quatre-vingts personnes supplémentaires en emploi à la date du suivi. Avec un coût supplémentaire de deux cent quarante mille unités monétaires, le ratio atteint trois mille par personne supplémentaire employée. Utilisez les coûts supplémentaires par rapport à la comparaison, en précisant la perspective et l'année des prix. Ne divisez pas par tous les participants en emploi: beaucoup auraient travaillé sans programme. L'emploi observé à une date diffère également d'un emploi durable ou d'un revenu cumulé. Faites varier effets et coûts plausibles, puis comparez des options mesurées sur une base cohérente. Le ratio éclaire la décision sans remplacer le jugement sur la distribution des bénéfices. [00:13:26.658 – 00:14:22.877] Construire une conclusion vérifiable par un collègue À L’ÉCRAN Effet cible, dispositif et hypothèses Calcul reproductible et sensibilités Décision, limites et prochaine information utile EXPLICATION Préparez une note courte organisée autour de la conclusion défendable. Définissez l'effet cible et expliquez comment l'affectation ou la comparaison construit le contrefactuel. Présentez le parcours des participants, les définitions de mesure et l'effet principal avec son incertitude. Joignez le code reproductible, le dictionnaire des données et les écarts documentés au plan d'analyse. Expliquez clairement les menaces les plus importantes: interventions simultanées, effets indirects, attrition et limites de généralisation. Terminez par la décision justifiée aux coûts actuels et l'information qui pourrait la modifier. Pour transférer cette méthode, choisissez un rapport récent et reformulez une conclusion causale au niveau réellement soutenu par son dispositif. L'objectif professionnel associe des calculs exacts à une explication rigoureuse de ce que les données permettent d'identifier. RÉFÉRENCES MÉTHODOLOGIQUES J-PAL — Data analysis https://www.povertyactionlab.org/resource/data-analysis Definitions of offer and complier effects; interpretation of instrumental-variable assumptions. Callaway and Sant’Anna — Introduction to DiD with Multiple Time Periods https://bcallaway11.github.io/did/articles/multi-period-did.html Timing-appropriate comparison groups and heterogeneous effects in staggered adoption. J-PAL — Pre-analysis plans https://www.povertyactionlab.org/resource/pre-analysis-plans Prespecification of outcomes and transparent deviations. J-PAL — Introduction to randomized evaluations https://www.povertyactionlab.org/resource/introduction-randomized-evaluations Counterfactual reasoning and assignment-based evaluation design. Crédits audio https://iderafrica.com/downloads/briefings/audio-credits.txt