Concevoir une évaluation aux conclusions causales crédibles Supports de formation interne d’IDER Cas et chiffres hypothétiques pour expliquer les méthodes. Objectifs Définir l'effet cible et défendre une comparaison contrefactuelle. Calculer une double différence et un effet local avec leurs hypothèses. Relier incertitude et coûts supplémentaires à une décision argumentée. Pourcentages, moyennes et connaissance élémentaire du suivi des programmes. Construire une conclusion causale défendable Définir la décision publique Distinguer évolution et effet Tous les chiffres sont hypothétiques Imaginez que vous conseillez un programme de formation qui annonce une hausse des revenus après sa première année. Vous devez apprécier si son extension est justifiée. Cette progression est encourageante, mais elle ne prouve pas que la formation en est la cause. Une reprise économique, la sélection des participants ou un autre soutien peuvent expliquer une partie du changement. Dans cette clinique, nous construirons un raisonnement allant de la question décisionnelle au contrefactuel, puis à l'interprétation des effets et de leur incertitude. Tous les chiffres sont hypothétiques. Gardez une calculatrice et une feuille disponibles. Les praticiens débutants suivront les étapes; les plus expérimentés examineront les hypothèses. Le résultat attendu est une note argumentée dont un autre chercheur peut reproduire les calculs. Définir l'effet recherché avant de choisir le modèle Population, intervention et résultat Horizon de suivi explicite Effet de l'offre ou de la participation? Commencez par une phrase complète décrivant l'effet recherché. Par exemple, quel est l'effet d'une offre de formation aux candidats admissibles sur leur emploi douze mois après? Cette formulation fixe la population, l'intervention, le résultat et l'horizon. Elle précise aussi que l'offre constitue le levier de décision. Comparer les personnes présentes aux absents répond à une autre question, car la présence dépend notamment de la motivation et du temps disponible. Avant toute analyse, consignez l'effet cible, l'unité d'affectation, l'unité observée et la population visée par les conclusions. Si ces définitions changent, conservez la version initiale et justifiez la modification. Une définition précise évite qu'un modèle techniquement élaboré réponde finalement à une question peu pertinente pour le responsable du programme. Transformer la théorie du changement en vérifications Formation → compétences → recherche → emploi Mesurer la réalisation et les étapes intermédiaires Documenter les explications concurrentes Une théorie du changement utile identifie les relations qui peuvent échouer. La formation peut améliorer les compétences sans accroître l'emploi si les entreprises recrutent peu ou si le transport empêche la recherche. Mesurez la présence et la qualité des séances pour documenter la réalisation, puis les compétences et les démarches pour étudier les mécanismes. Un résultat intermédiaire positif ne prouve pas l'effet final. Placez chaque mesure sur une chronologie afin qu'elle précède le résultat qu'elle doit expliquer. Documentez aussi les interventions concurrentes, notamment les aides au transport et les subventions salariales. Dans le plan d'analyse, distinguez résultats principaux et vérifications des mécanismes. Cette distinction protège l'inférence centrale tout en éclairant les gestionnaires lorsque la formation est réalisée sans produire le bénéfice économique attendu. Choisir un contrefactuel qui résiste à l'examen Affectation aléatoire lorsque possible Comparaison justifiée sinon Examiner sélection et effets indirects Le contrefactuel correspond au résultat que les participants auraient obtenu sans le programme. Comme nous ne l'observons pas directement, le dispositif détermine si une comparaison peut l'approcher. Avec une affectation réellement aléatoire, conservez l'indicateur initial et analysez chacun dans son groupe d'affectation. Lorsque l'affectation est observationnelle, étudiez d'abord sa règle concrète avant de choisir appariement, discontinuité ou double différence. L'appariement sur des caractéristiques mesurées n'élimine pas automatiquement une motivation non observée. Vérifiez si les témoins reçoivent un soutien voisin ou apprennent auprès des bénéficiaires; ces effets indirects modifient le contraste estimé. Documentez le consentement, l'accès et l'allocation. Un schéma des groupes et des dates de démarrage éclaire souvent davantage le raisonnement qu'une première liste de régressions possibles. La double différence retranche une évolution commune Profit traité: 100 → 140 Profit témoin: 80 → 100 Évolution supplémentaire estimée: 20 (140 − 100) − (100 − 80) = 20 Considérons le profit mensuel moyen de deux groupes, mesuré dans les mêmes unités monétaires. Les entreprises traitées passent de cent à cent quarante, tandis que les entreprises témoins passent de quatre-vingts à cent. La progression traitée est de quarante, mais vingt unités d'amélioration apparaissent également sans programme. Retrancher cette évolution témoin donne un effet estimé de vingt. Autrement, ajoutez les vingt unités au niveau initial traité: le profit contrefactuel serait de cent vingt. Le résultat observé le dépasse de vingt. L'arithmétique est simple; sa crédibilité dépend de tendances qui auraient été parallèles sans traitement. Elle suppose aussi une mesure stable, une composition appropriée et l'absence d'un choc simultané touchant différemment les deux groupes. Vérifiez ces conditions avant toute interprétation causale. Examiner les tendances et le calendrier des traitements Plusieurs périodes avant intervention Recherche de chocs différentiels Comparaisons adaptées aux dates de démarrage L'hypothèse de tendances parallèles concerne les évolutions sans traitement, et non l'égalité des niveaux initiaux. Examinez plusieurs périodes antérieures et expliquez pourquoi les groupes subissent des forces économiques comparables. Des trajectoires historiques proches étayent le raisonnement sans prouver le contrefactuel futur. Vérifiez les entrées et sorties d'entreprises ainsi que les changements de mesure contemporains de l'intervention. Lorsque les démarrages sont échelonnés, ne considérez pas automatiquement les unités déjà traitées comme des témoins valables pour les nouvelles. Les effets peuvent varier selon la cohorte et le temps écoulé. Utilisez des effets par groupe et période avec des règles explicites de comparaison. Avant d'interpréter un coefficient global, dessinez le calendrier et identifiez les observations qui construisent chaque contrefactuel pertinent. Calculer l'effet puis interroger son attribution Emploi traité: 50% → 68% Emploi témoin: 40% → 50% Aide au transport uniquement dans les zones traitées Mettez la vidéo en pause et rédigez trois réponses. Calculez d'abord la double différence d'emploi en points de pourcentage. Déterminez ensuite le niveau d'emploi contrefactuel du groupe traité sous l'hypothèse de tendances parallèles. Expliquez enfin ce que change une aide au transport introduite seulement dans les zones traitées pour attribuer le résultat à la formation. Travaillez sur les évolutions, plutôt que sur la seule différence entre niveaux finaux. Vous pouvez également exprimer l'effet relativement au niveau contrefactuel, mais indiquez explicitement ce dénominateur. N'essayez pas de résoudre le problème de l'aide au transport en ajoutant des décimales. L'exercice distingue un contraste numérique correctement calculé d'une interprétation crédible du dispositif réellement évalué. Notez séparément le calcul et la réserve méthodologique. Huit points ne suffisent pas à attribuer l'effet 18 − 10 = 8 points de pourcentage Emploi contrefactuel: 60% L'aide concomitante empêche une attribution simple La progression traitée est de dix-huit points et la progression témoin de dix, soit une différence de huit points de pourcentage. Sous la tendance commune supposée, l'emploi traité aurait atteint soixante pour cent. Huit divisé par soixante représente environ treize virgule trente-trois pour cent d'amélioration relative; cela diffère d'une hausse de huit pour cent. Considérons maintenant l'aide au transport. Si elle apparaît simultanément dans les seules zones traitées, le contraste peut combiner ses effets avec ceux de la formation. Cette comparaison simple ne les sépare pas. Recherchez une variation distincte des interventions ou limitez la conclusion au dispositif combiné, sous les autres hypothèses nécessaires. Présentez côte à côte le résultat numérique et la limite d'attribution dans votre note décisionnelle. Conserver l'affectation malgré une participation imparfaite Effet de l'offre en intention de traiter Présence effective potentiellement sélectionnée Mesurer la participation dans les deux groupes Certaines personnes auxquelles une place est offerte peuvent refuser, tandis que des témoins obtiennent une formation comparable ailleurs. L'effet de proposer le programme demeure pertinent pour la décision. Estimez-le en comparant les résultats selon l'affectation initiale, indépendamment de la présence effective. C'est l'effet en intention de traiter. Exclure les absents risque de détruire la comparabilité aléatoire, puisque leur choix dépend de contraintes et de bénéfices attendus. Présentez la participation dans les deux groupes, avec sa définition et sa source. Décidez ensuite si la question nécessite un effet supplémentaire de participation. Pour un responsable qui choisit d'offrir des places, l'effet de l'offre est souvent directement utile. Une participation imparfaite révèle parfois des obstacles opérationnels déterminants pour une extension future du programme. L'effet de participation exige d'autres hypothèses Effet de l'offre: 12 unités Participation: 70% contre 10% 12 ÷ (0,70 − 0,10) = 20 12 ÷ (0,70 − 0,10) = 20 Supposons que l'affectation aléatoire augmente le résultat de douze unités et la participation de dix à soixante-dix pour cent. Le premier étage vaut donc soixante points, soit zéro virgule six. Diviser douze par zéro virgule six donne vingt unités pour les personnes dont la participation est déclenchée par l'offre. Cette interprétation locale exige une affectation indépendante et pertinente, l'absence de personnes qui participeraient moins à cause de l'offre, ainsi qu'une restriction d'exclusion: l'affectation agit uniquement par la participation. Une offre comprenant une aide financière avec son propre effet peut violer cette condition. Présentez donc les hypothèses et le premier étage avec l'estimation. Vingt ne représente pas automatiquement l'effet pour tous les participants, tous les admissibles ou une généralisation nationale. Adapter l'inférence à la structure du dispositif Tenir compte des dépendances Présenter effet et intervalle ensemble Distinguer importance statistique et pratique L'incertitude dépend de l'information contenue dans le dispositif, pas seulement du nombre de lignes du fichier. Si des villages sont affectés ensemble et partagent des chocs, considérer chaque personne comme une affectation indépendante peut sous-estimer l'incertitude. Employez une méthode adaptée à l'affectation et à l'échantillonnage, avec une attention particulière aux faibles nombres de grappes. Présentez l'effet dans une unité compréhensible accompagné d'un intervalle de confiance. Comparez ensuite cet intervalle à un effet minimal jugé utile avant l'analyse. Une estimation peut se distinguer de zéro sans établir un bénéfice suffisant. Inversement, un intervalle comprenant zéro ne prouve pas l'absence d'effet. Expliquez quelles valeurs pertinentes pour la décision restent compatibles avec les données et quelles informations supplémentaires permettraient de mieux trancher. Choisir des vérifications capables de modifier la conclusion Examiner attrition et résultats manquants Prévoir résultats principaux et sous-groupes Relier estimation et réalisation effective Une analyse de robustesse doit examiner des menaces concrètes plutôt qu'accumuler des régressions voisines. Commencez par un tableau des personnes affectées, contactées et observées dans chaque groupe. Si les résultats manquants diffèrent, discutez la sélection possible et conduisez des analyses de sensibilité justifiées. L'équilibre des seuls répondants ne démontre pas que l'attrition est innocente. Distinguez ensuite les résultats prévus des explorations et traitez la multiplicité lorsque vous formulez plusieurs conclusions liées. Pour les sous-groupes, testez la différence entre effets: un résultat significatif dans un groupe et non significatif dans l'autre ne suffit pas. Enfin, rapprochez les estimations des observations de terrain. Une réalisation faible signifie que l'estimation décrit l'offre effectivement mise en œuvre, pas nécessairement une formation intégralement délivrée. L'effet positif dépasse-t-il le seuil utile? Effet estimé: 8 points de pourcentage Erreur standard: 3 points Effet minimal utile: 5 points Mettez la vidéo en pause et calculez un intervalle de confiance approximatif à quatre-vingt-quinze pour cent. Utilisez l'estimation plus ou moins un virgule quatre-vingt-seize fois son erreur standard, en conservant les points de pourcentage. Répondez ensuite à deux questions distinctes: zéro est-il exclu, et les effets inférieurs au seuil utile de cinq points sont-ils exclus? Rédigez une recommandation qui respecte cette distinction. Supposons ici que l'erreur standard tient correctement compte du dispositif et que l'approximation normale est justifiée. En pratique, cette condition doit être vérifiée, notamment avec peu de grappes. L'exercice porte sur l'interprétation. Identifiez aussi une information nécessaire à la décision, par exemple le coût supplémentaire, la capacité de réalisation ou le coût d'attendre davantage de résultats. Un bénéfice établi peut rester insuffisamment précis Intervalle à 95%: 2,12 à 13,88 points Zéro est exclu Des effets inférieurs à 5 points restent possibles Trois multiplié par un virgule quatre-vingt-seize donne une marge de cinq virgule quatre-vingt-huit points. En la retranchant puis en l'ajoutant à huit, l'intervalle va de deux virgule douze à treize virgule quatre-vingt-huit. Zéro est exclu: sous les hypothèses retenues, le calcul apporte des éléments en faveur d'un effet positif. Mais l'intervalle comprend des effets inférieurs à cinq points. Il ne démontre donc pas le franchissement du seuil minimal utile. Une extension limitée accompagnée de mesures supplémentaires peut être raisonnable selon les coûts et les risques; il s'agit alors d'une décision sous incertitude. Ne donnez pas à cet intervalle une probabilité de contenir un effet fixe. Son niveau de confiance décrit la couverture répétée de la procédure utilisée sur de nouveaux échantillons. Relier l'effet valide au coût supplémentaire 0,08 × 1 000 offres = 80 emplois supplémentaires Coût supplémentaire: 240 000 Coût par emploi supplémentaire: 3 000 240 000 ÷ (0,08 × 1 000) = 3 000 Supposons un effet de l'offre de huit points sur mille personnes admissibles auxquelles le programme est proposé. Cela représente quatre-vingts personnes supplémentaires en emploi à la date du suivi. Avec un coût supplémentaire de deux cent quarante mille unités monétaires, le ratio atteint trois mille par personne supplémentaire employée. Utilisez les coûts supplémentaires par rapport à la comparaison, en précisant la perspective et l'année des prix. Ne divisez pas par tous les participants en emploi: beaucoup auraient travaillé sans programme. L'emploi observé à une date diffère également d'un emploi durable ou d'un revenu cumulé. Faites varier effets et coûts plausibles, puis comparez des options mesurées sur une base cohérente. Le ratio éclaire la décision sans remplacer le jugement sur la distribution des bénéfices. Construire une conclusion vérifiable par un collègue Effet cible, dispositif et hypothèses Calcul reproductible et sensibilités Décision, limites et prochaine information utile Préparez une note courte organisée autour de la conclusion défendable. Définissez l'effet cible et expliquez comment l'affectation ou la comparaison construit le contrefactuel. Présentez le parcours des participants, les définitions de mesure et l'effet principal avec son incertitude. Joignez le code reproductible, le dictionnaire des données et les écarts documentés au plan d'analyse. Expliquez clairement les menaces les plus importantes: interventions simultanées, effets indirects, attrition et limites de généralisation. Terminez par la décision justifiée aux coûts actuels et l'information qui pourrait la modifier. Pour transférer cette méthode, choisissez un rapport récent et reformulez une conclusion causale au niveau réellement soutenu par son dispositif. L'objectif professionnel associe des calculs exacts à une explication rigoureuse de ce que les données permettent d'identifier. Vérifiez vos acquis 1. L'emploi passe de 50% à 68% dans les zones traitées et de 40% à 50% dans les témoins. Quelle est la double différence? A. 8 points de pourcentage B. 18 points de pourcentage C. 28 points de pourcentage D. 8% relativement au contrefactuel 2. Une aide au transport commence uniquement dans les zones traitées en même temps que la formation. Quelle conséquence principale? A. Elle augmente automatiquement la précision B. Le contraste ne sépare pas la formation de l’aide sans hypothèses ou dispositif supplémentaires C. Elle prouve les tendances parallèles D. Un grand échantillon permet de l’ignorer 3. Pourquoi analyser l'affectation aléatoire initiale malgré des absences? A. Pour estimer l'effet de l'offre en conservant la comparaison assignée B. Pour exclure les absents C. Pour garantir un effet chez chaque participant D. Pour supprimer tous les effets indirects 4. L'effet de l'offre vaut 12 unités et la participation 70% contre 10%. Sous les hypothèses IV valides, que mesure le ratio? A. 12 unités pour tous les admissibles B. 20 unités pour les personnes amenées à participer par l'offre C. 17,14 unités pour tous les participants D. 60 unités pour les non-participants 5. L'intervalle à 95% va de 2,12 à 13,88 points et le seuil utile est de 5 points. Quelle conclusion convient? A. Le bénéfice dépasse certainement 5 points B. Aucun bénéfice n'existe C. Zéro est exclu, mais des effets inférieurs au seuil utile restent compatibles D. L'effet est exactement de 8 points 6. Un effet de 0,08 concerne 1 000 offres et le coût supplémentaire est 240 000. Quel coût par personne supplémentaire employée? A. 240 B. 1 920 C. 3 000 D. 30 000 Exercice 1 Concevez sur une page l'évaluation d'une offre de formation avant son lancement: effet cible, comparaison, calendrier et deux menaces principales. Exercice 2 Rédigez une note: effet de 8 points, erreur standard de 3 points, 1 000 offres, coût supplémentaire de 240 000 et seuil utile de 5 points. Réponses et explications 1. A. La progression traitée est de 18 points; moins les 10 points témoins, elle donne 8 points de pourcentage. (Diapositive 8) 2. B. L'intervention concomitante différentielle menace l'attribution à la formation seule; la taille de l'échantillon ne résout pas ce problème. (Diapositive 8) 3. A. L'intention de traiter compare les groupes affectés et mesure l'effet de l'offre avec la participation effectivement observée. (Diapositive 9) 4. B. Le premier étage vaut 0,60; 12/0,60 = 20. L'effet est local aux personnes dont la participation dépend de l'offre. (Diapositive 10) 5. C. Un intervalle positif ne démontre pas le franchissement de tout seuil positif pertinent pour la décision. (Diapositive 14) 6. C. Le nombre supplémentaire estimé est 0,08 × 1 000 = 80; 240 000/80 = 3 000. (Diapositive 15) Exercice 1 Une proposition solide définit les candidats admissibles, l'effet de l'offre sur l'emploi à douze mois et une allocation réalisable ou une comparaison justifiée. Elle mesure les résultats de manière constante, documente les autres aides, conserve l'affectation et prévoit les contrôles d'attrition et d'effets indirects. D'autres dispositifs conviennent si leurs hypothèses sont explicites. Population, levier, résultat et horizon sont définis. Le contrefactuel et le mécanisme d'affectation sont expliqués. Chaque menace reçoit une réponse concrète de mesure ou de conception. Exercice 2 L'intervalle approximatif est 2,12–13,88 points; l'estimation centrale implique 80 personnes supplémentaires employées et un coût de 3 000 par personne. Un effet positif est étayé, mais le dépassement de 5 points n'est pas établi. Proposez une action conditionnelle aux coûts, risques et capacités, puis l'information susceptible de la modifier. Intervalle et nombre supplémentaire correctement calculés. Distinction entre effet positif et franchissement du seuil utile. Recommandation tenant compte de l'incertitude et du coût supplémentaire. Références J-PAL — Data analysis https://www.povertyactionlab.org/resource/data-analysis Definitions of offer and complier effects; interpretation of instrumental-variable assumptions. Callaway and Sant’Anna — Introduction to DiD with Multiple Time Periods https://bcallaway11.github.io/did/articles/multi-period-did.html Timing-appropriate comparison groups and heterogeneous effects in staggered adoption. J-PAL — Pre-analysis plans https://www.povertyactionlab.org/resource/pre-analysis-plans Prespecification of outcomes and transparent deviations. J-PAL — Introduction to randomized evaluations https://www.povertyactionlab.org/resource/introduction-randomized-evaluations Counterfactual reasoning and assignment-based evaluation design.