WEBVTT NOTE IDER in-house training materials. Captions follow measured phrase audio timings. Hypothetical worked cases; figures are instructional examples. 00:00:00.000 --> 00:00:06.301 Imaginez que vous conseillez un programme de formation qui annonce une hausse des revenus après sa première 00:00:06.301 --> 00:00:09.636 année. Vous devez apprécier si son extension est justifiée. 00:00:09.756 --> 00:00:14.644 Cette progression est encourageante, mais elle ne prouve pas que la formation en est la cause. 00:00:14.764 --> 00:00:20.599 Une reprise économique, la sélection des participants ou un autre soutien peuvent expliquer une partie du 00:00:20.599 --> 00:00:20.964 changement. 00:00:21.084 --> 00:00:29.606 Dans cette clinique, nous construirons un raisonnement allant de la question décisionnelle au contrefactuel, 00:00:29.606 --> 00:00:38.127 puis à l'interprétation des effets et de leur incertitude. Tous les chiffres sont hypothétiques. 00:00:38.247 --> 00:00:45.644 Gardez une calculatrice et une feuille disponibles. Les praticiens débutants suivront les étapes; les plus 00:00:45.644 --> 00:00:47.617 expérimentés examineront les hypothèses. 00:00:47.737 --> 00:00:53.367 Le résultat attendu est une note argumentée dont un autre chercheur peut reproduire les calculs. 00:00:54.037 --> 00:01:00.541 Commencez par une phrase complète décrivant l'effet recherché. Par exemple, quel est l'effet d'une offre 00:01:00.541 --> 00:01:05.311 de formation aux candidats admissibles sur leur emploi douze mois après? 00:01:05.431 --> 00:01:12.721 Cette formulation fixe la population, l'intervention, le résultat et l'horizon. Elle précise aussi que 00:01:12.721 --> 00:01:15.845 l'offre constitue le levier de décision. 00:01:15.965 --> 00:01:21.101 Comparer les personnes présentes aux absents répond à une autre question, car la présence dépend notamment 00:01:21.101 --> 00:01:23.349 de la motivation et du temps disponible. 00:01:23.469 --> 00:01:30.239 Avant toute analyse, consignez l'effet cible, l'unité d'affectation, l'unité observée et la population visée 00:01:30.239 --> 00:01:37.010 par les conclusions. Si ces définitions changent, conservez la version initiale et justifiez la 00:01:37.010 --> 00:01:37.494 modification. 00:01:37.614 --> 00:01:42.128 Une définition précise évite qu'un modèle techniquement élaboré réponde finalement à une 00:01:42.128 --> 00:01:45.137 question peu pertinente pour le responsable du programme. 00:01:45.807 --> 00:01:51.298 Une théorie du changement utile identifie les relations qui peuvent échouer. La formation peut 00:01:51.298 --> 00:01:57.181 améliorer les compétences sans accroître l'emploi si les entreprises recrutent peu ou si le transport 00:01:57.181 --> 00:01:58.357 empêche la recherche. 00:01:58.477 --> 00:02:05.404 Mesurez la présence et la qualité des séances pour documenter la réalisation, puis les compétences et les 00:02:05.404 --> 00:02:11.109 démarches pour étudier les mécanismes. Un résultat intermédiaire positif ne prouve pas l'effet final. 00:02:11.229 --> 00:02:18.195 Placez chaque mesure sur une chronologie afin qu'elle précède le résultat qu'elle doit expliquer. Documentez 00:02:18.195 --> 00:02:24.232 aussi les interventions concurrentes, notamment les aides au transport et les subventions salariales. 00:02:24.352 --> 00:02:29.916 Dans le plan d'analyse, distinguez résultats principaux et vérifications des mécanismes. Cette 00:02:29.916 --> 00:02:35.944 distinction protège l'inférence centrale tout en éclairant les gestionnaires lorsque la formation est 00:02:35.944 --> 00:02:39.190 réalisée sans produire le bénéfice économique attendu. 00:02:39.860 --> 00:02:45.338 Le contrefactuel correspond au résultat que les participants auraient obtenu sans le programme. Comme 00:02:45.338 --> 00:02:50.425 nous ne l'observons pas directement, le dispositif détermine si une comparaison peut l'approcher. 00:02:50.545 --> 00:02:56.959 Avec une affectation réellement aléatoire, conservez l'indicateur initial et analysez chacun dans son 00:02:56.959 --> 00:03:02.387 groupe d'affectation. Lorsque l'affectation est observationnelle, étudiez d'abord sa règle concrète 00:03:02.387 --> 00:03:06.334 avant de choisir appariement, discontinuité ou double différence. 00:03:06.454 --> 00:03:11.140 L'appariement sur des caractéristiques mesurées n'élimine pas automatiquement une motivation non 00:03:11.140 --> 00:03:17.529 observée. Vérifiez si les témoins reçoivent un soutien voisin ou apprennent auprès des bénéficiaires; ces 00:03:17.529 --> 00:03:20.084 effets indirects modifient le contraste estimé. 00:03:20.204 --> 00:03:27.961 Documentez le consentement, l'accès et l'allocation. Un schéma des groupes et des dates de démarrage 00:03:27.961 --> 00:03:33.649 éclaire souvent davantage le raisonnement qu'une première liste de régressions possibles. 00:03:34.319 --> 00:03:40.367 Considérons le profit mensuel moyen de deux groupes, mesuré dans les mêmes unités monétaires. 00:03:40.487 --> 00:03:45.565 Les entreprises traitées passent de cent à cent quarante, tandis que les entreprises témoins passent 00:03:45.565 --> 00:03:46.919 de quatre-vingts à cent. 00:03:47.039 --> 00:03:52.957 La progression traitée est de quarante, mais vingt unités d'amélioration apparaissent également sans 00:03:52.957 --> 00:03:57.964 programme. Retrancher cette évolution témoin donne un effet estimé de vingt. 00:03:58.084 --> 00:04:07.082 Autrement, ajoutez les vingt unités au niveau initial traité: le profit contrefactuel serait de cent vingt. 00:04:07.082 --> 00:04:11.018 Le résultat observé le dépasse de vingt. 00:04:11.138 --> 00:04:15.933 L'arithmétique est simple; sa crédibilité dépend de tendances qui auraient été parallèles sans traitement. 00:04:16.053 --> 00:04:22.791 Elle suppose aussi une mesure stable, une composition appropriée et l'absence d'un choc simultané touchant 00:04:22.791 --> 00:04:27.732 différemment les deux groupes. Vérifiez ces conditions avant toute interprétation causale. 00:04:28.402 --> 00:04:33.784 L'hypothèse de tendances parallèles concerne les évolutions sans traitement, et non l'égalité des 00:04:33.784 --> 00:04:38.337 niveaux initiaux. Examinez plusieurs périodes antérieures et expliquez pourquoi les groupes 00:04:38.337 --> 00:04:40.407 subissent des forces économiques comparables. 00:04:40.527 --> 00:04:45.713 Des trajectoires historiques proches étayent le raisonnement sans prouver le contrefactuel futur. 00:04:45.713 --> 00:04:51.763 Vérifiez les entrées et sorties d'entreprises ainsi que les changements de mesure contemporains de 00:04:51.763 --> 00:04:52.195 l'intervention. 00:04:52.315 --> 00:04:58.304 Lorsque les démarrages sont échelonnés, ne considérez pas automatiquement les unités déjà traitées comme des 00:04:58.304 --> 00:05:04.691 témoins valables pour les nouvelles. Les effets peuvent varier selon la cohorte et le temps écoulé. 00:05:04.811 --> 00:05:12.172 Utilisez des effets par groupe et période avec des règles explicites de comparaison. Avant d'interpréter 00:05:12.172 --> 00:05:18.551 un coefficient global, dessinez le calendrier et identifiez les observations qui construisent chaque 00:05:18.551 --> 00:05:19.533 contrefactuel pertinent. 00:05:20.203 --> 00:05:27.966 Mettez la vidéo en pause et rédigez trois réponses. Calculez d'abord la double différence d'emploi en 00:05:27.966 --> 00:05:29.421 points de pourcentage. 00:05:29.541 --> 00:05:34.910 Déterminez ensuite le niveau d'emploi contrefactuel du groupe traité sous l'hypothèse de tendances 00:05:34.910 --> 00:05:35.323 parallèles. 00:05:35.443 --> 00:05:40.889 Expliquez enfin ce que change une aide au transport introduite seulement dans les zones traitées pour 00:05:40.889 --> 00:05:42.931 attribuer le résultat à la formation. 00:05:43.051 --> 00:05:50.255 Travaillez sur les évolutions, plutôt que sur la seule différence entre niveaux finaux. Vous pouvez également 00:05:50.255 --> 00:05:55.207 exprimer l'effet relativement au niveau contrefactuel, mais indiquez explicitement ce dénominateur. 00:05:55.327 --> 00:06:03.437 N'essayez pas de résoudre le problème de l'aide au transport en ajoutant des décimales. L'exercice 00:06:03.437 --> 00:06:09.926 distingue un contraste numérique correctement calculé d'une interprétation crédible du dispositif réellement 00:06:09.926 --> 00:06:10.466 évalué. 00:06:10.586 --> 00:06:15.091 Notez séparément le calcul et la réserve méthodologique. 00:06:15.761 --> 00:06:22.080 La progression traitée est de dix-huit points et la progression témoin de dix, soit une différence de huit 00:06:22.080 --> 00:06:23.133 points de pourcentage. 00:06:23.253 --> 00:06:29.976 Sous la tendance commune supposée, l'emploi traité aurait atteint soixante pour cent. 00:06:30.096 --> 00:06:36.976 Huit divisé par soixante représente environ treize virgule trente-trois pour cent d'amélioration 00:06:36.976 --> 00:06:45.003 relative; cela diffère d'une hausse de huit pour cent. Considérons maintenant l'aide au transport. 00:06:45.123 --> 00:06:52.305 Si elle apparaît simultanément dans les seules zones traitées, le contraste peut combiner ses effets avec 00:06:52.305 --> 00:06:57.244 ceux de la formation. Cette comparaison simple ne les sépare pas. 00:06:57.364 --> 00:07:03.468 Recherchez une variation distincte des interventions ou limitez la conclusion au dispositif combiné, sous 00:07:03.468 --> 00:07:05.212 les autres hypothèses nécessaires. 00:07:05.332 --> 00:07:10.626 Présentez côte à côte le résultat numérique et la limite d'attribution dans votre note décisionnelle. 00:07:11.296 --> 00:07:17.024 Certaines personnes auxquelles une place est offerte peuvent refuser, tandis que des témoins obtiennent une 00:07:17.024 --> 00:07:21.989 formation comparable ailleurs. L'effet de proposer le programme demeure pertinent pour la décision. 00:07:22.109 --> 00:07:29.581 Estimez-le en comparant les résultats selon l'affectation initiale, indépendamment de la présence 00:07:29.581 --> 00:07:33.939 effective. C'est l'effet en intention de traiter. 00:07:34.059 --> 00:07:40.409 Exclure les absents risque de détruire la comparabilité aléatoire, puisque leur choix dépend de 00:07:40.409 --> 00:07:46.758 contraintes et de bénéfices attendus. Présentez la participation dans les deux groupes, avec sa 00:07:46.758 --> 00:07:48.572 définition et sa source. 00:07:48.692 --> 00:07:54.956 Décidez ensuite si la question nécessite un effet supplémentaire de participation. Pour un responsable 00:07:54.956 --> 00:08:00.325 qui choisit d'offrir des places, l'effet de l'offre est souvent directement utile. 00:08:00.445 --> 00:08:05.707 Une participation imparfaite révèle parfois des obstacles opérationnels déterminants pour une 00:08:05.707 --> 00:08:07.620 extension future du programme. 00:08:08.290 --> 00:08:15.101 Supposons que l'affectation aléatoire augmente le résultat de douze unités et la participation de dix à 00:08:15.101 --> 00:08:21.061 soixante-dix pour cent. Le premier étage vaut donc soixante points, soit zéro virgule six. 00:08:21.181 --> 00:08:27.868 Diviser douze par zéro virgule six donne vingt unités pour les personnes dont la participation est 00:08:27.868 --> 00:08:29.122 déclenchée par l'offre. 00:08:29.242 --> 00:08:34.847 Cette interprétation locale exige une affectation indépendante et pertinente, l'absence de personnes qui 00:08:34.847 --> 00:08:40.453 participeraient moins à cause de l'offre, ainsi qu'une restriction d'exclusion: l'affectation agit uniquement 00:08:40.453 --> 00:08:41.746 par la participation. 00:08:41.866 --> 00:08:47.468 Une offre comprenant une aide financière avec son propre effet peut violer cette condition. Présentez 00:08:47.468 --> 00:08:50.829 donc les hypothèses et le premier étage avec l'estimation. 00:08:50.949 --> 00:08:56.993 Vingt ne représente pas automatiquement l'effet pour tous les participants, tous les admissibles ou une 00:08:56.993 --> 00:08:57.799 généralisation nationale. 00:08:58.469 --> 00:09:04.249 L'incertitude dépend de l'information contenue dans le dispositif, pas seulement du nombre de lignes du 00:09:04.249 --> 00:09:04.634 fichier. 00:09:04.754 --> 00:09:11.154 Si des villages sont affectés ensemble et partagent des chocs, considérer chaque personne comme une 00:09:11.154 --> 00:09:13.287 affectation indépendante peut sous-estimer l'incertitude. 00:09:13.407 --> 00:09:19.612 Employez une méthode adaptée à l'affectation et à l'échantillonnage, avec une attention particulière aux 00:09:19.612 --> 00:09:25.816 faibles nombres de grappes. Présentez l'effet dans une unité compréhensible accompagné d'un intervalle de 00:09:25.816 --> 00:09:26.259 confiance. 00:09:26.379 --> 00:09:33.833 Comparez ensuite cet intervalle à un effet minimal jugé utile avant l'analyse. Une estimation peut se 00:09:33.833 --> 00:09:37.560 distinguer de zéro sans établir un bénéfice suffisant. 00:09:37.680 --> 00:09:43.123 Inversement, un intervalle comprenant zéro ne prouve pas l'absence d'effet. Expliquez quelles valeurs 00:09:43.123 --> 00:09:48.567 pertinentes pour la décision restent compatibles avec les données et quelles informations supplémentaires 00:09:48.567 --> 00:09:50.242 permettraient de mieux trancher. 00:09:50.912 --> 00:09:56.703 Une analyse de robustesse doit examiner des menaces concrètes plutôt qu'accumuler des régressions 00:09:56.703 --> 00:10:02.940 voisines. Commencez par un tableau des personnes affectées, contactées et observées dans chaque groupe. 00:10:03.060 --> 00:10:09.429 Si les résultats manquants diffèrent, discutez la sélection possible et conduisez des analyses de 00:10:09.429 --> 00:10:14.888 sensibilité justifiées. L'équilibre des seuls répondants ne démontre pas que l'attrition est 00:10:14.888 --> 00:10:15.343 innocente. 00:10:15.463 --> 00:10:20.817 Distinguez ensuite les résultats prévus des explorations et traitez la multiplicité lorsque vous 00:10:20.817 --> 00:10:22.464 formulez plusieurs conclusions liées. 00:10:22.584 --> 00:10:31.055 Pour les sous-groupes, testez la différence entre effets: un résultat significatif dans un groupe et non 00:10:31.055 --> 00:10:37.937 significatif dans l'autre ne suffit pas. Enfin, rapprochez les estimations des observations de 00:10:37.937 --> 00:10:38.466 terrain. 00:10:38.586 --> 00:10:45.185 Une réalisation faible signifie que l'estimation décrit l'offre effectivement mise en œuvre, pas 00:10:45.185 --> 00:10:47.723 nécessairement une formation intégralement délivrée. 00:10:48.393 --> 00:10:55.076 Mettez la vidéo en pause et calculez un intervalle de confiance approximatif à quatre-vingt-quinze pour 00:10:55.076 --> 00:10:55.522 cent. 00:10:55.642 --> 00:11:00.832 Utilisez l'estimation plus ou moins un virgule quatre-vingt-seize fois son erreur standard, en 00:11:00.832 --> 00:11:02.828 conservant les points de pourcentage. 00:11:02.948 --> 00:11:09.742 Répondez ensuite à deux questions distinctes: zéro est-il exclu, et les effets inférieurs au seuil utile 00:11:09.742 --> 00:11:14.837 de cinq points sont-ils exclus? Rédigez une recommandation qui respecte cette distinction. 00:11:14.957 --> 00:11:21.890 Supposons ici que l'erreur standard tient correctement compte du dispositif et que l'approximation normale 00:11:21.890 --> 00:11:29.319 est justifiée. En pratique, cette condition doit être vérifiée, notamment avec peu de grappes. L'exercice 00:11:29.319 --> 00:11:30.805 porte sur l'interprétation. 00:11:30.925 --> 00:11:36.424 Identifiez aussi une information nécessaire à la décision, par exemple le coût supplémentaire, la 00:11:36.424 --> 00:11:40.352 capacité de réalisation ou le coût d'attendre davantage de résultats. 00:11:41.022 --> 00:11:46.979 Trois multiplié par un virgule quatre-vingt-seize donne une marge de cinq virgule quatre-vingt-huit 00:11:46.979 --> 00:11:55.227 points. En la retranchant puis en l'ajoutant à huit, l'intervalle va de deux virgule douze à treize virgule 00:11:55.227 --> 00:11:55.685 quatre-vingt-huit. 00:11:55.805 --> 00:12:01.985 Zéro est exclu: sous les hypothèses retenues, le calcul apporte des éléments en faveur d'un effet 00:12:01.985 --> 00:12:05.848 positif. Mais l'intervalle comprend des effets inférieurs à cinq points. 00:12:05.968 --> 00:12:13.758 Il ne démontre donc pas le franchissement du seuil minimal utile. 00:12:13.878 --> 00:12:18.872 Une extension limitée accompagnée de mesures supplémentaires peut être raisonnable selon les coûts 00:12:18.872 --> 00:12:22.714 et les risques; il s'agit alors d'une décision sous incertitude. 00:12:22.834 --> 00:12:32.382 Ne donnez pas à cet intervalle une probabilité de contenir un effet fixe. Son niveau de confiance décrit 00:12:32.382 --> 00:12:38.217 la couverture répétée de la procédure utilisée sur de nouveaux échantillons. 00:12:38.887 --> 00:12:44.985 Supposons un effet de l'offre de huit points sur mille personnes admissibles auxquelles le programme est 00:12:44.985 --> 00:12:49.939 proposé. Cela représente quatre-vingts personnes supplémentaires en emploi à la date du suivi. 00:12:50.059 --> 00:12:55.855 Avec un coût supplémentaire de deux cent quarante mille unités monétaires, le ratio atteint trois mille 00:12:55.855 --> 00:12:57.304 par personne supplémentaire employée. 00:12:57.424 --> 00:13:02.755 Utilisez les coûts supplémentaires par rapport à la comparaison, en précisant la perspective et l'année 00:13:02.755 --> 00:13:08.442 des prix. Ne divisez pas par tous les participants en emploi: beaucoup auraient travaillé sans programme. 00:13:08.562 --> 00:13:15.582 L'emploi observé à une date diffère également d'un emploi durable ou d'un revenu cumulé. Faites varier 00:13:15.582 --> 00:13:21.286 effets et coûts plausibles, puis comparez des options mesurées sur une base cohérente. 00:13:21.406 --> 00:13:26.108 Le ratio éclaire la décision sans remplacer le jugement sur la distribution des bénéfices. 00:13:26.778 --> 00:13:33.478 Préparez une note courte organisée autour de la conclusion défendable. Définissez l'effet cible et 00:13:33.478 --> 00:13:37.785 expliquez comment l'affectation ou la comparaison construit le contrefactuel. 00:13:37.905 --> 00:13:44.450 Présentez le parcours des participants, les définitions de mesure et l'effet principal avec son 00:13:44.450 --> 00:13:50.995 incertitude. Joignez le code reproductible, le dictionnaire des données et les écarts documentés au 00:13:50.995 --> 00:13:51.930 plan d'analyse. 00:13:52.050 --> 00:13:57.446 Expliquez clairement les menaces les plus importantes: interventions simultanées, effets indirects, attrition 00:13:57.446 --> 00:14:04.191 et limites de généralisation. Terminez par la décision justifiée aux coûts actuels et l'information qui 00:14:04.191 --> 00:14:05.540 pourrait la modifier. 00:14:05.660 --> 00:14:12.182 Pour transférer cette méthode, choisissez un rapport récent et reformulez une conclusion causale au niveau 00:14:12.182 --> 00:14:14.356 réellement soutenu par son dispositif. 00:14:14.476 --> 00:14:20.592 L'objectif professionnel associe des calculs exacts à une explication rigoureuse de ce que les données 00:14:20.592 --> 00:14:21.407 permettent d'identifier.