En av mine favorittartikler de siste årene inkluderte dette diagrammet. Den viser virkningen av å kontrollere for tre forskjellige typer variabler: konfunderere, kolliderere og mediatorer. Med confounders er kontroll bra. Med de andre ødelegger du resultatet ditt ved å kontrollere.

Hvis du har variabler med målefeil, kan du støte på en annen problematisk variabel: proxyen. Proxy-variabler kan gjøre alle disse forvrengningene mye verre og mye vanskeligere å håndtere.

Artikkelen gjør denne enkle observasjonen: statistisk kontroll krever kausal begrunnelse. Det er faktisk tittelen. De ga flere DAG-baserte eksempler. Tenk på denne: er edutainment en forvirrer eller en formidler? Bør du kontrollere for det, eller vil det påvirke estimatet ditt?

Dette er alltid noe du må vurdere, men det er ærlig talt eksepsjonelt å tenke kausalt om statistisk kontroll. Mange artikler gjør ting som å kontrollere for irrelevante nedstrømsvariabler (proxyer), eller de kontrollerer utilsiktet for meklere. Det er normen!

Artikkelen min går over mange flere problemer med bruk og misbruk av kontroller. Den bemerker for eksempel at det kan kreve mye data og innsats for å få tilbøyelighetspoeng til å matche eksperimenter:

Den bemerker at et gitt funn kanskje ikke betyr det den sier at den gjør:

Og det viser at til og med gullstandarden for kausal slutning – RCT – må gjøres riktig, ellers vil du ende opp i en situasjon der effektestimatene dine er oppblåste og konklusjonene dine er feil.