*Myslím*, že jsem přišel na většinu toho, co Horvath dělal, aby získal výsledky, které nevysvětlil. Vysvětlím to pomocí jeho výsledků z matematiky ve 4. třídě. Vzal jsem jeho graf a digitalizoval ho, což přináší menší chybu, protože rozlišení jeho grafu bylo trochu nízké. Množství chyb je zde malé. Pak jsem programově hledal jeho specifikaci. Dostal jsem se docela blízko tím, že jsem procházel možnosti. Shodoval jsem se se sklonem a moje RMSE na bodech bylo malé před údajným digitálním zlomovým bodem. Poté byl trochu větší, protože není tak jasné, co přesně dělal. Ale abych se dostal tak blízko, musel jsem: - Bin skóruje podle 2 let události vzhledem k uvedeným inflexním rokům - Vyloučit rok 2022 (který pouze teoreticky, ale statisticky neospravedlnil) - Vyříznout nejvzdálenější boxy Floridy - Použijte čas události jako x místo středového bodu binu To ukazuje jeho přesný sklon: 1,08 před digitální inflexí a -0,28 po. Ale co když zrušíme všechna svévolná rozhodnutí, která jsme museli použít, abychom se sem dostali? Pokud použijeme středy binů místo průměrného času události, posuneme se na 1,06/-0,27. Není to velký efekt. Pokud zahrneme do svahu floridské sloupové biny, dostaneme se na +1,08/-0,33. Pokud zahrneme rok 2022, přecházíme na +1,08/-0,76. Pokud zahrneme Floridu 1992/1996, dostaneme +1,08/-0,28. Pokud ponecháme N = 1 biny místo toho, abychom je vyřadili (což bychom neměli, protože jsou spolehlivé, jelikož jsou to celé stavy!), dostaneme se k +1,05/-0,25. A pokud binujeme středy a všechny postbiny, dostaneme +1,06/-0,33. Pokud tyto věci zkombinujeme a provedeme nejrozumnější analýzu, kterou máme k dispozici na základě dat, dostaneme +1,04/+0,10, což je určitě snížení sklonu, ale co jsme vlastně čekali? Kdyby pre-trend platil, extrapolace by byla na 256,3 bodu, což je více, než kdy jakýkoli jednotlivý stát dosáhl. Předběžný trend +1,08/rok není věrohodný kontrafaktuální výsledek. Spíše jde o tendenci dohánění z 90. a 2000. let, která už zpomalovala (stačí se podívat!) ještě předtím, než jakýkoli stát přijal digitální výuku. Extrapolovat to dopředu a považovat to za skutečný důkaz mezery nebo "ztráty" znamená přisuzovat EdTech efekt stropu. Navíc skutečný klíč k Horvathově chybě je tento: Zmatoval se svými daty, dokud nenašel návrh, který jen opakuje národní trendy bez ohledu na příčinnou souvislost! 76 % států má inflekční roky v roce 2014-16 a on vynechal nejvzdálenější položky (FL/TX), takže soustředění na inflexní rok a průměrování mezi státy je téměř totožné s centrováním na 2015 a průměrováním. Pre-trend je národní zlepšení NAEP od 90. let do poloviny 2010. let a post-trend je národní stagnace a úpadek, a permutační testy to potvrzují: náhodně se měnící inflakční roky mezi státy dávají stejný vzorec! Horvath ve skutečnosti učinil rozhodnutí, která fakticky zaručila, že jeho výsledek bude jen opakováním národních trendů tím, že omezil svou moc s vyloučením FL a TX a následně eliminoval 36 % rozptylu v inflexních datech. To rozhodně není důvěryhodná analýza. Jedinou skutečně důvěryhodnou analýzou je studie syntetické kontroly na Floridě. Je to jediná analýza s identifikací variace, protože Florida přijala v roce 2011, tedy čtyři roky před většinou země. A Florida *překonala* svou syntetickou kontrolu po adopci!...