Myślę, że zrozumiałem większość tego, co Horvath zrobił, aby uzyskać swoje wyniki, których nie wyjaśnił. Wyjaśnię to, używając jego wyników z matematyki w klasie 4. Wziąłem jego wykres i zdigitalizowałem go, co wprowadza niewielką ilość błędu, ponieważ rozdzielczość jego wykresu była nieco niska. Ilość błędu tutaj jest mała. Następnie programowo poszukałem jego specyfikacji. Zbliżyłem się do niej, przeszukując możliwości. Dopasowałem nachylenie, a mój RMSE na punktach był mały przed rzekomym punktem infleksji cyfrowej. Później był nieco większy, ponieważ mniej jasne było, co dokładnie zrobił. Ale aby zbliżyć się tak bardzo, musiałem: - Grupować wyniki według 2-letniego czasu zdarzenia w odniesieniu do jego podanych lat infleksji - Wykluczyć 2022 (który tylko teoretycznie, ale nie statystycznie uzasadniony) - Usunąć najbardziej zewnętrzne grupy Florydy - Użyć czasu zdarzenia jako x zamiast punktu środkowego grupy To dostarcza jego dokładnego nachylenia: 1,08 przed cyfrowym punktem infleksji i -0,28 po. Ale co jeśli cofniemy wszystkie arbitralne decyzje, które musieliśmy podjąć, aby tu dotrzeć? Jeśli użyjemy punktów środkowych grup zamiast średniego czasu zdarzenia, przechodzimy do 1,06/-0,27. Nie ma dużego efektu. Jeśli uwzględnimy grupy Florydy po punktach w nachyleniu, przechodzimy do +1,08/-0,33. Jeśli uwzględnimy 2022, przechodzimy do +1,08/-0,76. Jeśli uwzględnimy Florydę 1992/1996, otrzymujemy +1,08/-0,28. Jeśli zachowamy grupy N = 1 zamiast je odrzucać (czego nie powinniśmy robić, ponieważ są wiarygodne, ponieważ to całe stany!), przechodzimy do +1,05/-0,25. A jeśli użyjemy punktów środkowych grup i wszystkich grup po, otrzymujemy +1,06/-0,33. Jeśli połączymy te rzeczy i przeprowadzimy najbardziej sensowną analizę dostępną dla nas, biorąc pod uwagę dane, otrzymujemy +1,04/+0,10, co na pewno oznacza redukcję nachylenia, ale czego się spodziewaliśmy? Gdyby wcześniejszy trend się utrzymał, ekstrapolacja prowadziłaby do 256,3 punktów, co jest wyższe niż jakikolwiek indywidualny stan kiedykolwiek zdobył. Wcześniejszy trend +1,08/rok nie jest wiarygodnym kontrfaktycznym. Raczej jest to trend nadrabiania z lat 90-2000, który już zwalniał (spójrz!) zanim jakikolwiek stan przyjął nauczanie cyfrowe. Ekstrapolowanie go do przodu i traktowanie tego jako rzeczywistego dowodu na lukę lub 'stratę' jest przypisywaniem efektu sufitowego do EdTech. Co więcej, kluczowym błędem Horvatha jest to: Błąkał się ze swoimi danymi, aż znalazł projekt, który po prostu powtarza krajowe trendy, niezależnie od przyczynowości! 76% stanów ma lata infleksji w latach 2014-16, a on wykluczył najdalsze wpisy (FL/TX), więc centrowanie na roku infleksji i uśrednianie wśród stanów jest niemal identyczne z centrowaniem na 2015 i uśrednianiem. Wcześniejszy trend to krajowa poprawa NAEP z lat 90. do połowy 2010, a późniejszy trend to krajowa stagnacja i spadek, a testy permutacyjne to potwierdzają: losowe mieszanie lat infleksji wśród stanów daje ten sam wzór! W rzeczywistości Horvath podjął decyzje, które skutecznie zagwarantowały, że jego wynik po prostu skończy się jako ponowne przedstawienie krajowych trendów, ograniczając swoją moc przez wykluczenie FL i TX oraz eliminację 36% wariancji w datach infleksji. To nie jest wiarygodna analiza w żadnym wypadku. Jedyną naprawdę wiarygodną analizą jest badanie syntetycznej kontroli Florydy. To jedyna analiza z identyfikującą wariacją, ponieważ Floryda przyjęła w 2011 roku, cztery lata przed większością kraju. A Floryda *przewyższyła* swoją syntetyczną kontrolę po przyjęciu!...