Marele fizician Richard Feynman a spus odată o poveste care ilustra problema p-hacking-ului. Este un principiu de bază pe care toată lumea ar trebui să-l înțeleagă. A rămas mereu în mintea mea. Le-am lipit mai jos. ⬇️ Acum mă îndrept către un alt tip de principiu sau idee, și anume că nu are sens să calculăm probabilitatea sau șansa ca ceva să se întâmple după ce s-a întâmplat. Mulți oameni de știință nici măcar nu apreciază asta. De fapt, prima dată când am avut o ceartă pe tema asta a fost când eram student la masterat la Princeton, și era un tip din departamentul de psihologie care conducea curse necontrolate. Adică, are un lucru în formă de T, iar șobolanii merg, apoi la dreapta, la stânga, și așa mai departe. Și este un principiu general al psihologilor că, în aceste teste, ei aranjează astfel încât șansele ca lucrurile care se întâmplă întâmplător să se întâmple să fie mici, de fapt, mai mici de una la douăzeci. Asta înseamnă că una din douăzeci de legi probabil greșește. Dar metodele statistice de calculare a șansele, cum ar fi aruncarea monedei dacă șobolanii ar merge aleatoriu la dreapta și la stânga, sunt ușor de decifrat. Acest om a conceput un experiment care ar fi arătat ceva ce nu-mi amintesc, dacă șobolanii mergeau întotdeauna spre dreapta, să zicem. Nu-mi amintesc exact. A trebuit să facă un număr mare de teste, pentru că, desigur, puteau merge accidental spre dreapta, așa că pentru a reduce la unul din douăzeci prin șansă, a trebuit să facă mai multe dintre ele. Și e greu de făcut, iar el și-a făcut treaba. Apoi a descoperit că nu a funcționat. Mergeau spre dreapta, apoi spre stânga, și tot așa. Și apoi a observat, cel mai remarcabil, că alternau, mai întâi dreapta, apoi stânga, apoi dreapta, apoi stânga. Apoi a alergat la mine și mi-a spus: "Calculează probabilitatea pentru mine să alterneze, ca să pot vedea dacă este mai mică de unu la douăzeci." I-am spus: "Probabil e mai puțin de unul din douăzeci, dar nu se pune." El a spus: "De ce?" Am spus: "Pentru că nu are sens să calculăm după eveniment. Vezi tu, ai găsit ciudățenia și ai ales cazul ciudat." De exemplu, am avut cea mai remarcabilă experiență în această seară. Când am intrat aici, am văzut numărul de înmatriculare ANZ 912. Calculează-mi, te rog, șansele ca, dintre toate plăcuțele de înmatriculare din statul Washington, să văd ANZ 912. Ei bine, e un lucru ridicol. Și, în același mod, ceea ce trebuie să facă este următorul lucru: Faptul că direcțiile șobolaniilor alternează sugerează posibilitatea ca șobolanii să alterneze. Dacă vrea să testeze această ipoteză, una din douăzeci, nu poate face asta pornind de la aceleași date care i-au dat indiciunea. Trebuie să facă un alt experiment din nou și apoi să vadă dacă alternează. A făcut-o, dar nu a funcționat.

Exemplul plăcuței de înmatriculare este 💋🤌