El gran físico Richard Feynman una vez contó una historia que ilustra el problema del p-hacking. Es un principio básico que todos deberían entender. Siempre ha permanecido en mi mente. Lo he pegado a continuación. ⬇️ Ahora me dirijo a otro tipo de principio o idea, y es que no tiene sentido calcular la probabilidad o la posibilidad de que algo suceda después de que sucede. Muchos científicos ni siquiera aprecian esto. De hecho, la primera vez que tuve una discusión sobre esto fue cuando era estudiante de posgrado en Princeton, y había un tipo en el departamento de psicología que estaba organizando carreras de ratas. Quiero decir, tiene algo en forma de T, y las ratas van, y van a la derecha, y a la izquierda, y así sucesivamente. Y es un principio general de los psicólogos que en estas pruebas organizan de tal manera que las probabilidades de que las cosas que suceden ocurran por casualidad son pequeñas, de hecho, menos de una en veinte. Eso significa que una de cada veinte de sus leyes probablemente está equivocada. Pero las formas estadísticas de calcular las probabilidades, como lanzar una moneda si las ratas fueran a ir aleatoriamente a la derecha y a la izquierda, son fáciles de resolver. Este hombre había diseñado un experimento que mostraría algo que no recuerdo, si las ratas siempre iban a la derecha, digamos. No puedo recordar exactamente. Tenía que hacer un gran número de pruebas, porque, por supuesto, podrían ir a la derecha accidentalmente, así que para reducirlo a una en veinte por probabilidades, tenía que hacer un número de ellas. Y es difícil de hacer, y él hizo su número. Luego descubrió que no funcionaba. Iban a la derecha, y a la izquierda, y así sucesivamente. Y luego notó, de manera más notable, que alternaban, primero a la derecha, luego a la izquierda, luego a la derecha, luego a la izquierda. Y luego corrió hacia mí y me dijo: “Calcula la probabilidad de que alternen, para que pueda ver si es menos de una en veinte.” Yo dije: “Probablemente es menos de una en veinte, pero no cuenta.” Él dijo: “¿Por qué?” Yo dije: “Porque no tiene sentido calcular después del evento. Verás, encontraste la peculiaridad, y así seleccionaste el caso peculiar.” Por ejemplo, tuve la experiencia más notable esta noche. Mientras entraba aquí, vi la matrícula ANZ 912. Calcula para mí, por favor, las probabilidades de que de todas las matrículas en el estado de Washington debería ver ANZ 912. Bueno, es algo ridículo. Y, de la misma manera, lo que él debe hacer es esto: El hecho de que las direcciones de las ratas alternen sugiere la posibilidad de que las ratas alternen. Si quiere probar esta hipótesis, una en veinte, no puede hacerlo con los mismos datos que le dieron la pista. Debe hacer otro experimento desde el principio y luego ver si alternan. Lo hizo, y no funcionó.

El ejemplo de la matrícula es 💋🤌