¿Puede un modelo de IA predecir perfectamente y aún así tener un modelo del mundo terrible? ¿Qué significaría eso? Nuestro nuevo artículo de ICML formaliza estas preguntas. Un resultado cuenta la historia: un transformador entrenado en 10 millones de sistemas solares acierta en las órbitas planetarias. Pero falla en las leyes gravitacionales 🧵

Nuestro artículo tiene como objetivo responder a dos preguntas: 1. ¿Cuál es la diferencia entre modelos de predicción y modelos del mundo? 2. ¿Existen métricas sencillas que puedan probar esta distinción? Nuestro artículo trata sobre IA. Pero es útil retroceder 400 años para responder a estas preguntas.

Quizás el modelo mundial más influyente comenzó como un modelo predictivo. Antes de que tuviéramos las leyes de la gravedad de Newton, teníamos las predicciones de Kepler sobre las órbitas planetarias. Las predicciones de Kepler llevaron a las leyes de Newton. Entonces, ¿qué añadió Newton?