Un modèle d'IA peut-il prédire parfaitement tout en ayant un modèle du monde terrible ? Que cela pourrait-il même signifier ? Notre nouvel article ICML formalise ces questions. Un résultat raconte l'histoire : un transformateur entraîné sur 10 millions de systèmes solaires maîtrise les orbites planétaires. Mais il se trompe sur les lois de la gravité 🧵
Notre article vise à répondre à deux questions : 1. Quelle est la différence entre les modèles de prédiction et les modèles du monde ? 2. Existe-t-il des métriques simples qui peuvent tester cette distinction ? Notre article concerne l'IA. Mais il est utile de remonter à 400 ans pour répondre à ces questions.
Peut-être que le modèle mondial le plus influent a commencé comme un modèle prédictif. Avant que nous ayons les lois de la gravité de Newton, nous avions les prédictions de Kepler sur les orbites planétaires. Les prédictions de Kepler ont conduit aux lois de Newton. Alors, qu'est-ce que Newton a ajouté ?
1,36M