C'est en train de se produire : recherche autonome en IA par des agents IA sur nanochat ! 629 lignes de code pour entraîner GPT-2. Un fichier markdown définissant l'agenda de recherche. C'est tout le laboratoire de recherche. Les chercheurs en IA pourraient être les premiers remplacés par l'IA. Le résultat le plus divertissant est le plus probable.
Andrej Karpathy
Andrej Karpathy8 mars, 03:53
J'ai emballé le projet "autoresearch" dans un nouveau dépôt minimal autonome si des gens souhaitent jouer pendant le week-end. C'est essentiellement le cœur de l'entraînement LLM de nanochat réduit à une version à un seul GPU, un fichier de ~630 lignes de code, puis : - l'humain itère sur l'invite (.md) - l'agent IA itère sur le code d'entraînement (.py) L'objectif est de concevoir vos agents pour qu'ils réalisent les progrès de recherche les plus rapides indéfiniment et sans aucune de votre propre implication. Sur l'image, chaque point est un run complet d'entraînement LLM qui dure exactement 5 minutes. L'agent fonctionne dans une boucle autonome sur une branche de fonctionnalité git et accumule des commits git au script d'entraînement à mesure qu'il trouve de meilleurs réglages (avec une perte de validation plus faible à la fin) de l'architecture du réseau de neurones, de l'optimiseur, de tous les hyperparamètres, etc. Vous pouvez imaginer comparer les progrès de recherche de différentes invites, différents agents, etc. Partie code, partie science-fiction, et une pincée de psychose :)
Invoquer GPT-5.4 xhigh et Claude Opus 4.6, leur donner 16 GPU, et les laisser faire des recherches autonomes un samedi ensoleillé est extrêmement satisfaisant. C'est aussi une bonne évaluation pour déterminer quel modèle est le meilleur chercheur. Je pourrais publier des résultats intéressants demain.
129