super cool ! inspirant et un excellent rappel que la plupart des meilleurs chercheurs en IA ne sont pas, en fait, sur Twitter. la plupart ne tweetent pas, beaucoup n'ont pas de comptes les personnes les plus bruyantes ici, celles qui postent le plus sur l'IA, sont généralement juste des tech bros anonymes aléatoires.

on ne "résout" pas simplement un problème de recherche on développe plutôt un nouveau cadre intellectuel à partir des premiers principes. poser et répondre à des questions et sous-questions, peut-être pendant plusieurs mois finalement, en revisitant le problème original, on réalise qu'il est trivial.

Je n'ai pas encore entendu en parler, mais l'IA a essentiellement tué les hackathons. Pratiquement tout ce que vous pouviez créer lors d'un hackathon en 2019 peut être construit mieux et plus rapidement par l'IA en 2025.

c'est du mauvais code, n'est-ce pas ?

probablement 10 fois plus de personnes devraient travailler sur l'optimisation des prompts systèmes (nous avons besoin d'un vLLM pour l'optimisation des prompts), théorie, nouvelles techniques, benchmarks. tout le kit et le caboodle

voici quelques informations gratuites : si nous faisons du RL trop longtemps après le pré-entraînement, nous allons sûrement écraser les paramètres et commencer à oublier des choses. dans l'article original de instructGPT, leur meilleur modèle mélangeait RLHF avec des gradients de pré-entraînement pour éviter exactement ce problème de dérive du modèle. pourtant, personne ne fait cela maintenant. bien sûr, c'est une instanciation particulière (mélange de gradients) d'une idée plus large (éviter l'oubli), mais cela semble être une ligne de pensée grandement négligée alors que nous faisons de plus en plus d'étapes de RL. par exemple, voir le récent article ProRL. ils font maintenant plus de 1000 étapes de GRPO avec un taux d'apprentissage non trivial et aucune pénalité pour s'écarter du modèle original. les circuits construits à l'intérieur du modèle pendant le pré-entraînement commencent sûrement à se dégrader. et sinon, ils le feront après 10k ou 100k étapes de RL. je soupçonne que cette idée reviendra éventuellement ; ils le font probablement déjà dans les grands laboratoires.

Je cherche de bons exemples de généralisation des modèles de raisonnement. Par exemple, un modèle incité par le RL à réfléchir un moment et à résoudre des problèmes mathématiques s'améliore en écriture créative. Est-ce courant ?

cela semble vraiment important : il est tout à fait plausible qu'un modèle puisse obtenir de l'or IMO sans *aucun* apprentissage par renforcement, étant donné un prompt parfaitement conçu. nous ne savons tout simplement pas, et nous manquons d'outils pour explorer efficacement l'espace des prompts. content de voir qu'au moins quelqu'un essaie.

on ne peut pas inventer ces choses

situation hypothétique - je suis une entreprise d'IA qui a réduit le coût de transfert et de stockage des modèles à zéro. Je peux servir à chaque utilisateur son propre modèle sans frais généraux. Que dois-je faire ? SFT directement des modèles spécifiques à l'utilisateur sur leurs données ? Ou RLHF sur les évaluations de chat ? Autre chose ?