C'est tout pour ICML2025. Incroyable de voir cet espace passer de "De quoi parles-tu" à "C'est impossible" puis à "Hmmm c'est très intéressant" en un peu plus d'un an. @tha_ajanthan @hmdolatabadi

Si vous prétendez avoir vu cela venir, vous feriez mieux d'avoir le P&L manifold pour le prouver.

Noam a tendance à ne pas exagérer.

Je suis totalement d'accord - Flower labs est un autre groupe qui publie activement d'excellentes choses et qui se concentre désormais sur la formation décentralisée. Cela devrait être un point de données majeur pour tous ceux qui sont encore sceptiques dans ce domaine - l'équipe de Flower est aussi légitime que possible et Nic Lane est pratiquement au sommet de la hiérarchie en Apprentissage Fédéré. Chaque signal me dit que nous sommes sur le point d'assister à un immense tournant académique dans ce domaine du côté de l'IA. Ce n'est même plus vraiment contrarien, cela a évolué pour devenir clairement les premiers jours de ce qui va devenir un domaine majeur et très impactant.

D'après mon expérience, faire accepter un article sur le DL décentralisé dans des conférences de haut niveau peut être assez difficile. La motivation n'est pas familière à de nombreux examinateurs, et les paramètres expérimentaux standards ne tiennent pas compte des problèmes que vous cherchez à résoudre. C'est pourquoi je suis très enthousiaste de voir des entreprises comme @PluralisHQ et @PrimeIntellect investir des efforts pour partager leurs résultats et les faire publier dans des conférences majeures ! À mon avis, même préparer la soumission vous oblige à être plus rigoureux dans vos expériences et les retours extérieurs des examinateurs vous aident à affiner le message de l'article.

Pluralis + Prime Intellect + Ambient renverse Ethereum d'ici 2030

Je pense que la fermeture des modèles par Meta était très prévisible. J'ai explicitement dit que cela arriverait l'année dernière et expliqué pourquoi (de ).

J'ai parlé pendant 50 minutes d'affilée devant une salle comble de chercheurs en IA passionnés lors de l'ICML, présentant le travail de @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ et @GoogleDeepMind. Il y a maintenant un énorme intérêt pour le DeAI. Mission (partiellement) accomplie.

Pour les personnes qui ne sont pas familières avec la publication en IA ; il y a 3 grandes conférences chaque année. ICML, ICLR et NeurIPS. Ce sont des conférences techniques et l'équivalent des revues dans d'autres disciplines - elles sont le principal lieu de publication pour l'IA. La concurrence pour avoir des articles à ces conférences est maintenant à un niveau ridicule, obtenir l'acceptation des articles est très difficile, et il y a beaucoup de préoccupations concernant le processus de révision qui est assez bruyant à ce stade. Un article solide sans défaut a environ 50 % de chances d'être accepté, et généralement un article est soumis avec des modifications des examinateurs plusieurs fois jusqu'à ce qu'il soit accepté. Malgré tout cela, les articles dans ces lieux restent le principal tampon de légitimité dans le monde de l'IA, et sont probablement encore les principales métriques de carrière pour les chercheurs en ML (bien que cela s'affaiblisse à mon avis, car une grande partie de la recherche dans les laboratoires de pointe n'est pas publiée). Les articles de la piste principale sont significativement différents des articles d'atelier. La piste principale a une révision par les pairs intense et sérieuse. Les articles d'atelier sont pour des travaux préliminaires, qui donnent une indication d'un résultat intéressant, mais qui ne sont soit pas complets, soit le résultat n'est pas suffisamment significatif pour la piste principale. Ils ne sont requis d'être examinés que par le pool d'examinateurs de l'atelier et ils n'apparaissent pas dans les actes. De nombreux excellents articles ont d'abord été présentés dans des ateliers (par exemple, grokking) - mais les articles d'atelier et de la piste principale sont fondamentalement des choses différentes, avec un niveau d'impact fondamentalement différent. Les deux seules entreprises dans l'IA décentralisée qui ont des articles de la piste principale cette année sont @PrimeIntellect et Pluralis.

Utiliser de magnifiques tableaux de bord Grafana pour tout en interne, c'est tellement mieux que Tensorboard. Wandb est toujours bon mais ne fonctionne pas vraiment avec l'entraînement décentralisé. Cela me fait me demander à quoi ressemble l'outil de visualisation interne chez OpenAI - cela doit être incroyable.