Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Max Ryabinin
Apprentissage profond et recherche à grande échelle @togethercompute
Learning@home/Hivemind auteur (DMoE, DeDLOC, SWARM, Petals)
Doctorat en DL décentralisé '2023
Si vous êtes à l'ICML et intéressé par l'inférence vérifiable, n'oubliez pas de passer voir notre affiche !
Nous présenterons TOPLOC, une méthode de hachage d'activation efficace qui fonctionne dans une variété de contextes, par exemple, en changeant les configurations d'inférence ou même les modèles.
16 juillet, 16h30, E-1106
1,41K
D'après mon expérience, faire accepter un article sur le DL décentralisé dans des conférences de haut niveau peut être assez difficile. La motivation n'est pas familière à de nombreux examinateurs, et les paramètres expérimentaux standards ne tiennent pas compte des problèmes que vous cherchez à résoudre.
C'est pourquoi je suis très enthousiaste de voir des entreprises comme @PluralisHQ et @PrimeIntellect investir des efforts pour partager leurs résultats et les faire publier dans des conférences majeures ! À mon avis, même préparer la soumission vous oblige à être plus rigoureux dans vos expériences et les retours extérieurs des examinateurs vous aident à affiner le message de l'article.
14 juil., 08:24
Pour les personnes qui ne sont pas familières avec la publication en IA ; il y a 3 grandes conférences chaque année. ICML, ICLR et NeurIPS. Ce sont des conférences techniques et l'équivalent des revues dans d'autres disciplines - elles sont le principal lieu de publication pour l'IA. La concurrence pour avoir des articles à ces conférences est maintenant à un niveau ridicule, obtenir l'acceptation des articles est très difficile, et il y a beaucoup de préoccupations concernant le processus de révision qui est assez bruyant à ce stade. Un article solide sans défaut a environ 50 % de chances d'être accepté, et généralement un article est soumis avec des modifications des examinateurs plusieurs fois jusqu'à ce qu'il soit accepté. Malgré tout cela, les articles dans ces lieux restent le principal tampon de légitimité dans le monde de l'IA, et sont probablement encore les principales métriques de carrière pour les chercheurs en ML (bien que cela s'affaiblisse à mon avis, car une grande partie de la recherche dans les laboratoires de pointe n'est pas publiée).
Les articles de la piste principale sont significativement différents des articles d'atelier. La piste principale a une révision par les pairs intense et sérieuse. Les articles d'atelier sont pour des travaux préliminaires, qui donnent une indication d'un résultat intéressant, mais qui ne sont soit pas complets, soit le résultat n'est pas suffisamment significatif pour la piste principale. Ils ne sont requis d'être examinés que par le pool d'examinateurs de l'atelier et ils n'apparaissent pas dans les actes.
De nombreux excellents articles ont d'abord été présentés dans des ateliers (par exemple, grokking) - mais les articles d'atelier et de la piste principale sont fondamentalement des choses différentes, avec un niveau d'impact fondamentalement différent. Les deux seules entreprises dans l'IA décentralisée qui ont des articles de la piste principale cette année sont @PrimeIntellect et Pluralis.
7,25K
Max Ryabinin a reposté
@gowthami_s @JangLawrenceK @IAmTimNguyen @ishapuri101 Formation distribuée en apprentissage🌍 automatique
Rejoignez-nous le 12 juillet pour découvrir @Ar_Douillard des méthodes clés telles que le FSDP, le parallélisme des pipelines et des experts, ainsi que des approches émergentes comme DiLoCo et SWARM, qui repoussent les limites de la formation mondiale et distribuée.
Pour en savoir plus:
7,27K
Un grand merci à Ferdinand d'avoir animé cette conversation ! C'était une excellente occasion de passer en revue toutes les parties de SWARM et de discuter en profondeur de la motivation qui les sous-tend.
J'espère que cette vidéo rendra le DL décentralisé plus accessible : de nombreuses idées dans ce domaine sont plus simples qu'elles n'en ont l'air !
12 juin 2025
La vidéo de revue de l'article de recherche sur "Swarm Parallelism" avec l'auteur @m_ryabinin, Chercheur Distingué @togethercompute est maintenant disponible ! Lien ci-dessous 👇
Pour donner un peu de contexte, la plupart des formations décentralisées aujourd'hui suivent des approches de type DDP nécessitant une réplication complète du modèle sur chaque nœud. Bien que cela soit pratique pour ceux qui disposent de clusters H100, cela reste hors de portée pour la grande majorité des contributeurs potentiels, c'est là que SWARM devient utile !
3,1K
Meilleurs
Classement
Favoris