Tendencias del momento
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Max Ryabinin
Aprendizaje profundo a gran escala e investigación @togethercompute
Learning@home/Autor de Hivemind (DMoE, DeDLOC, SWARM, Petals)
Doctorado en DL descentralizado '2023
¡Si estás en ICML y te interesa la inferencia verificable, asegúrate de pasar por nuestro póster!
Presentaremos TOPLOC, un método eficiente de hashing de activación que funciona en una variedad de configuraciones, por ejemplo, cambiando configuraciones de inferencia o incluso modelos.
16 de julio, 4:30 p.m., E-1106
1,43K
Desde mi experiencia, conseguir que un artículo sobre DL descentralizado sea aceptado en conferencias de alto nivel puede ser bastante difícil. La motivación no es familiar para muchos revisores, y los ajustes experimentales estándar no tienen en cuenta los problemas que intentas resolver.
Por lo tanto, estoy muy emocionado de ver a empresas como @PluralisHQ y @PrimeIntellect invirtiendo el esfuerzo para compartir sus resultados y publicarlos en conferencias importantes. En mi opinión, incluso preparar la presentación te obliga a ser más riguroso con tus experimentos y la retroalimentación externa de los revisores te ayuda a afinar el mensaje del artículo.

Alexander Long14 jul, 08:24
For people not familiar with AI publishing; there are 3 main conferences every year. ICML, ICLR and NeurIPS. These are technical conferences and the equivalent of journals in other disciplines - they are the main publishing venue for AI. The competition to have papers at these conferences is now at a ridiculous level, getting papers accepted is very hard, and there is a lot of concern about the review process which is quite noisey at this point. A strong paper with no flaws has around a 50% chance of being accepted, and typically a paper is submitted with reviewer changes several times until it is accepted. Despite all that, papers in these venues remain the primary stamp of legitimacy in AI world, and are probably still the primary career metrics for ML researchers (although this is weakening imo as so much of the research in the frontier labs is unpublished).
Main Track papers are significantly different to workshop papers. The main track has intense, serious peer review. Workshop papers are for preliminary work, that give some indication of an interesting result, but are either not complete or the result is not significant enough for main track. They are only required to be reviewed by the workshop reviewer pool and they don’t appear in proceedings.
Many great papers have first shown up in workshops (e.g. grokking) - but workshop and main track papers are fundamentally different things, with a fundamentally different level of impact. The only two companies in decentralised AI that have main track papers this year are @PrimeIntellect and Pluralis.
7,27K
Max Ryabinin republicó
@gowthami_s @JangLawrenceK @IAmTimNguyen @ishapuri101 Entrenamiento distribuido en aprendizaje🌍 automático
Únase a nosotros el 12 de julio mientras @Ar_Douillard explora métodos clave como FSDP, Pipeline y Expert Parallelism, además de enfoques emergentes como DiLoCo y SWARM, superando los límites de la capacitación global y distribuida.
Aprende más:

7,27K
¡Muchas gracias a Ferdinand por organizar esta conversación! Fue una gran oportunidad para repasar todas las partes de SWARM y discutir la motivación detrás de ellas en profundidad.
¡Espero que este video haga que el DL descentralizado sea más accesible: muchas ideas en el campo son más simples de lo que parecen!

Ferdinand Mom12 jun 2025
¡La revisión en video del artículo de investigación sobre "Paralelismo de Enjambre" junto con el autor @m_ryabinin, Científico Investigador Distinguido @togethercompute ya está disponible! Enlace abajo 👇
Para dar contexto, la mayoría de los entrenamientos descentralizados hoy en día siguen enfoques estilo DDP que requieren una replicación completa del modelo en cada nodo. Si bien es práctico para aquellos que tienen clústeres H100 a su disposición, esto sigue estando fuera del alcance de la gran mayoría de los posibles contribuyentes, ¡aquí es donde SWARM resulta útil!

3,12K
Parte superior
Clasificación
Favoritos
En tendencia on-chain
En tendencia en X
Principales fondos recientes
Más destacado