Eso es un resumen para ICML2025. Increíble ver cómo el espacio pasa de "¿De qué estás hablando?" a "Eso es imposible" a "Hmmm, eso es muy interesante" en poco más de un año. @tha_ajanthan @hmdolatabadi

Si afirmas haber visto venir esto, es mejor que tengas el colector de pérdidas y ganancias para respaldarlo

Noam tiende a no exagerar.

Totalmente de acuerdo: Flower Labs es otro grupo que publica activamente cosas geniales y ahora se centra directamente en la formación descentralizada. Debería ser un punto de datos importante para todos los que aún son escépticos de la zona: el equipo de flores es lo más legítimo que hay y Nic Lane es prácticamente la cima del pináculo en el aprendizaje federado. Para mí, cada señal es que estamos a punto de presenciar un punto de inflexión académico masivo en esta área en el lado del ML. En realidad, ya ni siquiera es contrario, se ha pasado de eso a los primeros días de lo que se convertirá en un campo importante y muy impactante.

Desde mi experiencia, conseguir que un documento sobre DL descentralizado sea aceptado en conferencias de alto nivel puede ser bastante difícil. La motivación no es familiar para muchos revisores, y la configuración estándar de los experimentos no tiene en cuenta los problemas que se pretenden resolver. Por lo tanto, estoy muy emocionado de ver que empresas como @PluralisHQ y @PrimeIntellect invierten el esfuerzo de compartir sus resultados y publicarlos en conferencias importantes. En mi opinión, incluso preparar la presentación te obliga a ser más riguroso con tus experimentos, + los comentarios externos de los revisores te ayudan a afinar el mensaje del artículo.

Pluralis + Prime Intellect + Ambient supera a Ethereum para 2030

Siento que los modelos de cierre meta eran muy predecibles. Dije explícitamente que esto sucedería el año pasado y expliqué por qué (de ).

Habló 50 minutos seguidos a una sala repleta de investigadores de IA en ICML, presentando el trabajo de @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ y @GoogleDeepMind. Ahora hay un enorme interés en DeAI. Misión (parcialmente) cumplida.

Para las personas que no están familiarizadas con la publicación de IA; Hay 3 conferencias principales cada año. ICML, ICLR y NeurIPS. Se trata de conferencias técnicas y el equivalente a las revistas de otras disciplinas: son el principal lugar de publicación de la IA. La competencia para tener trabajos en estas conferencias está ahora en un nivel ridículo, conseguir que los trabajos sean aceptados es muy difícil, y hay mucha preocupación sobre el proceso de revisión, que es bastante ruidoso en este momento. Un artículo sólido y sin defectos tiene alrededor de un 50% de posibilidades de ser aceptado y, por lo general, un artículo se envía con cambios de revisor varias veces hasta que es aceptado. A pesar de todo eso, los artículos en estos lugares siguen siendo el principal sello de legitimidad en el mundo de la IA, y probablemente sigan siendo las principales métricas de carrera para los investigadores de ML (aunque esto se está debilitando, en mi opinión, ya que gran parte de la investigación en los laboratorios de frontera no se publica). Los documentos de la pista principal son significativamente diferentes a los documentos de taller. La pista principal tiene una revisión por pares intensa y seria. Los documentos de taller son para trabajos preliminares, que dan alguna indicación de un resultado interesante, pero no están completos o el resultado no es lo suficientemente significativo para la pista principal. Solo se requiere que sean revisados por el grupo de revisores del taller y no aparecen en las actas. Muchos grandes trabajos han aparecido por primera vez en talleres (por ejemplo, grokking), pero los trabajos de taller y de pista principales son cosas fundamentalmente diferentes, con un nivel de impacto fundamentalmente diferente. Las dos únicas empresas de IA descentralizada que tienen un seguimiento principal este año son @PrimeIntellect y Pluralis.

Usando hermosos paneles de Grafana para todo internamente, mucho mejor que Tensorboard. Wandb sigue siendo bueno, pero realmente no funciona con entrenamiento descentralizado. Me hace preguntarme cómo es el utillaje de visibilidad interno en openai, debe ser increíble.