Para las personas que no están familiarizadas con la publicación de IA; hay 3 conferencias principales cada año. ICML, ICLR y NeurIPS. Estas son conferencias técnicas y el equivalente a revistas en otras disciplinas: son el principal lugar de publicación para la IA. La competencia para tener artículos en estas conferencias ahora está en un nivel ridículo, conseguir que acepten artículos es muy difícil, y hay mucha preocupación sobre el proceso de revisión, que en este momento es bastante ruidoso. Un artículo sólido sin fallos tiene alrededor de un 50% de posibilidades de ser aceptado, y típicamente un artículo se presenta con cambios de los revisores varias veces hasta que es aceptado. A pesar de todo eso, los artículos en estos lugares siguen siendo el principal sello de legitimidad en el mundo de la IA, y probablemente siguen siendo las principales métricas de carrera para los investigadores de ML (aunque esto está debilitándose, en mi opinión, ya que gran parte de la investigación en los laboratorios de frontera no está publicada). Los artículos de la pista principal son significativamente diferentes a los artículos de los talleres. La pista principal tiene una revisión por pares intensa y seria. Los artículos de los talleres son para trabajos preliminares, que dan alguna indicación de un resultado interesante, pero que están incompletos o el resultado no es lo suficientemente significativo para la pista principal. Solo se requiere que sean revisados por el grupo de revisores del taller y no aparecen en las actas. Muchos grandes artículos han aparecido por primera vez en talleres (por ejemplo, grokking) - pero los artículos de talleres y de la pista principal son cosas fundamentalmente diferentes, con un nivel de impacto fundamentalmente diferente. Las únicas dos empresas en IA descentralizada que tienen artículos de la pista principal este año son @PrimeIntellect y Pluralis.

¡La revisión en video del artículo de investigación sobre "Paralelismo de Enjambre" junto con el autor @m_ryabinin, Científico Investigador Distinguido @togethercompute ya está disponible! Enlace abajo 👇 Para dar contexto, la mayoría de los entrenamientos descentralizados hoy en día siguen enfoques estilo DDP que requieren una replicación completa del modelo en cada nodo. Si bien es práctico para aquellos que tienen clústeres H100 a su disposición, esto sigue estando fuera del alcance de la gran mayoría de los posibles contribuyentes, ¡aquí es donde SWARM resulta útil!