Para las personas que no están familiarizadas con la publicación de IA; Hay 3 conferencias principales cada año. ICML, ICLR y NeurIPS. Se trata de conferencias técnicas y el equivalente a las revistas de otras disciplinas: son el principal lugar de publicación de la IA. La competencia para tener trabajos en estas conferencias está ahora en un nivel ridículo, conseguir que los trabajos sean aceptados es muy difícil, y hay mucha preocupación sobre el proceso de revisión, que es bastante ruidoso en este momento. Un artículo sólido y sin defectos tiene alrededor de un 50% de posibilidades de ser aceptado y, por lo general, un artículo se envía con cambios de revisor varias veces hasta que es aceptado. A pesar de todo eso, los artículos en estos lugares siguen siendo el principal sello de legitimidad en el mundo de la IA, y probablemente sigan siendo las principales métricas de carrera para los investigadores de ML (aunque esto se está debilitando, en mi opinión, ya que gran parte de la investigación en los laboratorios de frontera no se publica). Los documentos de la pista principal son significativamente diferentes a los documentos de taller. La pista principal tiene una revisión por pares intensa y seria. Los documentos de taller son para trabajos preliminares, que dan alguna indicación de un resultado interesante, pero no están completos o el resultado no es lo suficientemente significativo para la pista principal. Solo se requiere que sean revisados por el grupo de revisores del taller y no aparecen en las actas. Muchos grandes trabajos han aparecido por primera vez en talleres (por ejemplo, grokking), pero los trabajos de taller y de pista principales son cosas fundamentalmente diferentes, con un nivel de impacto fundamentalmente diferente. Las dos únicas empresas de IA descentralizada que tienen un seguimiento principal este año son @PrimeIntellect y Pluralis.

La revisión en video del trabajo de investigación sobre "Paralelismo de enjambre" junto con el autor @m_ryabinin, Distinguido Científico Investigador @togethercompute ya está disponible. Enlace a continuación 👇 Para contextualizar, la mayoría de la capacitación descentralizada actual sigue enfoques de estilo DDP que requieren la replicación completa del modelo en cada nodo. Si bien es práctico para aquellos con clústeres H100 a su disposición, esto sigue estando fuera del alcance de la gran mayoría de los contribuyentes potenciales, ¡aquí es donde SWARM resulta útil!