Для людей, не знакомых с публикацией в области ИИ, существует 3 основных конференции каждый год: ICML, ICLR и NeurIPS. Это технические конференции и эквивалент журналов в других дисциплинах - они являются основным местом публикации для ИИ. Конкуренция за публикацию статей на этих конференциях сейчас достигла абсурдного уровня, получить одобрение статей очень сложно, и существует много беспокойства по поводу процесса рецензирования, который в данный момент довольно шумный. Сильная статья без недостатков имеет около 50% шансов на принятие, и обычно статья подается с изменениями рецензентов несколько раз, прежде чем ее примут. Несмотря на все это, статьи на этих площадках остаются основным знаком легитимности в мире ИИ и, вероятно, все еще являются основными карьерными метриками для исследователей в области машинного обучения (хотя, на мой взгляд, это ослабевает, так как большая часть исследований в передовых лабораториях не публикуется). Статьи основного трека значительно отличаются от статей семинаров. Основной трек имеет интенсивное, серьезное рецензирование. Статьи семинаров предназначены для предварительных работ, которые дают некоторое представление об интересном результате, но либо не завершены, либо результат недостаточно значителен для основного трека. Они должны быть рецензированы только пулом рецензентов семинара и не появляются в материалах конференции. Многие отличные статьи впервые появились на семинарах (например, grokking) - но статьи семинаров и основного трека являются принципиально разными вещами с принципиально разным уровнем влияния. Единственные две компании в области децентрализованного ИИ, которые имеют статьи основного трека в этом году, это @PrimeIntellect и Pluralis.

Видеорецензия научной работы на тему "Параллелизм роя" с автором @m_ryabinin, выдающимся научным сотрудником @togethercompute, теперь доступна! Ссылка ниже 👇 Для контекста, большинство децентрализованных обучений сегодня следуют подходам в стиле DDP, требующим полной репликации модели на каждом узле. Хотя это практично для тех, у кого есть кластеры H100, это остается недоступным для подавляющего большинства потенциальных участников, здесь на помощь приходит SWARM!