Это конец для ICML2025. Невероятно наблюдать, как пространство прошло от "О чем вы говорите" до "Это невозможно" до "Хмм, это очень интересно" всего за год.

Если вы утверждаете, что предвидели это, вам лучше иметь многообразие P&L, чтобы это подтвердить.

Ноам, как правило, не склонен к преувеличениям.

Полностью согласен - Flower labs еще одна группа, активно публикующая отличные материалы и теперь сосредоточенная на децентрализованном обучении. Это должно стать важной точкой данных для всех, кто все еще скептически относится к этой области - команда Flower настолько легитимна, насколько это возможно, а Ник Лейн, по сути, находится на вершине в области федеративного обучения. Каждый сигнал для меня указывает на то, что мы находимся на пороге огромного академического перелома в этой области в сфере машинного обучения. Это уже не просто контрарная позиция, это явно ранние дни того, что станет важной и очень влиятельной областью.

Согласно моему опыту, получить публикацию по децентрализованному DL на конференциях высокого уровня может быть довольно сложно. Мотивация не знакома многим рецензентам, а стандартные условия эксперимента не учитывают проблемы, которые вы стремитесь решить. Поэтому я очень рад видеть компании, такие как @PluralisHQ и @PrimeIntellect, которые прилагают усилия, чтобы поделиться своими результатами и опубликовать их на крупных конференциях! На мой взгляд, даже подготовка к подаче заставляет вас быть более строгими в отношении ваших экспериментов, а внешняя обратная связь от рецензентов помогает вам уточнить сообщение статьи.

Pluralis + Prime Intellect + Ambient перевернут Ethereum к 2030 году

Чувствую, что закрытие моделей Meta было очень предсказуемым. Я прямо сказал, что это произойдет в прошлом году, и объяснил почему (из ).

50 минут подряд говорил в переполненной аудитории исследователей в области ИИ на ICML, представляя работы @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ и @GoogleDeepMind. Сейчас существует огромный интерес к DeAI. Миссия (частично) выполнена.

Для людей, не знакомых с публикацией в области ИИ, существует 3 основных конференции каждый год: ICML, ICLR и NeurIPS. Это технические конференции и эквивалент журналов в других дисциплинах - они являются основным местом публикации для ИИ. Конкуренция за публикацию статей на этих конференциях сейчас достигла абсурдного уровня, получить одобрение статей очень сложно, и существует много беспокойства по поводу процесса рецензирования, который в данный момент довольно шумный. Сильная статья без недостатков имеет около 50% шансов на принятие, и обычно статья подается с изменениями рецензентов несколько раз, прежде чем ее примут. Несмотря на все это, статьи на этих площадках остаются основным знаком легитимности в мире ИИ и, вероятно, все еще являются основными карьерными метриками для исследователей в области машинного обучения (хотя, на мой взгляд, это ослабевает, так как большая часть исследований в передовых лабораториях не публикуется). Статьи основного трека значительно отличаются от статей семинаров. Основной трек имеет интенсивное, серьезное рецензирование. Статьи семинаров предназначены для предварительных работ, которые дают некоторое представление об интересном результате, но либо не завершены, либо результат недостаточно значителен для основного трека. Они должны быть рецензированы только пулом рецензентов семинара и не появляются в материалах конференции. Многие отличные статьи впервые появились на семинарах (например, grokking) - но статьи семинаров и основного трека являются принципиально разными вещами с принципиально разным уровнем влияния. Единственные две компании в области децентрализованного ИИ, которые имеют статьи основного трека в этом году, это @PrimeIntellect и Pluralis.

Использование красивых панелей Grafana для всего внутри компании, это намного приятнее, чем Tensorboard. Wandb все еще хорош, но не работает с децентрализованным обучением. Заставляет меня задуматься, каковы внутренние инструменты визуализации в OpenAI - должно быть, невероятно.