Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Max Ryabinin
Масштабне глибоке навчання та дослідження @togethercompute
Learning@home/Hivemind автор (DMoE, DeDLOC, SWARM, Пелюстки)
Доктор філософії з децентралізованої ДН '2023
З мого досвіду, домогтися прийняття доповіді про децентралізовану ДН на конференції найвищого рівня може бути досить складно. Мотивація не знайома багатьом рецензентам, а стандартні налаштування експерименту не враховують проблеми, які ви прагнете вирішити.
Тому я дуже радий бачити, як такі компанії, як @PluralisHQ і @PrimeIntellect, вкладають зусилля, щоб поділитися своїми результатами та опублікувати їх на великих конференціях! IMO навіть підготовка подання змушує вас бути більш суворим у своїх експериментах / зовнішні відгуки рецензентів допомагають вам посилити посил статті.
14 лип., 08:24
Для людей, які не знайомі з публікацією штучного інтелекту; Щороку проводяться 3 основні конференції. ICML, ICLR та NeurIPS. Це технічні конференції та аналоги журналів з інших дисциплін – вони є основним майданчиком для публікації ШІ. Конкуренція за участь у цих конференціях зараз на сміховинному рівні, домогтися прийняття доповідей дуже важко, і існує багато занепокоєння щодо процесу рецензування, який на даний момент є досить шумним. Сильна стаття без недоліків має близько 50% шансів бути прийнятою, і, як правило, стаття подається зі змінами рецензента кілька разів, поки її не приймуть. Незважаючи на все це, статті в цих місцях залишаються основним штампом легітимності у світі штучного інтелекту і, ймовірно, все ще є основними кар'єрними показниками для дослідників машинного навчання (хоча це послаблює IMO, оскільки велика частина досліджень у передових лабораторіях не опублікована).
Папір Main Track значно відрізняється від паперу для майстерень. Основний трек має насичене, серйозне рецензування. Матеріали воркшопу призначені для попередньої роботи, які дають деяке уявлення про цікавий результат, але або не є повними, або результат недостатньо значний для основного треку. Вони повинні бути розглянуті лише пулом рецензентів семінару, і вони не з'являються в провадженнях.
Багато чудових паперів вперше з'явилися в майстернях (наприклад, grokking) - але майстерня і основна доріжка - це принципово різні речі, з принципово різним рівнем впливу. Єдиними двома компаніями в галузі децентралізованого штучного інтелекту, які мають основні рейтинги цього року, є @PrimeIntellect та Pluralis.
7,24K
Користувач Max Ryabinin поділився
@gowthami_s @JangLawrenceK @IAmTimNguyen @ishapuri101 Розподілене навчання в машинному навчанні🌍
Приєднуйтесь до нас 12 липня, щоб @Ar_Douillard дослідити ключові методи, такі як FSDP, Pipeline та Expert Parallelism, а також нові підходи, такі як DiLoCo та SWARM, розширюючи межі глобального розподіленого навчання.
Дізнатися більше:
7,27K
Велике спасибі Фердинанду за те, що він провів цю розмову! Це була чудова можливість оглянути всі частини SWARM і детально обговорити мотивацію, що стоїть за ними.
Сподіваюся, це відео зробить децентралізовані DL більш доступними: багато ідей в області простіше, ніж здається!
12 черв. 2025 р.
Відеоогляд наукової роботи на тему "Ройовий паралелізм" разом з автором @m_ryabinin, заслуженим науковим співробітником @togethercompute вийшов друком! Посилання нижче 👇
Для контексту, більшість децентралізованого навчання сьогодні дотримується підходів у стилі DDP, які вимагають повної реплікації моделі на кожному вузлі. Хоча це практично для тих, хто має в своєму розпорядженні кластери H100, це залишається недосяжним для переважної більшості потенційних учасників, саме тут SWARM стане в нагоді!
3,1K
Найкращі
Рейтинг
Вибране