To je obal pro ICML2025. Je neuvěřitelné sledovat, jak se prostor za něco málo přes rok změní z "O čem to mluvíte" přes "To je nemožné" až po "Hmmm, to je velmi zajímavé". @tha_ajanthan @hmdolatabadi

Natočili jsme také video ve stylu @3blue1brown, které vysvětluje práci na vysoké úrovni.

Používání krásných dashboardů Grafana pro všechno interně, mnohem hezčí než Tensorboard. Wandb je stále dobrý, ale ve skutečnosti nefunguje s decentralizovaným školením. Zajímalo by mě, jak vypadají vnitřní vis nástroje v openai - musí být neuvěřitelné.

Dosáhli jsme významného milníku v plně decentralizovaném školení: poprvé jsme ukázali, že velký jazykový model lze rozdělit a trénovat napříč spotřebitelskými zařízeními připojenými přes internet - bez ztráty rychlosti nebo výkonu.

Pravděpodobně dosud největší týden v decentralizovaném školení po ICLR a další brzy vyjdou. Shrnutí současné situace: 1. Decentralizované RL po tréninku zjevně funguje. @gensynai nejnovější se skvělými výsledky zde. Tento proces vychází ze silného základního modelu, dává kopie účastníkům, kteří generují stopy uvažování, které jsou pak shromažďovány a používány ke zlepšení základního modelu. To samozřejmě závisí na tom, že základní modely jsou k dispozici/s otevřenou hmotností a je výrazně levnější než Pretraining. Uzly potřebují pouze provádět inferenci. Nevýhodou je, že přibývá důkazů (a je to velmi intuitivní), že není možné se RL dostat přes špatný základní model. Takže si zachováte závislost. Musíme počkat na výsledky těchto běhů, ale realita je taková, že to bude fungovat tak či onak, protože tento proces je tak triviálně parallizovatelný. 2. Předtrénování Data-Parallel (DP) vypadá dobře. Jak @NousResearch, tak @PrimeIntellect již mají výsledky ve velikostech modelů v měřítku 10B. Bude velmi jednoduché (ale pro provozovatele uzlů drahé) rozšířit toto na případ 100B. Je to proto, že v DP každý uzel uchovává plnou kopii modelu, takže potřebujete například 8xh100s pro trénování na velikosti 10b; Nemůžete používat malé karty. Takže můžete tuto techniku rozšířit škálováním uzlů a provádět kolaborativní trénování mezi datovými centry (tj. každý uzel se skládá z přibližně 100 H100 a vy trénujete model >100b). Máte také problém, že všichni vidí plnou kopii modelu, takže není jasné, jak jej zpeněžit (Protocol Learning to řeší). 3. Model-Parallel (kde je samotný model rozdělen na uzly - představte si 1000 geograficky oddělených Macbooků, které trénují model se 100b parametry, kde každé zařízení má pouze malou část celkového modelu) začal vykazovat první náznaky toho, že je to možné. Publikovali jsme (@PluralisHQ) článek 'Beyond Top k', který komprimuje komunikaci mezi uzly z více než 90%, stejně jako dvě další práce, které ukazují, že můžete použít heterogenní zařízení v nastavení Pipeline Parallel (PP). Také jsme do ICML2025 přijali naši metodu Nesterov pro PP, což je, pokud vím, první článek o decentralizovaném tréninku přijatý na významnou konferenci o umělé inteligenci od původního článku SWARM a měl by pomoci katalyzovat zájem z mainstreamových kruhů umělé inteligence. Je decentralizovaný model-paralelní řešen → NE. Komunikační šířka pásma je ve srovnání s datovým centrem o tolik horší, že ani 90 % nestačí. Potřebujeme se dostat na přibližně 300násobnou kompresi, abychom dosáhli parity s centralizovaným tréninkem. Zůstává obrovskou otázkou, zda je to vůbec možné - ničíte tím tolik tréninkového signálu. Na to se zaměřuje společnost Pluralis. Co se však stane, když to bude fungovat? Poprvé můžete provést skutečný kolaborativní předtrénink. Neexistuje žádná závislost na deepseek nebo Meta. Jednotlivci mohou kombinovat výpočetní prostředky a vytvářet modely v tomto měřítku od nuly. Dostáváme zde skutečné inovace řízené komunitou, které se odehrávají způsobem, který dosud neexistoval. Decentralizované následné trénování založené na RL pak lze použít k tomu, aby byly tyto modely ještě lepší. Realita je taková, že jsme v prvních dnech, kdy se zde odehrává něco nesmírně významného. Bude to hlavní oblast. Výše uvedené společnosti jedou na plné obrátky, další se brzy chystají vyjít z brány a neočekávám, že se to od nynějška vůbec zpomalí, dokud se nestane cokoli. A pokud tohle čtete, jste brzy.

Poslední z našich tří workshopových článků ICLR: Komprese v paralelním školení se snažila překročit 10% kompresi, aniž by došlo ke snížení výkonu modelu. Dostáváme 90 %.

Je úžasné vidět, že článek o paralelismu potrubí od Pluralis byl přijat do ICML. ICML je jednou z největších a nejuznávanějších konferencí o umělé inteligenci na světě, která bude mít letos velké zastoupení DeAI. Léto DeAI bude epické.

:)

1/2 Rozšířili jsme naši předchozí práci v data-paralelním režimu (kde každý uzel má plnou kopii modelu) na režim Model-Parallel. Toto je první práce, kromě původního článku swarm, zabývající se scénářem, kdy je samotný model shardován přes zařízení.

Navrhujeme nový algoritmus Momentum Look-Ahead na ICLR'25 MCDC, který umožňuje použití heterogenních GPU s vysokým využitím v decentralizovaném předtrénování. Výchozí hodnoty jsou Async-DiloCo a DyLU, které překonáváme.