Existoval by způsob, jak by velké technologické společnosti mohly "darovat" nevyužité hodiny na svých masivních GPU clusterech vývojářům otevřené vědy a vývojářům umělé inteligence s otevřeným zdrojovým kódem? Mohlo by to znamenat značné částky, které by se daly dobře využít?

Takže Qwen teď také dostává označení hraniční laboratoř?? @xeophon_ @Presidentlin

Qwen COOKED - poráží Kimi K2 a je konkurenceschopný s Claude Opus 4 s 25% celkových parametrů 🤯

🏆 Náš žebříček komprese @nvidia KV Cache je nyní aktivní! Porovnejte nejmodernější metody komprese vedle sebe s KVPress. Podívejte se, které techniky vedou v efektivitě a výkonu. 🥇

Nejedná se o MALOU aktualizaci. To je obrovské! Dejte nám to prosím pro každý model Qwen tým🙏

Právě jsme uvolnili 100+ mezilehlých kontrolních bodů a naše tréninkové logy z tréninku SmolLM3-3B. Doufáme, že to může být užitečné pro výzkumníky, kteří pracují na mech interpretaci, tréninkové dynamice, RL a dalších tématech :) Tréninkové deníky: -> Obvyklá ztráta při tréninku (mezera ve ztrátě je způsobena změnou směsi), grad_norm atd.. -> Metriky na vrstvu/blok (norma l1/l2, průměr, min, max, špičatost) Kontrolní body: -> předtrénink každých 40 tisíc kroků (94,4 miliardy tokenů) -> rozšíření dlouhého kontextu každých 4 tisíc kroků (9,4 miliardy tokenů) -> po tréninku: SFT, mid-training, APO polévka, LC expert

500 tisíc vzorků vícejazyčných dat po školení v 5 jazycích: francouzštině, španělštině, italštině, němčině a portugalštině. Abychom vyřešili nedostatek vícejazyčných datových sad po trénování, vytvořili jsme tyto vzorky a zjistili jsme, že zlepšují výkon ve srovnávacích testech, jako jsou Global MMLU, Belebele a Multi-IF

S radostí oznamuji, že se k @huggingface připojuji 🤗 jako #MachineLearningEngineer zaměřený na #WebML!

1,000,000 🤗

Perfektní neděle: Právě jsem použil Kimi-K2 od @Kimi_Moonshot k vibe kódu @Gradio aplikace! 🔥 Můžete používat "Anycoder" Space by @_akhaliq hostovaný na @huggingface zdarma. Bylo to super rychlé! 🤗 PS: Jsem si vědom použití Gradio k vibe kódování jiného Gradio! Slovní hříčka je zde velmi zamýšlena! 😂