To byłoby takie 🔥🔥🔥 @Alibaba_Qwen @Kimi_Moonshot

Gdybym mógł dzisiaj coś sobie życzyć, życzyłbym sobie, aby Kimi i Qwen opublikowali swoje zbiory danych po treningu, tak jak robi to Nous 🫣🤗 W ten sposób moglibyśmy znacznie łatwiej budować na pracy innych!

Czy byłaby możliwość, aby wielkie firmy technologiczne "darowały" niewykorzystane godziny na swoich ogromnych klastrach GPU dla otwartej nauki i deweloperów otwartego oprogramowania AI? Mogłoby to się sumować do znacznych kwot, które można by dobrze wykorzystać?

Czyli Qwen również otrzymuje teraz oznaczenie laboratorium granicznego?? @xeophon_ @Presidentlin

Qwen COOKED - bije Kimi K2 i jest konkurencyjny wobec Claude Opus 4 przy 25% całkowitych parametrów 🤯

🏆 Nasza tabela liderów kompresji KV Cache @nvidia jest już dostępna! Porównaj nowoczesne metody kompresji obok siebie z KVPress. Zobacz, które techniki prowadzą w zakresie efektywności i wydajności. 🥇

To nie jest MAŁA aktualizacja. To ogromne! Proszę, dajcie nam to dla każdego modelu, zespole Qwen🙏

Właśnie opublikowaliśmy ponad 100 pośrednich punktów kontrolnych oraz nasze logi treningowe z treningu SmolLM3-3B. Mamy nadzieję, że to będzie przydatne dla badaczy pracujących nad interpretacją mechanizmów, dynamiką treningu, RL i innymi tematami :) Logi treningowe: -> Zwykła strata treningowa (przerwy w stratach są spowodowane zmianą mieszanki), grad_norm itd.. -> Metryki na poziomie warstwy/bloku (norma l1/l2, średnia, minimum, maksimum, kurtoza) Punkty kontrolne: -> wstępne szkolenie co 40k kroków (94,4B tokenów) -> wydłużenie kontekstu co 4k kroków (9,4B tokenów) -> po treningu: SFT, w trakcie treningu, zupa APO, ekspert LC

500 tys. próbek wielojęzycznych danych po treningu w 5 językach: francuskim, hiszpańskim, włoskim, niemieckim i portugalskim. Aby rozwiązać problem braku wielojęzycznych zbiorów danych po treningu, stworzyliśmy te próbki i stwierdziliśmy, że poprawiają one wyniki w benchmarkach takich jak Global MMLU, Belebele i Multi-IF.

Z radością ogłaszam, że dołączam 🤗 do @huggingface jako #InżynierUczeniaMaszynowego skoncentrowany na #WebML!