🚨 NVIDIA właśnie dokonało niemożliwego. Wytrenują model językowy o 12 miliardach parametrów na 10 bilionach tokenów całkowicie w precyzji 4-bitowej. Nazywa się NVFP4 i może zdefiniować na nowo, jak trenuje się modele AI na granicy. Oto dlaczego to ma znaczenie: • NVFP4 zapewnia 2–3× szybszy przepływ matematyczny i 50% mniej pamięci w porównaniu do FP8 • Dokładność? Praktycznie identyczna. (MMLU-Pro: FP8 = 62,62%, NVFP4 = 62,58%) • Problemy ze stabilnością? Rozwiązane przy użyciu losowych transformacji Hadamarda, stochastycznego zaokrąglania i skalowania 2D • Wytrenuj całkowicie na GPU NVIDIA Blackwell, pierwszy stabilny bieg 4-bitowy na 10T tokenów To pierwsza udana demonstracja dużej skali wstępnego trenowania 4-bitowego bez utraty dokładności. Następna generacja modeli na granicy będzie szybsza, tańsza i bardziej ekologiczna bez kompromisów.