🚨 NVIDIA prostě dokázala nemožné. Jazykový model s 12B-parametry vytrénovali na 10 bilionech tokenů zcela ve 4bitové přesnosti. Jmenuje se NVFP4 a mohl by předefinovat způsob, jakým se trénují hraniční modely umělé inteligence. Zde je důvod, proč je to důležité: • NVFP4 poskytuje o 2–3× rychlejší matematickou propustnost a o 50 % méně paměti oproti FP8 •Přesnost? Prakticky identické. (MMLU-Pro: FP8 = 62.62%, NVFP4 = 62.58%) • Problémy se stabilitou? Řešeno pomocí náhodných Hadamardových transformací, stochastického zaokrouhlování a 2D škálování • Kompletně trénováno na grafických procesorech NVIDIA Blackwell, první 4bitový běží stabilně na 10T tokenech Jedná se o první úspěšnou demonstraci rozsáhlého 4bitového předtrénování bez ztráty přesnosti. Příští generace hraničních modelů bude rychlejší, levnější a ekologičtější bez kompromisů.