🚨 NVIDIA a făcut pur și simplu imposibilul. Ei au antrenat un model de limbaj cu 12 parametri pe 10 trilioane de jetoane în întregime cu precizie de 4 biți. Se numește NVFP4 și ar putea redefini modul în care sunt antrenate modelele AI de frontieră. Iată de ce contează acest lucru: • NVFP4 oferă un debit matematic cu 2-3× mai rapid și cu 50% mai puțină memorie față de FP8 •Precizie? Practic identic. (MMLU-Pro: FP8 = 62,62%, NVFP4 = 62,58%) • Probleme de stabilitate? Rezolvat folosind transformări Hadamard aleatorii, rotunjire stocastică și scalare 2D • Antrenat în întregime pe GPU-uri NVIDIA Blackwell, primul pe 4 biți rulează stabil pe tokenuri 10T Aceasta este prima demonstrație de succes a preantrenamentului pe 4 biți la scară largă fără a pierde precizia. Următoarea generație de modele de frontieră va fi mai rapidă, mai ieftină și mai ecologică, fără compromisuri.