🚨 NVIDIA heeft net het onmogelijke gedaan. Ze hebben een taalmodel met 12 miljard parameters getraind op 10 biljoen tokens, volledig in 4-bits precisie. Het heet NVFP4, en het zou de manier waarop grens-AI-modellen worden getraind kunnen herdefiniëren. Hier is waarom dit belangrijk is: • NVFP4 levert 2–3× snellere rekencapaciteit en 50% minder geheugen in vergelijking met FP8 • Nauwkeurigheid? Praktisch identiek. (MMLU-Pro: FP8 = 62,62%, NVFP4 = 62,58%) • Stabiliteitsproblemen? Opgelost met Random Hadamard-transformaties, stochastische afronding en 2D-schaalvergroting • Volledig getraind op NVIDIA Blackwell GPU's, de eerste 4-bits run stabiel over 10T tokens Dit is de eerste succesvolle demonstratie van grootschalige 4-bits voortraining zonder nauwkeurigheid te verliezen. De volgende generatie grensmodellen zal sneller, goedkoper en groener zijn zonder compromissen.