🚨 NVIDIA vừa làm điều không thể. Họ đã huấn luyện một mô hình ngôn ngữ 12B tham số trên 10 triệu tỷ token hoàn toàn với độ chính xác 4-bit. Nó được gọi là NVFP4, và nó có thể định nghĩa lại cách mà các mô hình AI tiên tiến được huấn luyện. Dưới đây là lý do tại sao điều này quan trọng: • NVFP4 cung cấp tốc độ tính toán nhanh hơn 2–3× và giảm 50% bộ nhớ so với FP8 • Độ chính xác? Hầu như giống hệt nhau. (MMLU-Pro: FP8 = 62.62%, NVFP4 = 62.58%) • Vấn đề ổn định? Đã được giải quyết bằng cách sử dụng biến đổi Hadamard ngẫu nhiên, làm tròn ngẫu nhiên và tỷ lệ 2D • Được huấn luyện hoàn toàn trên GPU Blackwell của NVIDIA, lần chạy 4-bit đầu tiên ổn định trên 10T token Đây là lần đầu tiên chứng minh thành công việc huấn luyện trước quy mô lớn 4-bit mà không mất độ chính xác. Thế hệ tiếp theo của các mô hình tiên tiến sẽ nhanh hơn, rẻ hơn và thân thiện với môi trường hơn mà không cần thỏa hiệp.