🚨 NVIDIA فعلت المستحيل للتو. قاموا بتدريب نموذج لغة 12B على 10 تريليون رمز مميز بالكامل بدقة 4 بت. يطلق عليه NVFP4 ، وقد يعيد تعريف كيفية تدريب نماذج الذكاء الاصطناعي الحدودية. إليك سبب أهمية ذلك: • يوفر NVFP4 إنتاجية رياضية أسرع بمقدار 2-3× وذاكرة أقل بنسبة 50٪ مقارنة ب FP8 •دقة؟ متطابق عمليا. (MMLU-Pro: FP8 = 62.62٪ ، NVFP4 = 62.58٪) • مشاكل الاستقرار؟ تم الحل باستخدام تحويلات هادامارد العشوائية ، والتقريب العشوائي ، والقياس ثنائي الأبعاد • تم تدريبه بالكامل على وحدات معالجة الرسومات NVIDIA Blackwell ، وأول تشغيل 4 بت مستقرا عبر رموز 10T هذا هو أول عرض ناجح للتدريب المسبق على نطاق واسع 4 بت دون فقدان الدقة. سيكون الجيل القادم من النماذج الحدودية أسرع وأرخص وأكثر اخضرارا دون المساومة.