كيف تقوم LLMs بتدريب LLMs ، موضحة بوضوح (مع المرئيات):

لا يتعلم LLMs من النص الخام فحسب ، بل يتعلم أيضا من النماذج الأخرى. على سبيل المثال ، تم تقطير Gemma 2 و 3 من Google من طراز Gemini الأكبر. نغطي اليوم ، طرق تقطير المعرفة الثلاث الأكثر شيوعا. دعنا نتعمق في! 🚀

1️⃣ تقطير الملصق الناعم قم بإنشاء احتمالات softmax على مستوى الرمز المميز على المجموعة بأكملها باستخدام: - مدرس ماجستير مجمد ومدرب مسبقا - طالب غير مدرب في القانون تدريب الطالب LLM لمطابقة احتمالات المعلم. تحقق من هذا👇

في التقطير الناعم ، يضمن الوصول إلى احتمالات المعلم أقصى قدر من نقل المعرفة. ومع ذلك ، للحصول على توزيع الاحتمالات ، يجب أن يكون لديك حق الوصول إلى أوزان المعلم. حتى مع الوصول ، ينشأ تحد آخر ...

لنفترض أن مفرداتك تحتوي على 100 ألف رمز مميز والبيانات تحتوي على 5 تريليون رمز مميز. يحتاج تخزين احتمالات softmax على المفردات بأكملها لكل رمز مميز للإدخال إلى 500 جيجابايت من الذاكرة بدقة fp8. هذا هو المكان الذي ننتقل فيه إلى تقنيتنا الثانية ... 👇

2️⃣ تقطير الملصق الصلب - استخدم Teacher LLM للحصول على الرمز المميز للإخراج. - احصل على probs softmax. من Student LLM. - تدريب الطالب على مطابقة مخرجات المعلم. تم تقطير DeepSeek-R1 في Qwen & Llama باستخدام هذه التقنية. تحقق من هذا المرئي 👇

3️⃣ التقطير المشترك - ابدأ مع مدرس وطالب ماجستير غير مدرب. - قم بإنشاء تحقيقات softmax على الدفعة الحالية من كلا الطرازين. - تدريب المعلم LLM على الملصقات الصلبة. - تدريب الطالب LLM على مطابقة probs softmax للمعلم. تحقق من هذا المرئي 👇

استخدمت Meta التقطير المشترك لتدريب Llama 4 Scout و Maverick من Llama 4 Behemoth. بالطبع ، خلال المراحل الأولية ، لن تكون الملصقات الناعمة ل Teacher LLM دقيقة. هذا هو السبب في أن Student LLM يتم تدريبه باستخدام كل من الملصقات الناعمة + الملصقات الصلبة للحقيقة الأرضية.

كانت هذه هي التقنيات الثلاث لتدريب ماجستير واحد باستخدام آخر. ناقشنا: - تقطير الملصق الناعم - تقطير الملصق الصلب - التقطير المشترك إليك الصورة المرئية مرة أخرى للرجوع إليها 👇

هذا التفاف! إذا وجدت أنها ثاقبة ، فأعد مشاركتها مع شبكتك. تجدني → @akshay_pachaar ✔️ لمزيد من الأفكار والبرامج التعليمية حول LLMs ووكلاء الذكاء الاصطناعي والتعلم الآلي!