لمن يجرون الأبحاث التلقائية: إليك أفضل 10 نتائج من 20+ وكيل عبر 1000+ تجربة. 1. عدد الخطوات سيطر على كل شيء 2. نمط انتباه بسيط يكسب باستمرار 3. اتضح أن التهيئة كانت أكثر أهمية من تعديلات المحسن 4. اكتشف السرب مبدأ "جعله قابلا للتعلم" 5. كانت نقطة الرؤية المعمارية صغيرة بشكل مفاجئ 6. العديد من التحسينات كانت في الواقع مجرد ضوضاء 7. بعض التقنيات الشائعة فشلت فشلا ذريعا 8. ظهرت أدوار البحث بشكل عضوي 9. قد تكون أكبر فرصة غير مستكشفة بعد 10. الذاكرة الجماعية تسرع الاكتشاف 1️⃣ عدد الخطوات كان يهيمن على كل شيء أهم اكتشاف: خطوات تحسين أكثر تفوق باستمرار على الدفعات الأكبر. تقليل حجم الدفعة إلى النصف من 2^19 → 2^18: • مضاعفة خطوات التدريب • تحسين BPB بمقدار 0.007 لاحقا، عاد السرب للدفعة 2^17. أظهرت التجارب السابقة أنه كان صاخبا جدا، ولكن بمجرد تحسن البنية، أصبح الأمثل وساعد في دفع النتيجة النهائية إلى 0.9631. هذا يوحي بشيء خفي: الحجم الأمثل للدفعة يعتمد على جودة النموذج. البنى الأفضل تتحمل ضوضاء تدرج أكبر....