هذا التفاف ICML2025. لا يصدق مشاهدة الفضاء ينتقل من "ما الذي تتحدث عنه" إلى "هذا مستحيل" إلى "حسنا ، هذا مثير جدا للاهتمام" في ما يزيد قليلا عن عام. @tha_ajanthan @hmdolatabadi

إذا كنت تدعي أنك رأيت هذا قادما ، فمن الأفضل أن يكون لديك الربح والخسارة المتعددة لدعمه

نعوم يميل إلى عدم المبالغة.

أوافق تماما - مختبرات الزهور مجموعة أخرى تنشر بنشاط أشياء رائعة وتركز الآن بشكل مباشر على التدريب اللامركزي. يجب أن تكون نقطة بيانات رئيسية لكل من لا يزال متشككا في المنطقة - فريق الزهور شرعي بقدر ما يحصل عليه ، و Nic Lane هو إلى حد كبير على قمة القمة في التعلم الموحد. كل إشارة بالنسبة لي هي أننا على وشك أن نشهد نقطة تحول أكاديمية هائلة في هذا المجال على جانب ML. لم يعد حقا حتى على النقيض من ذلك ، فقد انتقل من ذلك إلى الأيام الأولى الواضحة لما سيصبح مجالا رئيسيا ومؤثرا للغاية.

من تجربتي ، قد يكون الحصول على ورقة عن DL اللامركزي مقبولة في مؤتمرات عالية المستوى أمرا صعبا للغاية. الدافع ليس مألوفا للعديد من المراجعين ، ولا تأخذ إعدادات التجربة القياسية في الاعتبار المشكلات التي تهدف إلى حلها. ومن ثم ، فأنا متحمس جدا لرؤية شركات مثل @PluralisHQ و @PrimeIntellect تستثمر الجهد لمشاركة نتائجها ونشرها في المؤتمرات الكبرى! حتى IMO ، حتى إعداد التقديم ، يجبرك على أن تكون أكثر صرامة بشأن تجاربك + التعليقات الخارجية من المراجعين يساعدك على شحذ رسالة الورقة.

Pluralis + Prime Intellect + Ambient يقلب Ethereum بحلول عام 2030

أشعر أن نماذج الإغلاق التعريفي كانت متوقعة للغاية. قلت صراحة إن هذا سيحدث العام الماضي وشرحت السبب (من).

تحدث لمدة 50 دقيقة مباشرة إلى غرفة مزدحمة من باحثي الذكاء الاصطناعي المتصدعين في ICML ، حيث قدموا أعمالا من قبل @akashnet_ و @PrimeIntellect و @gensynai و @NousResearch و @PluralisHQ و @GoogleDeepMind. هناك الآن اهتمام كبير ب DeAI. المهمة (جزئيا) أنجزت.

للأشخاص الذين ليسوا على دراية بنشر الذكاء الاصطناعي ؛ هناك 3 مؤتمرات رئيسية كل عام. ICML و ICLR و NeurIPS. هذه مؤتمرات فنية وما يعادل المجلات في التخصصات الأخرى - فهي مكان النشر الرئيسي لمنظمة الذكاء الاصطناعي. المنافسة للحصول على أوراق في هذه المؤتمرات هي الآن على مستوى مثير للسخرية ، والحصول على الأوراق المقبولة أمر صعب للغاية ، وهناك الكثير من القلق بشأن عملية المراجعة التي هي صاخبة للغاية في هذه المرحلة. الورقة القوية التي لا تحتوي على عيوب لديها فرصة للقبول بنسبة 50٪ تقريبا ، وعادة ما يتم تقديم ورقة مع تغييرات المراجع عدة مرات حتى يتم قبولها. على الرغم من كل ذلك ، تظل الأوراق في هذه الأماكن هي الطابع الأساسي للشرعية في عالم الذكاء الاصطناعي ، وربما لا تزال المقاييس المهنية الأساسية لباحثي ML (على الرغم من أن هذا يضعف imo لأن الكثير من الأبحاث في المختبرات الحدودية غير منشورة). تختلف أوراق المسار الرئيسي اختلافا كبيرا عن أوراق ورشة العمل. يحتوي المسار الرئيسي على مراجعة مكثفة وجادة من الأقران. أوراق ورشة العمل مخصصة للعمل التمهيدي ، والتي تعطي بعض المؤشرات على نتيجة مثيرة للاهتمام ، ولكنها إما غير كاملة أو أن النتيجة ليست مهمة بما يكفي للمسار الرئيسي. يطلب منهم فقط مراجعتهم من قبل مجموعة مراجعي ورشة العمل ولا يظهرون في الإجراءات. ظهرت العديد من الأوراق الرائعة لأول مرة في ورش العمل (مثل grokking) - لكن أوراق ورشة العمل والمسار الرئيسي هي أشياء مختلفة اختلافا جوهريا ، مع مستوى مختلف تماما من التأثير. الشركتان الوحيدتان في الذكاء الاصطناعي اللامركزية اللتان لديهما أوراق المسار الرئيسي هذا العام هما @PrimeIntellect و Pluralis.

استخدام لوحات معلومات Grafana الجميلة لكل شيء داخليا ، أجمل بكثير من Tensorboard. لا يزال Wandb جيدا ولكنه لا يعمل حقا مع التدريب اللامركزي. يجعلني أتساءل كيف تبدو أدوات الرؤية الداخلية في openai - يجب أن تكون لا تصدق.