اليوم ، حققنا في @OpenAI علامة فارقة اعتبرها الكثيرون على بعد سنوات: أداء على مستوى الميدالية الذهبية في IMO 2025 مع LLM للمنطق العام - في نفس الحدود الزمنية مثل البشر ، بدون أدوات. بقدر ما يبدو ذلك رائعا ، إلا أنه أكثر أهمية من العنوان 🧵 الرئيسي
Alexander Wei
Alexander Wei‏19 يوليو، 15:50
1 / N أنا متحمس لمشاركة أن أحدث @OpenAI المنطق التجريبي لدينا قد حقق تحديا كبيرا طويل الأمد في الذكاء الاصطناعي: أداء على مستوى الميدالية الذهبية في مسابقة الرياضيات الأكثر شهرة في العالم - أولمبياد الرياضيات الدولي (IMO).
عادة بالنسبة لنتائج الذكاء الاصطناعي هذه ، كما هو الحال في Go / Dota / Poker / Diplomacy ، يقضي الباحثون سنوات في صنع الذكاء الاصطناعي الذي يتقن مجالا ضيقا ولا يفعل شيئا آخر. لكن هذا ليس نموذجا خاصا بالمنظمة البحرية الدولية. إنه ماجستير في المنطق يشتمل على تقنيات تجريبية جديدة للأغراض العامة.
إذن ما هو المختلف؟ لقد طورنا تقنيات جديدة تجعل LLMs أفضل بكثير في المهام التي يصعب التحقق منها. كانت مشاكل المنظمة البحرية الدولية هي التحدي المثالي لهذا: البراهين عبارة عن صفحات طويلة وتستغرق ساعات من الخبراء لتصنيفها. قارن ذلك ب AIME ، حيث تكون الإجابات مجرد عدد صحيح من 0 إلى 999.
كما أن هذا النموذج يفكر لفترة * طويلة *. O1 فكرت لثوان. بحث عميق لدقائق. هذا يفكر لساعات. الأهم من ذلك ، أنها أيضا أكثر كفاءة في تفكيرها. وهناك مجال كبير لدفع حوسبة وقت الاختبار والكفاءة إلى أبعد من ذلك.
Noam Brown
Noam Brown‏13 سبتمبر 2024
يفكر O1 @OpenAI @rao2z @OpenAI لثوان ، لكننا نهدف إلى أن تفكر الإصدارات المستقبلية لساعات وأيام وحتى أسابيع. ستكون تكاليف الاستدلال أعلى ، ولكن ما هي التكلفة التي ستدفعها مقابل دواء جديد للسرطان؟ للبطاريات المتقدمة؟ لإثبات فرضية ريمان؟ يمكن أن يكون الذكاء الاصطناعي أكثر من مجرد روبوتات محادثة
يجدر التفكير في مدى سرعة تقدم الذكاء الاصطناعي ، خاصة في الرياضيات. في عام 2024 ، كانت مختبرات الذكاء الاصطناعي تستخدم الرياضيات في المدرسة الابتدائية (GSM8K) كدليل في إصدارات النماذج الخاصة بها. منذ ذلك الحين ، قمنا بإشباع معيار الرياضيات (المدرسة الثانوية) ، ثم AIME ، والآن في IMO Gold.
أين يذهب هذا؟ بالسرعة التي أحرزها الذكاء الاصطناعي مؤخرا ، أتوقع تماما أن يستمر الاتجاه. الأهم من ذلك ، أعتقد أننا قريبون من الذكاء الاصطناعي الذي يساهم بشكل كبير في الاكتشاف العلمي. هناك فرق كبير بين الذكاء الاصطناعي أقل بقليل من الأداء البشري الأعلى مقابل أعلى قليلا.
كان هذا جهدا جماعيا صغيرا بقيادة @alexwei_. لقد أخذ فكرة بحثية لم يؤمن بها سوى القليل واستخدمها لتحقيق نتيجة أقل تفكيرا ممكنا. لن يكون هذا ممكنا أيضا بدون سنوات من البحث + الهندسة من العديد من @OpenAI ومجتمع الذكاء الاصطناعي الأوسع.
عندما تعمل في مختبر حدودي ، فإنك تعرف عادة أين توجد القدرات الحدودية قبل أي شخص آخر بشهور. لكن هذه النتيجة جديدة تماما ، باستخدام تقنيات مطورة مؤخرا. لقد كانت مفاجأة حتى للعديد من الباحثين في OpenAI. اليوم ، يمكن للجميع رؤية مكان الحدود.
‏‎998.2‏K