Мы, возможно, движемся к неожиданному повороту в саге OpenAI против DeepMind на IMO. Только что увидел пост от Джозефа Майерса (участвует в Олимпиаде по математике с 1992 года): комитет IMO, по сообщениям, попросил лаборатории ИИ не публиковать результаты до 7 дней после закрытия церемонии — из уважения к участникам-людям (см. мой пост вчера) и, вероятно, чтобы дать время на надлежащую проверку поданных ИИ решений и форматов. По словам Джозефа, OpenAI не сотрудничала с IMO для тестирования своей модели, и ни один из 91 официальных координаторов IMO не участвовал в оценке ее решений. Тем временем, похоже, что DeepMind соблюдает правила и терпеливо ждет своей очереди. Для контекста: В IMO 6 задач, каждая стоит 7 баллов. В этом году золотой порог составляет 35 баллов. Даже небольшое снижение может сбросить OpenAI до серебра. И, судя по их отчетам, некоторые части могут вызвать вопросы — и, возможно, стоить баллов. Теренс Тао также отметил, что хотя задачи остаются прежними, форматы тестирования имеют значение. Студент, который не получил бы бронзу в стандартных условиях, может получить золото с измененной настройкой — что поднимает реальные вопросы о том, что значит "решить IMO" для ИИ. На следующей неделе может быть интересно. Оставайтесь с нами.
Jasper
Jasper20 июл., 03:15
DeepMind получила золотую медаль на IMO в пятницу днем. Но им пришлось ждать, пока маркетинг одобрит твит — до понедельника. @OpenAI поделились своим первым в 1:00 в субботу и украли все внимание. В этой игре скорость > бюрократия. Упустите момент, потеряйте нарратив.
@swierk Они нашли 3 бывших медалистов IMO, не являющихся официальными координаторами IMO: "Для каждой задачи три бывших медалиста IMO независимо оценили представленные доказательства модели, а оценки были окончательно утверждены после единогласного согласия."
Alexander Wei
Alexander Wei19 июл., 15:50
6/N В нашей оценке модель решила 5 из 6 задач на IMO 2025. Для каждой задачи трое бывших медалистов IMO независимо оценили представленный моделью доказательство, а баллы были окончательно утверждены после единогласного согласия. Модель набрала 35 из 42 баллов в общей сложности, что достаточно для золота! 🥇
Мой предыдущий пост о запросе комитета IMO
Jasper
Jasper20 июл., 05:42
Разъяснение: мне сказали, что кто-то из Google сообщил, что их результаты IMO все еще проверяются внутренне. Как только это будет сделано, они планируют официально их опубликовать — любопытно увидеть их подход. Другой источник упомянул, что комитет IMO попросил не обсуждать участие ИИ публично в течение недели после закрытия церемонии. Теперь стало немного интереснее 🧐
Руководитель команды суперчеловеческого мышления @GoogleDeepMind @lmthang также поднял вопрос о том, выиграет ли OpenAI золото или серебро.
Jasper
Jasper20 июл., 05:42
Разъяснение: мне сказали, что кто-то из Google сообщил, что их результаты IMO все еще проверяются внутренне. Как только это будет сделано, они планируют официально их опубликовать — любопытно увидеть их подход. Другой источник упомянул, что комитет IMO попросил не обсуждать участие ИИ публично в течение недели после закрытия церемонии. Теперь стало немного интереснее 🧐
Руководитель команды суперчеловеческого мышления @GoogleDeepMind @lmthang, который создал AlphaGeometry, также поднял вопрос о том, выиграет ли OpenAI золотую или серебряную медаль.
Thang Luong
Thang Luong21 часов назад
Да, есть официальные рекомендации по оценке от организаторов IMO, которые недоступны извне. Без оценки на основе этих рекомендаций нельзя заявлять о медали. С одним вычтенным баллом это серебро, а не золото.
@swierk Да, все больше и больше вопросов поднимается людьми из математики и ИИ.
Jasper
Jasper17 часов назад
Руководитель команды суперчеловеческого мышления @GoogleDeepMind @lmthang, который создал AlphaGeometry, также поднял вопрос о том, выиграет ли OpenAI золотую или серебряную медаль.
87,34K