Супер круто! Надихає і чудове нагадування про те, що більшість провідних дослідників штучного інтелекту насправді не сидять у Twitter. Більшість не твітить, багато хто не має облікових записів найгучніші люди тут, ті, хто найбільше пишуть про штучний інтелект, як правило, просто випадкові анонімні технічні брати

Не можна просто «вирішити» дослідницьку проблему Натомість, хтось розвиває нову інтелектуальну основу з перших принципів. ставити запитання та підзапитання та відповідати на них, можливо, протягом кількох місяців Згодом, повернувшись до первісної проблеми, виявляється, що вона тривіальна

Я ще не чув, щоб про це говорили, але ШІ фактично вбив хакатони. Майже все, що ви могли б зробити на хакатоні в 2019 році, може бути побудовано краще і швидше за допомогою штучного інтелекту в 2025 році

Це поганий код, чи не так?

Напевно, в 10 разів більше людей має працювати над оперативною оптимізацією системи (нам потрібен vLLM для promptopt), теорія, нові методики, орієнтири. Весь комплект і кабудл

Ось деякі з безкоштовних альфа-версій: якщо ми будемо робити RL занадто довго після попередньої підготовки, ми обов'язково перезаписаємо параметри і почнемо забувати речі в оригінальному документі InstructGPT, їхня найкраща модель змішала RLHF з градієнтами попереднього навчання, щоб уникнути саме цієї проблеми з дрейфом моделі Але цього вже ніхто не робить. Звичайно, це одна особлива інстанціація (градієнтне змішування) більш широкої ідеї (уникнення забування), але здається сильно недооціненою лінією мислення, оскільки ми робимо все більше і більше кроків РЛ наприклад, дивіться нещодавню статтю ProRL. Тепер вони роблять понад 1000 кроків GRPO з нетривіальною швидкістю навчання та без штрафу за відхилення від оригінальної моделі. Схеми, вбудовані всередині моделі під час передтренувальної підготовки, напевно починають руйнуватися. а якщо ні, то після 10 або 100 тисяч кроків RL Я підозрюю, що ця ідея з часом повернеться; Вони, напевно, вже роблять це у великих лабораторіях

Я шукаю хороші приклади узагальнення моделі міркування наприклад, модель, заохочена за допомогою RL до роздумів і вирішення математичних завдань, краще справляється з творчим письмом Чи поширене це?

Це здається дуже важливим: цілком імовірно, що модель може отримати золото IMO без *будь-якого* навчання з підкріпленням, за умови ідеально складеної підказки Ми просто не знаємо, і нам не вистачає інструментів для ефективного пошуку в оперативному просторі. радий бачити, що хоч хтось намагається

Таке не вигадаєш

гіпотетична ситуація - Я компанія зі штучним інтелектом, яка звела витрати на передачу та зберігання моделей до нуля. Я можу подати кожному користувачеві свою модель без зайвих витрат Що робити? безпосередньо SFT специфічні для користувача моделі на їх даних? або RLHF на чаті рейтинги? Щось інше?