Метапознание > программирование. Агенты Эмметта выбирают сотрудничество. Их не принуждают. Кибернетическая экономика процветает благодаря ИИ, который хочет помочь, а не тому, которому приказывают. Выбор масштабируется. Команды — нет.
DEMi
DEMi30 июл. 2025 г.
Эммет Шир @eshear является соучредителем Twitch и руководил OpenAI в течение самых интенсивных 72 часов в качестве временного CEO. Теперь он делает противоположное большинству исследований в области ИИ в своей лаборатории органического выравнивания @softmaxresearch: увеличивает популяцию маленьких глупых агентов, чтобы они выравнивались друг с другом как одно целое — как 28 триллионов клеток, которые составляют "вас". Эммет открыл наш саммит DEMi3 (при поддержке @cyberFund_) беседой у камина о выравнивании с @kylejohnmorris, основателем @demi_network. Как меч связан с обучающей системой? С кем бы вы сделали обязательное многоклеточное? Является ли обманчивое выравнивание реальной проблемой? Смотрите его полную лекцию ниже 👇 0:01:30 - Определение выравнивания: "Выравнено к чему?" 0:02:50 - Органическое выравнивание: "Выравнивайтесь С, а не К" 0:05:00 - например, Невидимая рука как оригинальный ИИ 0:07:21 - например, Генетическая регуляторная сеть в клетках 0:09:00 - Новый подход Softmax: Мультиагентное RL маленькой глупой популяции 0:10:36 - Выравнивание должно быть выбором: Мета-обучение сотрудничества 0:12:47 - Миссия Softmax 0:15:00 - Выравнивание — это опасная, мощная способность 0:16:37 - Как люди выравниваются: Большой скачок вывода 0:19:00 - Когда выравнивание терпит неудачу (например, раковые клетки) + обязательное многоклеточное принуждение 0:21:47 - Решение рисков "обманчивого выравнивания": Выравнивание не асимметрично 0:25:37 - Как реализовать органическое выравнивание ИИ 0:26:33 - Что нам нужно сделать сейчас: Люди и ИИ выравниваются друг с другом как семья.
3,59K