Человек, который может РЕШИТЬ проблему согласования ИИ 🦸‍♂️ Доктор Стивен Бирнс (@steve47285) — один из немногих людей, который понимает, почему согласование сложно, и серьезно пытается его решить. У него колоссальные 90% P(Гибель), но он утверждает, что LLM достигнут плато, прежде чем станут по-настоящему опасными, и настоящая угроза придет от следующего поколения "мозгоподобного AGI", основанного на методах обучения с подкреплением actor-critic. После получения степени PhD по физике в UC Berkeley и постдока в Гарварде, он стал исследователем безопасности AGI в @AsteraInstitute. Сейчас он глубоко изучает нейробиологию обратного проектирования того, как на самом деле работают человеческие мозги, знания, которые могут помочь нам решить техническую проблему согласования ИИ. В этом необычно глубоком эпизоде — потому что, с уважением к другим моим гостям, мне не пришлось тратить время на споры с ним по очевидным поверхностным вопросам — мы говорим о его модели "двух подсистем" мозга, почему текущие подходы к безопасности ИИ не достигают цели, его разногласиях с подходами социальной эволюции и почему понимание человеческой нейробиологии важно для создания согласованного AGI.

Выполните поиск по запросу «Doom Debates» в плеере подкастов или посмотрите на YouTube:

Редкий случай, когда гость ПРАВ!