元學習 > 程式設計。艾梅特的代理選擇合作。他們不是被強迫的。 一個賽博經濟依賴於想要幫助的 AI,而不是被告知要這樣做的 AI。 選擇是可擴展的。命令則不是。
DEMi
DEMi2025年7月30日
Emmett Shear @eshear 共同創辦了 Twitch,並在最緊張的 72 小時內擔任 OpenAI 的臨時 CEO。 現在,他在他的有機對齊實驗室 @softmaxresearch 中做著與大多數 AI 研究相反的事情:擴大一群小而愚蠢的代理人,使它們彼此對齊,成為一個整體——就像構成「你」的 28 兆細胞。 Emmett 在我們的 DEMi3 峰會(由 @cyberFund_ 支持)上開場,與 @kylejohnmorris(@demi_network 的創始人)進行了一場關於對齊的爐邊聊天。 劍和學習系統有什麼相似之處?你會和誰一起進行必要的多細胞合作?欺騙性對齊真的是一個真正的擔憂嗎? 觀看他完整的演講👇 0:01:30 - 定義對齊:「對齊到什麼?」 0:02:50 - 有機對齊:「與其對齊,不如一起對齊」 0:05:00 - 例如:看不見的手作為原始 AI 0:07:21 - 例如:細胞中的基因調控網絡 0:09:00 - Softmax 的新方法:小而愚蠢的群體的多代理強化學習 0:10:36 - 對齊必須是一個選擇:元學習合作 0:12:47 - Softmax 的使命 0:15:00 - 對齊是一種危險而強大的能力 0:16:37 - 人類如何對齊:大的推理跳躍 0:19:00 - 當對齊失敗時(例如癌細胞)+ 必要的多細胞強制 0:21:47 - 解決「欺騙性對齊」風險:對齊不是不對稱的 0:25:37 - 如何實施有機 AI 對齊 0:26:33 - 我們現在需要做的:人類與 AI 像家人一樣彼此對齊
3.58K