元学习 > 编程。埃米特的代理选择合作。他们不是被强迫的。 一个网络经济依赖于想要帮助的人工智能,而不是被指示去帮助的。 选择是可扩展的。命令则不是。
DEMi
DEMi2025年7月30日
Emmett Shear @eshear 是 Twitch 的联合创始人,并在担任临时 CEO 时引导 OpenAI 度过了最紧张的 72 小时。 现在,他在他的有机对齐实验室 @softmaxresearch 中做的事情与大多数 AI 研究相反:扩大一群小而愚蠢的代理人,使它们彼此对齐,成为一个整体——就像构成“你”的 28 万亿个细胞。 Emmett 在我们的 DEMi3 峰会上(由 @cyberFund_ 支持)以与 @kylejohnmorris(@demi_network 的创始人)进行的炉边谈话开启了会议,主题是对齐。 剑与学习系统有什么相似之处?你会和谁进行强制的多细胞合作?欺骗性对齐真的是一个现实的担忧吗? 观看他完整的演讲👇 0:01:30 - 定义对齐:“对齐于什么?” 0:02:50 - 有机对齐:“与其对齐,不如一起对齐” 0:05:00 - 例如:看不见的手作为原始 AI 0:07:21 - 例如:细胞中的基因调控网络 0:09:00 - Softmax 的新方法:小而愚蠢群体的多智能体强化学习 0:10:36 - 对齐必须是一个选择:元学习合作 0:12:47 - Softmax 的使命 0:15:00 - 对齐是一种危险而强大的能力 0:16:37 - 人类如何对齐:大的推理跳跃 0:19:00 - 当对齐失败时(例如癌细胞)+ 强制的多细胞执行 0:21:47 - 解决“欺骗性对齐”风险:对齐不是不对称的 0:25:37 - 如何实施有机 AI 对齐 0:26:33 - 我们现在需要做的事情:人类与 AI 作为一个家庭相互对齐
3.6K