人工超智能感觉像是一项我们应该在200-300年内解锁的技术。作为一个物种，我们绝对还没有准备好。这就像是给一个中世纪的农民提供武器级铀。 强化学习背后的数学和算法并不是特别难以理解，这意味着任何发现了矩阵代数、概率论和微积分的文明都可以通过计算实现这一点。 我们所学到的是，我们所称之为智能的东西是与底层无关的，并且可以通过计算显著扩展。对此的上限绝对没有人知道。 我认为乔治·霍茨说的很对，他提到需要一个全新的科学研究领域，能够对模型的能力和我们所称之为智能的任何上限的预测能力进行预测，如果这些上限确实存在的话。 ASI将摧毁我们对当前现代社会的任何概念。我们在2100年的世界将会把我们视为原始人。指数曲线意味着每年进展的压缩，使得在1年内实现10-100年才能完成的事情。 人脑并不是为了应对这种环境而构建的。