AIが急速に改善すれば、事態はさらに悪化しますが、ASIの中心的な問題はそこから来るわけではありません。 あなたの都市が超賢いドラゴンを奴隷にして畑を耕し、コーヒーを焙煎することを計画している場合、ドラゴンが非常に早く成長すると、いくつかの問題は「悪化」します。 しかし、核心的な問題は「ああ、ダメだ! 恐ろしい一息で私たちの街を一掃できる巨大な火を吐くモンスターが、私たちの街全体を合わせたよりもはるかに賢く、成熟したときに、人間が動きの遅い彫像のように見えるような速度で考え、*すぐに成長するとしたらどうなるでしょうか? その成熟の速さは問題になりませんか?」 成熟したドラゴンでいっぱいの街に突然いることに気付くと、その非均衡な状況はすぐに洋ナシの形になります。 人間には財産権があるという法制度をドラゴンに与えるなど、ドラゴンを支配するための巧妙な計画があると思っていたとしても、ドラゴン連合は自分たちの権利が無効になることを恐れてあえて別の法制度を提案しないでしょう。 (実際にストローではない提案をよく耳にします。 たとえあなたがドラゴン同士を巧みに対抗して、他のドラゴンを恐れてあえて火を吐くドラゴンがいないようにするつもりだったとしても、ドラゴンが完全に成熟し、あなたよりもはるかに賢いとき、彼らは皆お互いを見てうなずき、そしてあなたを焼くでしょう。 本当に、ドラゴンの飼育プロジェクトは「もっと早く」洋ナシの形をしています。 しかし、その部分は軌道に依存するため、事前に詳細に予測するのは難しいです。 ドラゴンがもっと早く反乱を起こさなかった場合の最終目的地を視覚化し、それが良い状況ではないことに気付くことから、ある時点でそれが厳しくなることは明らかです。 確かに、ドラゴンが非常に速く成長する場合、それはさらに悪いことです。 それは、解決できないほど難しい問題を、さらに解決できないほど難しい問題に乗せます。 しかし、ドラゴンが成熟するスピードは、畑を耕したりコーヒーを焙煎したりするためにドラゴンを奴隷にして育てる計画の中心的な問題ではありません。 それは、1匹のドラゴンを育てても、何匹も育てるにせよ、ドラゴンはいません。ドラゴンにはあなたがいます。

Q: 熱気球の衝撃的な現代開発に照らして、重力理論をどのように更新しましたか? A: 熱気球がいつ発達するかを具体的に予測したわけではありませんが、熱気球について重力理論と矛盾するものは何もありません。 Q: 熱気球の衝撃的なニュースについて、あなたが最新情報を拒否していることに驚いていますが、これは「物が落ちる」ことは宇宙の法則であるという私たちが以前考えていたすべてと矛盾しています。 A: ええ、まあ...これを侮辱的でない方法でどのように表現すればよいかよくわかりませんが、人によって、より高い抽象レベルでアイデアを操作することに長けているのが異なるかもしれません。 Q: さらにショックを受けているのは、なぜ月に行くのが難しいのか、特に、なぜ仮想の宇宙飛行船を月に向けて発射した場合、空の月の位置に向けることができなかったのかについて、これまでの発言をまったく修正していないことにさらにショックを受けています。 熱気球はまっすぐ上がって、非常に予測可能な方法で風に追従します。彼らはあなたが予測した操縦の困難をまったく示しません。 A: 予想通り、宇宙飛行機は熱気球のナビゲーションと同じルールをすべて従うわけではありません -- 少なくとも、物理的なルールについて考える際に現在生産的に操作できる抽象化のレベルではありません。 Q: はぁ! なんと経験的ではないのでしょう! どうしてそれを知ることができるでしょうか? A: 数十年前に、それが実現するなら何世紀もかかると誰もが大騒いでいたとき、軌道に乗ることは可能だと私が知っていたのと同じように。 悲しいかな、重力理論がさまざまな形態の空中および宇宙旅行を可能にする理由を理解するには、さらなる研究と説明が必要であり、それを他の人よりも一部の人々に説明するにはより多くの作業が必要です。 Q: 侮辱するだけなら、私は立ち去ります。 (ハッと飛び去る。 Q2: 熱気球を月に向かわせるのは非常に難しいこと、特に熱気球は私たちが指差したところに行かないとおっしゃっています。 しかし、現代の熱気球とまったく異なる新しいテクノロジーが登場したらどうなるでしょうか? そうすれば、特に熱気球に関するものだけの現代の重力理論はすべて排除されるのではないでしょうか? A: いいえ。 実際、重要なアイデアは、特に地上より高いところを移動するための熱気球の開発よりも前から存在していました。 それらはより高いレベルの抽象化で動作します。 彼らは、より表面的な見方では、まったく予想外の宇宙旅行の新しいパラダイムによって、地上から高く上がる方法に関するこれまでのすべての考えが衝撃的に覆されたと見なすかもしれないものでさえ生き残るでしょう。 Q: それは、あの男が何事に対しても考えを変えることができないからです。 彼は曲を選び、それに固執します。 A: 私はいくつかのことについて考えを変えましたが、ここ数十年で重力理論は変わりませんでした。 大まかに言えば、私は何かがどれだけ私を驚かせるかに比例して考えを変えます。 Q: 宇宙船は大砲から発射されて機能することを期待していましたね! 熱気球はそんなことはなく、あなたを驚かせますが、重力についての考えはまったく変わりません。 A: まず第一に、あなたは真空中の完全球体分析を、私が実際に起こると予想していたことと間違えています。 第二に、過去10年間で、航空旅行が短期的にどこへ向かうのかについての私の考えは変わりましたが、宇宙旅行機を月に直接向けることで月に到達できるかどうかについては変わりませんでした。 基礎となる理論では、より深いレベルで驚かなくても、周囲の理論ではあるレベルで驚くことは可能です。 それは、熱気球によって驚かれて無効になった「空中旅行の進む道は、強力な地上発射のようなものかもしれない」という推測と、驚かず無効にもならなかった「重力は質量の相互引力によって働く」理論の間に存在するような関係です。 Q: 風船には質量がありますが、DOWNではなくUPになります。 それらは、他の巨大なものに引き寄せられる虚空の巨大な体とはまったく異なります。 A: あなたが現在使用しようとしているよりも高いレベルの抽象化でアイデアをうまく操作し始めるまで、これについて何が役に立つかわかりません。 Q3: これは正確には何についての例えですか? A: 大規模言語モデルの衝撃的な発見によって意思決定理論が無効になったかどうか。そして、機械の超知能が最初の臨界負荷の下でうまく調整するのが難しいことを懸念する理由は、AGI の将来が大規模言語モデル以外のものに関するものである場合、すべて無効になるのかどうか。 私はLLMが来るとは予測していませんでしたし、ほとんどの人もそうではありませんでしたが、いくつかの重要なレベルで驚きましたが、厳しい予測が来るレベルではありませんでした。 これらのアイデアは LLM よりも前から存在しており、過去 10 年間にこれらの特定のアイデアを無効にするような開発はありませんでした。 決定理論は、重力の法則が熱気球にとってであるように、LLM にとってのものです。 Q3: ありがとう。

Q: 熱気球の衝撃的な現代開発に照らして、重力理論をどのように更新しましたか? A: 熱気球がいつ発達するかを具体的に予測したわけではありませんが、熱気球について重力理論と矛盾するものは何もありません。 Q: 熱気球の衝撃的なニュースについて、あなたが最新情報を拒否していることに驚いていますが、これは「物が落ちる」ことは宇宙の法則であるという私たちが以前考えていたすべてと矛盾しています。 A: ええ、まあ...これを侮辱的でない方法でどのように表現すればよいかよくわかりませんが、人によって、より高い抽象レベルでアイデアを操作することに長けているのが異なるかもしれません。 Q: さらにショックを受けているのは、なぜ月に行くのが難しいのか、特に、なぜ仮想の宇宙飛行船を月に向けて発射した場合、空の月の位置に向けることができなかったのかについて、これまでの発言をまったく修正していないことにさらにショックを受けています。 熱気球はまっすぐ上がって、非常に予測可能な方法で風に追従します。彼らはあなたが予測した操縦の困難をまったく示しません。 A: 予想通り、宇宙飛行機は熱気球のナビゲーションと同じルールをすべて従うわけではありません -- 少なくとも、物理的なルールについて考える際に現在生産的に操作できる抽象化のレベルではありません。 Q: はぁ! なんと経験的ではないのでしょう! どうしてそれを知ることができるでしょうか? A: 数十年前に、それが実現するなら何世紀もかかると誰もが大騒いでいたとき、軌道に乗ることは可能だと私が知っていたのと同じように。 悲しいかな、重力理論がさまざまな形態の空中および宇宙旅行を可能にする理由を理解するには、さらなる研究と説明が必要であり、それを他の人よりも一部の人々に説明するにはより多くの作業が必要です。 Q: 侮辱するだけなら、私は立ち去ります。 (ハッと飛び去る。 Q2: 熱気球を月に向かわせるのは非常に難しいこと、特に熱気球は私たちが指差したところに行かないとおっしゃっています。 しかし、現代の熱気球とまったく異なる新しいテクノロジーが登場したらどうなるでしょうか? そうすれば、特に熱気球に関するものだけの現代の重力理論はすべて排除されるのではないでしょうか? A: いいえ。 実際、重要なアイデアは、特に地上より高いところを移動するための熱気球の開発よりも前から存在していました。 それらはより高いレベルの抽象化で動作します。 彼らは、より表面的な見方では、まったく予想外の宇宙旅行の新しいパラダイムによって、地上から高く上がる方法に関するこれまでのすべての考えが衝撃的に覆されたと見なすかもしれないものでさえ生き残るでしょう。 Q: それは、あの男が何事に対しても考えを変えることができないからです。 彼は曲を選び、それに固執します。 A: 私はいくつかのことについて考えを変えましたが、ここ数十年で重力理論は変わりませんでした。 大まかに言えば、私は何かがどれだけ私を驚かせるかに比例して考えを変えます。 Q: 宇宙船は大砲から発射されて機能することを期待していましたね! 熱気球はそんなことはなく、あなたを驚かせますが、重力についての考えはまったく変わりません。 A: まず第一に、あなたは真空中の完全球体分析を、私が実際に起こると予想していたことと間違えています。 第二に、過去10年間で、航空旅行が短期的にどこへ向かうのかについての私の考えは変わりましたが、宇宙旅行機を月に直接向けることで月に到達できるかどうかについては変わりませんでした。 基礎となる理論では、より深いレベルで驚かなくても、周囲の理論ではあるレベルで驚くことは可能です。 それは、熱気球によって驚かれて無効になった「空中旅行の進む道は、強力な地上発射のようなものかもしれない」という推測と、驚かず無効にもならなかった「重力は質量の相互引力によって働く」理論の間に存在するような関係です。 Q: 風船には質量がありますが、DOWNではなくUPになります。 それらは、他の巨大なものに引き寄せられる虚空の巨大な体とはまったく異なります。 A: あなたが現在使用しようとしているよりも高いレベルの抽象化でアイデアをうまく操作し始めるまで、これについて何が役に立つかわかりません。 Q3: これは正確には何についての例えですか? A: 大規模言語モデルの衝撃的な発見によって意思決定理論が無効になったかどうか。そして、機械の超知能が最初の臨界負荷の下でうまく調整するのが難しいことを懸念する理由は、AGI の将来が大規模言語モデル以外のものに関するものである場合、すべて無効になるのかどうか。 私はLLMが来るとは予測していませんでしたし、ほとんどの人もそうではありませんでしたが、いくつかの重要なレベルで驚きましたが、厳しい予測が来るレベルではありませんでした。 これらのアイデアは LLM よりも前から存在しており、過去 10 年間にこれらの特定のアイデアを無効にするような開発はありませんでした。 Q3: ありがとう。