Se a IA melhorar rapidamente, isso torna as coisas piores, mas não é de onde vem o problema central da ASI. Se a sua cidade planeja escravizar dragões ultra-inteligentes para arar seus campos e assar seu café, alguns problemas ficam *piores* se os dragões crescerem muito rapidamente. Mas o problema central não é: "Oh não! E se os enormes monstros que soltam fogo e que poderiam destruir nossa cidade com uma única respiração terrível, que também são cada um individualmente muito mais inteligentes do que toda a nossa cidade junta, que quando maduros pensarão a velocidades que farão qualquer humano parecer para eles como uma estátua em movimento lento, *crescerem rapidamente*? Não seria essa velocidade de maturação um problema?" Se você imaginar de repente se encontrar em uma cidade cheia de dragões maduros, essa situação de não equilíbrio rapidamente se tornará caótica. Ela se tornará caótica mesmo que você ache que tem algum plano inteligente para controlar esses dragões, como dar a eles um sistema legal que diga que os humanos têm direitos de propriedade, de modo que certamente nenhuma coalizão de dragões se atreveria a sugerir um sistema legal alternativo por medo de que seus próprios direitos fossem invalidados. (Proposta real que ouço frequentemente.) Mesmo que você planeje habilmente jogar os dragões uns contra os outros, de modo que nenhum dragão se atreva a soltar fogo por medo de outros dragões -- quando os dragões estiverem totalmente maduros e muito mais inteligentes do que você, todos eles se olharão e acenarão e então o assarão. Na verdade, o projeto de criação de dragões se torna caótico *mais cedo*. Mas essa parte é dependente da trajetória, e portanto mais difícil de prever em detalhes com antecedência. Que isso se torne sombrio em *algum* ponto é visível ao visualizar o destino final se os dragões *não* se revoltassem antes, e perceber que não é uma boa situação para se estar. Para ter certeza, se os dragões crescerem muito rápido, isso *é* ainda pior. Isso transforma um problema insuperavelmente difícil em um problema ainda mais insuperavelmente difícil. Mas a velocidade com que os dragões amadurecem não é o problema central ao planejar criar e escravizar dragões para arar seus campos e assar seu café. O problema é que, quer você crie um dragão ou muitos, você não tem um dragão; os dragões têm você.

Q: Como atualizou a sua teoria da gravidade à luz do chocante desenvolvimento moderno dos balões de ar quente? A: Embora eu não tenha previsto especificamente que os balões de ar quente se desenvolveriam como e quando o fizeram, nada sobre eles contradiz a teoria da gravitação. Q: Estou espantado que você se recusa a atualizar sobre a chocante notícia dos balões de ar quente, que contradiz tudo o que pensávamos anteriormente sobre 'coisas caindo' sendo uma lei do universo! A: Sim, bem... não consigo realmente descobrir como formular isso de uma maneira não insultuosa, mas diferentes pessoas podem ser mais ou menos hábeis em manipular ideias em níveis mais altos de abstração. Q: Estou ainda mais chocado que você não revisou de forma alguma suas declarações anteriores sobre por que seria difícil ir à Lua, e especificamente por que não poderíamos simplesmente apontar uma hipotética nave espacial para a posição da Lua no céu, se fosse disparada de um canhão em direção à Lua. Os balões de ar quente simplesmente sobem e seguem o vento de uma maneira muito previsível; eles não mostram nenhuma das dificuldades de manobra que você previu. A: Veículos espaciais não obedecerão, previsivelmente, a todas as mesmas regras que a navegação de balões de ar quente -- pelo menos não no nível de abstração em que você é atualmente capaz de operar de forma produtiva ao pensar sobre regras físicas. Q: Hah! Que não empírico! Como você poderia saber isso? A: Da mesma forma que soube algumas décadas antes que seria possível sair do chão, quando todos estavam falando que isso exigiria séculos, se é que poderia acontecer. Infelizmente, entender por que a teoria da gravidade permite várias formas de viagem aérea e espacial exigiria um estudo e explicação adicionais, com mais trabalho necessário para explicar isso a algumas pessoas do que a outras. Q: Se você vai apenas ser insultuoso, eu vou embora. (Sai bufando.) Q2: Então você diz que seria muito difícil direcionar balões de ar quente para a Lua, e em particular, que eles não iriam apenas para onde os apontamos. Mas e se alguma NOVA tecnologia surgir que não seja exatamente como os balões de ar quente modernos? Isso não invalidaria todas as suas teorias modernas da gravitação que são apenas sobre balões de ar quente em particular? A: Não. As ideias-chave, na verdade, precedem o desenvolvimento de balões de ar quente em particular para viagens acima do nível do solo. Elas operam em um nível mais alto de abstração. Elas sobreviveriam mesmo ao que uma visão mais superficial poderia considerar uma chocante derrubada de todas as ideias anteriores sobre como ir alto acima do chão, por algum novo paradigma inesperado de viagem espacial. Q: Isso é apenas porque aquele cara é absolutamente incapaz de mudar de ideia sobre qualquer coisa. Ele escolhe uma melodia e se apega a ela. A: Eu mudei de ideia sobre várias coisas -- mas não, nas últimas décadas, a teoria da gravidade. De forma geral, eu mudo de ideia na proporção de quão surpreendente algo é para mim. Q: Você esperava que veículos espaciais funcionassem sendo disparados de canhões! Os balões de ar quente não têm nada a ver com isso, te surpreendendo, e ainda assim você não mudou sua opinião sobre a gravidade de forma alguma! A: Primeiro de tudo, você está confundindo uma análise de esferas perfeitas em vácuo com o que eu realmente esperava que acontecesse. Em segundo lugar, a última década, de fato, mudou minha opinião sobre para onde a viagem aérea está indo no curto prazo, mas não sobre se você pode chegar à Lua apontando um veículo de viagem espacial diretamente para a Lua. É possível ser surpreendido em um nível em uma teoria circundante, sem ser surpreendido em um nível mais profundo em uma teoria subjacente. Essa é a relação que existe entre a suposição "Talvez o caminho a seguir na viagem aérea seja algo como lançamentos poderosos do solo", que foi surpreendida e invalidada pelos balões de ar quente, e a teoria "A gravidade funciona pela atração mútua de massas", que não foi surpreendida nem invalidada. Q: Os balões têm massa, mas eles sobem em vez de descer. Eles são NADA SEMELHANTE a corpos massivos em um vácuo sendo atraídos por outras coisas massivas. A: Eu não sei o que posso dizer de forma útil a você sobre isso, a menos e até que você comece a manipular ideias com sucesso em um nível mais alto de abstração do que você está tentando usar atualmente. Q3: Sobre o que é tudo isso uma analogia, exatamente? A: Se a teoria da decisão foi invalidada pela chocante descoberta de grandes modelos de linguagem; e se as razões para se preocupar com a superinteligência de máquinas sendo difícil de alinhar, com sucesso sob a primeira carga crítica, seriam todas invalidadas se o futuro da AGI fosse sobre algo *outro* que grandes modelos de linguagem. Eu não previ a chegada dos LLMs, e nem a maioria das pessoas, e eles foram surpreendentes em alguns níveis importantes -- mas não nos níveis de onde vêm as previsões sombrias. Essas ideias precedem os LLMs e nenhum desenvolvimento na última década foi invalidante para essas ideias particulares. A teoria da decisão é para os LLMs como a lei da gravidade é para os balões de ar quente. Q3: Obrigado.

Q: Como atualizou a sua teoria da gravidade à luz do chocante desenvolvimento moderno dos balões de ar quente? A: Embora eu não tenha previsto especificamente que os balões de ar quente se desenvolveriam como e quando o fizeram, nada sobre eles contradiz a teoria da gravitação. Q: Estou espantado que você se recusa a atualizar sobre a chocante notícia dos balões de ar quente, que contradiz tudo o que pensávamos anteriormente sobre 'coisas caindo' sendo uma lei do universo! A: Sim, bem... não consigo realmente descobrir como formular isso de uma maneira não insultuosa, mas diferentes pessoas podem ser mais ou menos hábeis em manipular ideias em níveis mais altos de abstração. Q: Estou ainda mais chocado que você não revisou de forma alguma suas declarações anteriores sobre por que seria difícil ir à Lua, e especificamente por que não poderíamos simplesmente apontar uma hipotética nave espacial para a posição da Lua no céu, se fosse disparada de um canhão em direção à Lua. Os balões de ar quente simplesmente sobem e seguem o vento de uma maneira muito previsível; eles não mostram nenhuma das dificuldades de manobra que você previu. A: Veículos espaciais não obedecerão, previsivelmente, a todas as mesmas regras que a navegação de balões de ar quente -- pelo menos não no nível de abstração em que você é atualmente capaz de operar de forma produtiva ao pensar sobre regras físicas. Q: Hah! Que não empírico! Como você poderia saber isso? A: Da mesma forma que soube algumas décadas antes que seria possível sair do chão, quando todos estavam falando que isso exigiria séculos, se é que poderia acontecer. Infelizmente, entender por que a teoria da gravitação permite várias formas de viagem aérea e espacial exigiria um estudo e explicação adicionais, com mais trabalho necessário para explicar isso a algumas pessoas do que a outras. Q: Se você vai ser apenas insultuoso, eu vou embora. (Sai bufando.) Q2: Então você diz que seria muito difícil direcionar balões de ar quente para a Lua, e em particular, que eles não iriam apenas para onde os apontamos. Mas e se alguma NOVA tecnologia surgir que não seja exatamente como os balões de ar quente modernos? Isso não invalidaria todas as suas teorias modernas da gravitação que são apenas sobre balões de ar quente em particular? A: Não. As ideias-chave, na verdade, precedem o desenvolvimento de balões de ar quente em particular para viagens acima do nível do solo. Elas operam em um nível mais alto de abstração. Elas sobreviveriam mesmo ao que uma visão mais superficial poderia considerar uma chocante derrubada de todas as ideias anteriores sobre como ir alto do chão, por algum novo paradigma inesperado de viagem espacial. Q: Isso é só porque aquele cara é absolutamente incapaz de mudar de ideia sobre qualquer coisa. Ele escolhe uma melodia e se apega a ela. A: Eu mudei de ideia sobre várias coisas -- mas não, nas últimas décadas, sobre a teoria da gravidade. De forma geral, eu mudo de ideia na proporção de quão surpreendente algo é para mim. Q: Você estava esperando que veículos espaciais funcionassem sendo disparados de canhões! Balões de ar quente não são nada parecidos com isso, te surpreendendo, e ainda assim você não mudou sua opinião sobre a gravidade! A: Primeiro de tudo, você está confundindo uma análise de esferas perfeitas em vácuo com o que eu realmente esperava que acontecesse. Em segundo lugar, a última década, de fato, mudou minha opinião sobre para onde a viagem aérea está indo no curto prazo, mas não sobre se você pode chegar à Lua apontando um veículo de viagem espacial diretamente para a Lua. É possível ser surpreendido em um nível em uma teoria circundante, sem ser surpreendido em um nível mais profundo em uma teoria subjacente. Essa é a relação que existe entre a suposição "Talvez o caminho a seguir na viagem aérea seja algo como lançamentos poderosos do solo", que foi surpreendida e invalidada pelos balões de ar quente, e a teoria "A gravidade funciona pela atração mútua de massas", que não foi surpreendida nem invalidada. Q: Balões têm massa, mas eles sobem em vez de descer. Eles são NADA PARECIDO com corpos massivos em um vácuo sendo atraídos por outras coisas massivas. A: Eu não sei o que posso dizer de forma útil a você sobre isso, a menos e até que você comece a manipular ideias com sucesso em um nível mais alto de abstração do que você está tentando usar atualmente. Q3: Sobre o que é tudo isso uma analogia, exatamente? A: Se a teoria da decisão foi invalidada pela chocante descoberta de grandes modelos de linguagem; e se as razões para se preocupar com a superinteligência de máquinas sendo difícil de alinhar, com sucesso sob a primeira carga crítica, seriam todas invalidadas se o futuro da AGI fosse sobre algo *outro* que grandes modelos de linguagem. Eu não previ a chegada dos LLMs, e nem a maioria das pessoas, e eles foram surpreendentes em alguns níveis importantes -- mas não nos níveis de onde vêm as previsões sombrias. Essas ideias precedem os LLMs e nenhum desenvolvimento na última década foi invalidante para essas ideias particulares. Q3: Obrigado.