Si la IA mejora rápidamente, eso empeora las cosas, pero no es de donde proviene el problema central de ASI. Si tu ciudad planea esclavizar a dragones ultrainteligentes para arar sus campos y tostar su café, algunos problemas empeoran si los dragones crecen muy rápido. Pero el problema central no es: "¡Oh no! ¿Qué pasaría si los enormes monstruos que escupen fuego que podrían acabar con nuestra ciudad con un terrible aliento, que también son individualmente mucho más inteligentes que toda nuestra ciudad junta, que cuando maduren pensarán a velocidades que hacen que cualquier humano les parezca una estatua que se mueve lentamente, *crezcan rápidamente*? ¿No presentaría ese problema esa velocidad de maduración?" Si imaginas que de repente te encuentras en una ciudad llena de dragones maduros, esa situación de desequilibrio se irá en forma de pera muy rápidamente. Se irá en forma de pera incluso si pensaras que tienes algún plan inteligente para controlar a esos dragones, como darles un sistema legal que diga que los humanos tienen derechos de propiedad, de modo que seguramente ninguna coalición de dragones se atrevería a sugerir un sistema legal alternativo por temor a que sus propios derechos sean invalidados. (Propuesta real sin pajitas que escucho a menudo). Incluso si planeas enfrentar hábilmente a los dragones entre sí, para que ningún dragón se atreva a escupir fuego por miedo a otros dragones, cuando los dragones estén completamente maduros y sean mucho más inteligentes que tú, todos se mirarán entre sí, asentirán y luego te asarán. Realmente el proyecto de crianza de dragones tiene forma de pera *antes*. Pero esa parte depende de la trayectoria y, por lo tanto, es más difícil de predecir en detalle de antemano. Que se vuelve sombrío en *algún* punto es visible al visualizar el destino final si los dragones *no* se rebelaron antes, y darse cuenta de que no es una buena situación en la que estar. Sin duda, si los dragones crecen muy rápido, eso *es* aún peor. Lleva un problema irresolublemente difícil a un problema aún más difícil irresoluble. Pero la velocidad a la que maduran los dragones no es el problema central con la planificación de criar y esclavizar dragones para arar sus campos y tostar su café. Es que, ya sea que levantes un dragón o muchos, no tienes un dragón; Los dragones te tienen.

P: ¿Cómo ha actualizado su teoría de la gravedad a la luz del impactante desarrollo moderno de los globos aerostáticos? R: Si bien no predije específicamente que los globos aerostáticos se desarrollarían cuando lo hicieran, nada en ellos contradice la teoría de la gravitación. P: ¡Me sorprende que se niegue a actualizar las impactantes noticias de los globos aerostáticos, que contradicen todo lo que pensábamos anteriormente sobre que "las cosas se caen" son una ley del universo! R: Sí, bueno... Realmente no puedo averiguar cómo expresar esto de una manera no insultante, pero diferentes personas pueden ser diferentes adeptas a manipular ideas en niveles más altos de abstracción. P: Estoy aún más sorprendido de que no haya revisado en absoluto sus declaraciones anteriores sobre por qué sería difícil ir a la Luna, y específicamente por qué no podríamos simplemente apuntar una hipotética nave espacial a la posición de la Luna en el cielo, si fuera disparada desde un cañón hacia la Luna. Los globos aerostáticos simplemente van directamente hacia arriba y siguen el viento de una manera muy predecible; no muestran ninguna de las dificultades de dirección que predijo. R: Los vehículos espaciales, como era de esperar, no obedecerán las mismas reglas que la navegación en globo aerostático, al menos no en el nivel de abstracción que actualmente puede operar productivamente al pensar en reglas físicas. P: ¡Ja! ¡Qué poco empírico! ¿Cómo es posible que sepas eso? R: De la misma manera que sabía unas décadas antes que sería posible despegar, cuando todo el mundo estaba ladrando sobre eso que requería siglos si es que alguna vez podía suceder. Por desgracia, para comprender por qué la teoría de la gravitación permite varias formas de viajes aéreos y espaciales, se requeriría un mayor estudio y explicación, y se requeriría más trabajo para explicarlo a algunas personas que a otras. P: Si solo vas a insultar, me iré. (Se aleja resoplando.) P2: Así que dices que sería muy difícil dirigir globos aerostáticos a la Luna y, en particular, que no irían simplemente a donde los apuntamos. Pero, ¿qué pasa si aparece alguna NUEVA tecnología que NO es exactamente como los globos aerostáticos modernos? ¿No obviaría eso todas sus teorías modernas de la gravitación que solo se refieren a globos aerostáticos en particular? R: No. De hecho, las ideas clave son anteriores al desarrollo de los globos aerostáticos, en particular para viajes más altos que el nivel del suelo. Operan en un nivel más alto de abstracción. Sobrevivirían incluso a lo que una visión más superficial podría considerar como un derrocamiento impactante de todas las ideas anteriores sobre cómo elevarse del suelo, por un nuevo paradigma completamente inesperado de viajes espaciales. P: Eso es solo porque ese tipo es completamente incapaz de cambiar de opinión sobre nada. Elige una melodía y se apega a ella. R: He cambiado de opinión sobre varias cosas, pero no, en las últimas dos décadas, la teoría de la gravedad. En términos generales, cambio de opinión en proporción a cuánto me sorprende algo. P: ¡Esperabas que los vehículos espaciales funcionaran disparados desde cañones! Los globos aerostáticos no son nada de eso, te sorprenden, ¡y sin embargo no has cambiado de opinión sobre la gravedad en absoluto! R: En primer lugar, está confundiendo un análisis de esferas perfectas en el vacío con lo que realmente esperaba que sucediera. En segundo lugar, la última década ha cambiado de opinión sobre hacia dónde se dirigen los viajes aéreos a corto plazo, pero no sobre si se puede llegar a la Luna apuntando un vehículo de viaje espacial directamente a la Luna. Es posible sorprenderse en un nivel en una teoría circundante, sin sorprenderse en un nivel más profundo en una teoría subyacente. Ese es el tipo de relación que existe entre la conjetura "Tal vez el camino a seguir en los viajes aéreos es algo así como poderosos lanzamientos terrestres", que fue sorprendida e invalidada por los globos aerostáticos, y la teoría de "La gravedad funciona por la atracción mutua de masas", que no fue sorprendida ni invalidada. P: Los globos tienen masa pero van hacia arriba en lugar de hacia abajo. No se parecen en nada a cuerpos masivos en un vacío atraídos por otras cosas masivas. R: No sé qué puedo decirte útilmente sobre esto a menos que comiences a manipular con éxito las ideas a un nivel de abstracción más alto del que estás tratando de usar actualmente. P3: ¿De qué se trata exactamente toda esta analogía? R: Si la teoría de la decisión fue invalidada por el impactante descubrimiento de grandes modelos de lenguaje; y si las razones para preocuparse por la superinteligencia de las máquinas que son difíciles de alinear, con éxito bajo la primera carga crítica, se invalidarían si el futuro de AGI se tratara de algo * distinto * a los grandes modelos de lenguaje. No predije que se avecinaran LLM, ni tampoco la mayoría de la gente, y fueron sorprendentes en un par de niveles importantes, pero no en los niveles de donde provienen las sombrías predicciones. Esas ideas son anteriores a los LLM y ningún desarrollo en la última década ha invalidado esas ideas en particular. La teoría de la decisión es para los LLM lo que la ley de la gravedad es para los globos aerostáticos. P3: Gracias.

P: ¿Cómo ha actualizado su teoría de la gravedad a la luz del impactante desarrollo moderno de los globos aerostáticos? R: Si bien no predije específicamente que los globos aerostáticos se desarrollarían cuando lo hicieran, nada en ellos contradice la teoría de la gravitación. P: ¡Me sorprende que se niegue a actualizar las impactantes noticias de los globos aerostáticos, que contradicen todo lo que pensábamos anteriormente sobre que "las cosas se caen" son una ley del universo! R: Sí, bueno... Realmente no puedo averiguar cómo expresar esto de una manera no insultante, pero diferentes personas pueden ser diferentes adeptas a manipular ideas en niveles más altos de abstracción. P: Estoy aún más sorprendido de que no haya revisado en absoluto sus declaraciones anteriores sobre por qué sería difícil ir a la Luna, y específicamente por qué no podríamos simplemente apuntar una hipotética nave espacial a la posición de la Luna en el cielo, si se disparara desde una no línea hacia la Luna. Los globos aerostáticos simplemente van directamente hacia arriba y siguen el viento de una manera muy predecible; no muestran ninguna de las dificultades de dirección que predijo. R: Los vehículos espaciales, como era de esperar, no obedecerán las mismas reglas que la navegación en globo aerostático, al menos no en el nivel de abstracción que actualmente puede operar productivamente al pensar en reglas físicas. P: ¡Ja! ¡Qué poco empírico! ¿Cómo es posible que sepas eso? R: De la misma manera que sabía unas décadas antes que sería posible despegar, cuando todo el mundo estaba ladrando sobre eso que requería siglos si es que alguna vez podía suceder. Por desgracia, para comprender por qué la teoría de la gravitación permite varias formas de viajes aéreos y espaciales, se requeriría un mayor estudio y explicación, y se requeriría más trabajo para explicarlo a algunas personas que a otras. P: Si solo vas a insultar, me iré. (Se aleja resoplando.) P2: Así que dices que sería muy difícil dirigir globos aerostáticos a la Luna y, en particular, que no irían simplemente a donde los apuntamos. Pero, ¿qué pasa si aparece alguna NUEVA tecnología que NO es exactamente como los globos aerostáticos modernos? ¿No obviaría eso todas sus teorías modernas de la gravitación que solo se refieren a globos aerostáticos en particular? R: No. De hecho, las ideas clave son anteriores al desarrollo de los globos aerostáticos, en particular para viajes más altos que el nivel del suelo. Operan en un nivel más alto de abstracción. Sobrevivirían incluso a lo que una visión más superficial podría considerar como un derrocamiento impactante de todas las ideas anteriores sobre cómo elevarse del suelo, por un nuevo paradigma completamente inesperado de viajes espaciales. P: Eso es solo porque ese tipo es completamente incapaz de cambiar de opinión sobre nada. Elige una melodía y se apega a ella. R: He cambiado de opinión sobre varias cosas, pero no, en las últimas dos décadas, la teoría de la gravedad. En términos generales, cambio de opinión en proporción a cuánto me sorprende algo. P: ¡Esperabas que los vehículos espaciales funcionaran disparados desde cañones! Los globos aerostáticos no son nada de eso, te sorprenden, ¡y sin embargo no has cambiado de opinión sobre la gravedad en absoluto! R: En primer lugar, está confundiendo un análisis de esferas perfectas en el vacío con lo que realmente esperaba que sucediera. En segundo lugar, la última década ha cambiado de opinión sobre hacia dónde se dirigen los viajes aéreos a corto plazo, pero no sobre si se puede llegar a la Luna apuntando un vehículo de viaje espacial directamente a la Luna. Es posible sorprenderse en un nivel en una teoría circundante, sin sorprenderse en un nivel más profundo en una teoría subyacente. Ese es el tipo de relación que existe entre la conjetura "Tal vez el camino a seguir en los viajes aéreos es algo así como poderosos lanzamientos terrestres", que fue sorprendida e invalidada por los globos aerostáticos, y la teoría de "La gravedad funciona por la atracción mutua de masas", que no fue sorprendida ni invalidada. P: Los globos tienen masa pero van hacia arriba en lugar de hacia abajo. No se parecen en nada a cuerpos masivos en un vacío atraídos por otras cosas masivas. R: No sé qué puedo decirte útilmente sobre esto a menos que comiences a manipular con éxito las ideas a un nivel de abstracción más alto del que estás tratando de usar actualmente. P3: ¿De qué se trata exactamente toda esta analogía? R: Si la teoría de la decisión fue invalidada por el impactante descubrimiento de grandes modelos de lenguaje; y si las razones para preocuparse por la superinteligencia de las máquinas que son difíciles de alinear, con éxito bajo la primera carga crítica, se invalidarían si el futuro de AGI se tratara de algo * distinto * a los grandes modelos de lenguaje. No predije que se avecinaran LLM, ni tampoco la mayoría de la gente, y fueron sorprendentes en un par de niveles importantes, pero no en los niveles de donde provienen las sombrías predicciones. Esas ideas son anteriores a los LLM y ningún desarrollo en la última década ha invalidado esas ideas en particular. P3: Gracias.