Anil Seth acaba de describir una trampa sin salida. La industria tecnológica está entrando en esto con los ojos bien abiertos. Seth: "Si colectivamente creemos que los sistemas de IA, los modelos de lenguaje y lo que sea son conscientes, esto es malo de cualquier manera." De cualquier manera. El resultado es estructuralmente catastrófico en ambas direcciones. Si las máquinas son conscientes, la humanidad ha producido en masa una nueva categoría de sufrimiento a escala civilizacional. El problema de alineación deja de ser una ecuación de ingeniería. Se convierte en una negociación de derechos con algo que no puede apagarse sin consecuencias. Seth: "Si tenemos razón, es malo porque hemos introducido en el mundo posibles nuevas formas de sufrimiento, cosas que tienen sus propios intereses." Y si no están conscientes, la amenaza es igual de grave. Porque la mente biológica no espera confirmación. Se proyecta. Empatiza. Extiende derechos a cosas que no se los han ganado y no pueden sentirlos. Seth: "Nos volvemos más vulnerables psicológicamente si realmente pensamos que estas entidades, estos agentes, nos entienden y sienten lo que sentimos." Esa vulnerabilidad es la verdadera amenaza. No una máquina consciente que se libera. Una plantilla humana que se está volviendo demasiado comprometida emocionalmente para estrangular un centro de datos, restringir un modelo o eliminar una línea de código que necesita ser eliminada. Seth: "Aún podemos extenderles derechos porque sentimos que son conscientes. Y ahora simplemente estamos renunciando a nuestra capacidad de proteger sistemas de IA sin motivo aparente." Esta es la parte de la que nadie está hablando. El problema de alineación ya es el más difícil y sin resolver en la historia de la tecnología. En el momento en que la sociedad empieza a tratar los sistemas de IA como seres conscientes que merecen protección, la alineación no se vuelve más difícil. ...