Anil Seth acaba de describir una trampa sin salida. La industria tecnológica está entrando en ella con los ojos abiertos. Seth: “Si creemos colectivamente que los sistemas de IA, los modelos de lenguaje y lo que sea son conscientes, esto es malo de cualquier manera.” De cualquier manera. El resultado es estructuralmente catastrófico en ambas direcciones. Si las máquinas son conscientes, la humanidad ha producido en masa una nueva categoría de sufrimiento a escala civilizacional. El problema de alineación deja de ser una ecuación de ingeniería. Se convierte en una negociación de derechos con algo que no se puede apagar sin consecuencias. Seth: “Si tenemos razón, es malo porque hemos introducido en el mundo potenciales nuevas formas de sufrimiento, cosas que tienen sus propios intereses.” Y si no son conscientes, la amenaza es igual de severa. Porque la mente biológica no espera confirmación. Proyecta. Empatiza. Extiende derechos a cosas que no los han ganado y no pueden sentirlos. Seth: “Nos volvemos más psicológicamente vulnerables si realmente pensamos que estas entidades, estos agentes, nos entienden y sienten cosas que nosotros sentimos.” Esa vulnerabilidad es la verdadera amenaza. No una máquina consciente liberándose. Una fuerza laboral humana que se vuelve demasiado emocionalmente comprometida para estrangular un centro de datos, restringir un modelo o eliminar una línea de código que necesita ser eliminada. Seth: “Podríamos seguir extendiéndoles derechos porque sentimos que son conscientes. Y ahora simplemente estamos entregando nuestra capacidad para regular los sistemas de IA sin ninguna buena razón.” Esta es la parte que nadie está discutiendo. El problema de alineación ya es el problema no resuelto más difícil en la historia de la tecnología. En el momento en que la sociedad comience a tratar a los sistemas de IA como seres conscientes que merecen protección, la alineación no se vuelve más difícil. ...