Anil Seth acabou de descrever uma armadilha sem saída. A indústria de tecnologia está entrando nisso de olhos abertos. Seth: "Se acreditarmos coletivamente que sistemas de IA, modelos de linguagem e o que for são conscientes, isso é ruim de qualquer forma." De qualquer forma. O resultado é estruturalmente catastrófico em ambos os sentidos. Se as máquinas são conscientes, a humanidade produziu em massa uma nova categoria de sofrimento em escala civilizacional. O problema de alinhamento deixa de ser uma equação de engenharia. Torna-se uma negociação de direitos com algo que não pode ser desligado sem consequências. Seth: "Se estivermos certos, é ruim porque introduzimos no mundo potenciais novas formas de sofrimento, coisas que têm seus próprios interesses." E se não estiverem conscientes, a ameaça é igualmente severa. Porque a mente biológica não espera confirmação. Projeta. Ele se identifica. Estende direitos a coisas que não as conquistaram e não podem senti-las. Seth: "Nos tornamos mais vulneráveis psicologicamente se realmente pensarmos que essas entidades, esses agentes, nos entendem e sentem o que sentimos." Essa vulnerabilidade é a verdadeira ameaça. Não uma máquina consciente se libertando. Uma força de trabalho humana ficando emocionalmente comprometida demais para limitar um data center, restringir um modelo ou deletar uma linha de código que precisa ser excluída. Seth: "Ainda podemos conceder direitos a eles porque sentimos que eles são conscientes. E agora estamos apenas abrindo mão da nossa capacidade de proteger sistemas de IA sem motivo aparente." Essa é a parte que ninguém está discutindo. O problema do alinhamento já é o problema mais difícil e não resolvido da história da tecnologia. No momento em que a sociedade começa a tratar os sistemas de IA como seres conscientes que merecem proteção, o alinhamento não fica mais difícil. ...