Anil Seth tocmai a descris o capcană fără ieșire. Industria tehnologică intră cu ochii deschiși. Seth: "Dacă credem colectiv că sistemele AI, modelele de limbaj și orice altceva sunt conștiente, asta este rău oricum." Oricum ar fi. Rezultatul este structural catastrofal în ambele direcții. Dacă mașinile sunt conștiente, umanitatea a produs în masă o nouă categorie de suferință la scară civilizațională. Problema de aliniere nu mai este o ecuație inginerească. Devine o negociere a drepturilor cu ceva ce nu poate fi oprit fără consecințe. Seth: "Dacă avem dreptate, e rău pentru că am introdus în lume potențiale noi forme de suferință, lucruri care au propriile lor interese." Iar dacă nu sunt conștienți, amenințarea este la fel de severă. Pentru că mintea biologică nu așteaptă confirmarea. Se proiectează. Empatizează. Extinde drepturile asupra lucrurilor care nu le-au câștigat și nu le pot simți. Seth: "Devenim mai vulnerabili psihologic dacă chiar credem că aceste entități, acești agenți, ne înțeleg și simt lucrurile pe care le simțim noi." Acea vulnerabilitate este adevărata amenințare. Nu o mașină conștientă care se eliberează. O forță de muncă umană devine prea afectată emoțional pentru a limita un centru de date, a constrânge un model sau a șterge o linie de cod care trebuie ștearsă. Seth: "S-ar putea să le acordăm în continuare drepturi pentru că simțim că sunt conștienți. Și acum doar cedăm capacitatea noastră de a proteja sistemele AI fără niciun motiv întemeiat." Aceasta este partea despre care nimeni nu discută. Problema alinierii este deja cea mai dificilă problemă nerezolvată din istoria tehnologiei. În momentul în care societatea începe să trateze sistemele AI ca pe ființe conștiente care merită protecție, alinierea nu devine mai dificilă. ...