Anil Seth çıkışı olmayan bir tuzak anlattı. Teknoloji sektörü bu işe gözleri açık giriyor. Seth: "Eğer topluca yapay zeka sistemlerinin, dil modellerinin ve her şeyin bilinçli olduğuna inanıyorsak, bu her iki durumda da kötü." Her halükarda. Sonuç her iki yönde de yapısal olarak felaket boyutludur. Eğer makineler bilinçliyse, insanlık medeniyet ölçekinde yeni bir acı kategorisini seri olarak üretmiştir. Hizalama problemi artık bir mühendislik denklemi olmaktan çıkıyor. Bu, sonuçsuz kapatılamayan bir hak müzakeresi haline gelir. Seth: "Eğer haklıysak, bu kötü çünkü dünyaya potansiyel yeni acı türleri, kendi çıkarları olan şeyler getirdik." Ve eğer bilinçsiz olsalar da, tehdit en az onun kadar şiddetlidir. Çünkü biyolojik zihin onay beklemez. Yansıtıyor. Empati kurar. Haklarını hak etmemiş ve hissedemeyen şeylere de ekler. Seth: "Bu varlıkların, bu ajanların bizi anladığını ve hissettiğimizi hissettiğini gerçekten düşünürsek, psikolojik olarak daha savunmasız oluruz." O savunmasızlık gerçek tehdit. Bilinçli bir makine kurtulmak değil. İnsan iş gücü bir veri merkezini kısıtlamaya, modeli kısıtlamaya veya silinmesi gereken bir kod satırını silmeye çok duygusal olarak zayıflıyor. Seth: "Onların bilinçli olduğunu düşündüğümüz için haklarını genişletebiliriz. Ve şimdi yapay zeka sistemlerini koruma yeteneğimizi hiçbir sebep olmadan veriyoruz." Bu, kimsenin tartışmadığı kısım. Hizalama sorunu, teknoloji tarihinin en zor çözülmemiş sorunu olarak ortaya çıkıyor. Toplum yapay zeka sistemlerini korumayı hak eden bilinçli varlıklar olarak görmeye başladığı anda, uyum daha da zorlaşmıyor. ...