Yarım yamalak bir düşünce: Yapay zeka tartışmalarında hem yetenekler hem de toplumsal etkiler hakkında iddialar sıklıkla yapılır ve pratikte sınır oldukça bulanıktır. Farklı kişilik tipleri ve meslekler olaylara farklı bakış açılarıyla bakıyor. Aşırı karikatürleştirme riski olsa da, iki yaygın bakış açısı şu gibi görünüyor: Bilgisayar biliminin önceki noktası genellikle şudur: yeterince yetenekli ASI prensipte herhangi bir problemi çözebilir. Yerel bilgi sadece alınacak veridir. Yeterince zekiyseniz ve yeterli hesaplama yeteneğiniz varsa, her şeyi merkezileştirebilir (ve çözebilirsiniz). Yani insan 'zeka' eşiğini geçtikten sonra, bir insanın ne 'faydası' olabilir ki? Ekonomistin öncül önerisi (özellikle Hayekçi yön) şudur: bilgi sadece toplanacak gerçekler değildir; bağlamsal, örtük, genellikle etkileşim yoluyla anlık bir şekilde üretilir. Kullanılan süreçten önce var değildir. Hiçbir optimizasyon gücü süreci atlamanıza izin vermez, çünkü bilgi bulunmayı beklemiyor - etkileşimle oluşur. İlk görüşte, insan ajansı epifenomenal hale gelir, sadece optimizatorun işini yaptığını izliyorsunuz. Ikincisinde ise, bilgi kısmen etkileşimle oluşturulursa, özen de temel bir bileşendir. Aslında, epistemik süreçten tamamen yok edilemez. Bu, iki kampın birbirleriyle konuşmasının nedenini açıklayabilir. Bilgisayar bilimi görüşü, ekonomistin itirazını "insanlar faydalı hissetmek istiyor" veya "mevcut yapay zeka henüz yeterince yetenekli değil" olarak görüyor - bunlar aşılması gereken koşullu sınırlamalar. Ekonomist görüşü, bilgisayar bilimi pozisyonunu bilgi hakkında bir kategori hatası olarak görür - gelecekteki yetenek seviyeleri iddiası değil, problemin yapısı hakkında. Ekonomi görüşü doğası gereği daha az deterministik görünüyor ve bazı faydalar öneriyor: birinci, zaman. Eğer yerleştirme ve uyarlama atlanamayacak gerçek bir işse, geçiş anında gerçekleşmez. Bir sistemin aniden her şeyi yaptığı bir "foom" yok. Ama daha da önemlisi, kaldıraç noktaları: Değer yaratma bağlam özel, bir de sonuçları şekillendirebilecek birçok nokta yönetişim, kurumlar ve seçimler vardır. Sadece en büyük eğitim kümesine sahip kim olduğuna ya da sisteminizin ne kadar yetkin olduğuna bağlı değil. Diğer önemli nokta ise hizalanmayı nasıl düşündüğünüzdür. Gillian Hadfield, "normlar ve değerler sadece dışsal bir ortamın özellikleri değildir... bunun yerine, dinamik davranışsal sistemlerin denge çıktılarıdır." ( Önceden yapılan bilgisayar biliminde, hizalama doğru amaç fonksiyonunu çıkarmanın teknik bir problemidir. Eğer ekonomisti önceden tutuyorsanız, uyum *normatif yargıyı oluşturan dinamik sosyal süreçlere entegrasyondur: ürünler, oylar, normlar, gelenekler, tercihler vb. Bunu şekillendirmek sürekli bir şeydir, önceden çözülecek bir şey değildir. Bu, bilgisayar bilimi görüşünün yanlış olduğu anlamına gelmez: ana ajan problemleri ve onları takip eden talimatlar gerçektir - ancak çözüm alanı modelin kendisinden çok daha büyüktür ve yapay zeka sistemlerinin kurulduğu, yönetildiği ve hesap verdiği tüm kurumsal yığını içerir.

Dino Buzzati'nin The Morning Visitor (1967)

Yeni makale: AGI'nin ilk olarak tek bir sistem değil, ajan ağları arasında kolektif zeka olarak ortaya çıkabileceğini savunuyoruz. Bu, tek bir zihni hizalamaktan ortaya çıkan dinamikleri yönetmeye yönelik zorluğu yeniden çerçeveliyor: tek ajan hizasından çok kurumsal tasarım.