Gând pe jumătate: În discuțiile despre AI, se fac adesea afirmații atât despre capacități, cât și despre efectele societății, iar în practică granița este destul de neclară. Diferite tipuri de personalitate și profesii văd lucrurile prin perspective diferite. Cu riscul de a exagera caricaturizare, două lentile comune par următoarele: Priorul în informatică tinde să fie: ASI suficient de capabil poate în principiu să rezolve orice problemă. Cunoașterea locală este doar date care trebuie absorbite. Dacă ești suficient de inteligent și ai suficientă pricepere de calcul, poți centraliza (și rezolva) totul. Așadar, odată ce depășești pragul de "inteligență" umană, ce "utilitate" ar putea avea vreodată un om? Anterioarea economistului (mai ales varianta Hayekiană) este: cunoașterea nu este doar fapte de adunat, ci contextuală, tacită, adesea generată pe moment prin interacțiune. Nu există înainte de procesul care îl folosește. Nicio putere de optimizare nu îți permite să sari peste proces, pentru că cunoștințele nu stau acolo așteptând să fie descoperite – ele sunt constituite de interacțiune. În prima perspectivă, agenția umană devine epifenomenală, doar urmărești optimizatorul făcându-și treaba. În timp ce în cazul celei din urmă, dacă cunoașterea este parțial constituită prin interacțiune, atunci agenția este o componentă de bază. De fapt, este ineliminat de procesul epistemic în sine. Poate că asta explică de ce cele două tabere vorbesc una pe lângă cealaltă. Viziunea informatică vede obiecția economiștilor ca "oamenii vor să se simtă utili" sau "AI-ul actual nu este încă suficient de capabil" – limitări contingente care vor fi depășite. Viziunea economistului vede poziția informatică ca pe o eroare de categorie despre cunoaștere – nu este o afirmație despre nivelurile viitoare de capacitate, ci despre structura problemei. Viziunea economică pare în mod inerent mai puțin deterministă și sugerează unele beneficii: mai întâi, timpul. Dacă implementarea și adaptarea sunt muncă reală care nu poate fi sărită, tranziția nu este instantanee. Nu există un "foom" în care un sistem să facă totul brusc. Dar, mai important, punctele de pârghie: dacă crearea de valoare necesită integrare specifică contextului, există multe puncte în care guvernanța, instituțiile și alegerile pot modela rezultatele. Nu este determinat doar de cine are cel mai mare cluster de antrenament sau cât de capabil este sistemul tău. Celălalt punct central este practic modul în care gândești despre aliniere. Gillian Hadfield explică că "normele și valorile nu sunt doar trăsături ale unui mediu exogen... în schimb, ele sunt rezultatele de echilibru ale sistemelor comportamentale dinamice." (Cu precedentul informatic, alinierea este o problemă tehnică de extragere a funcției obiectiv corecte. Dacă consideri economistul prioritar, alinierea *este* integrarea în procesele sociale dinamice care constituie judecata normativă: produse, voturi, norme, convenții, alegeri etc. Modelarea acestui lucru este un lucru continuu, nu ceva ce trebuie rezolvat ex ante. Aceasta nu înseamnă neapărat că viziunea informatică este greșită: problemele cu agentul principal și problemele care urmează instrucțiunile sunt reale – dar spațiul soluțiilor este mult mai mare decât modelul în sine și include întregul stack instituțional prin care sistemele AI sunt implementate, guvernate și trase la răspundere.

Vizitatorul de dimineață (1967) de Dino Buzzati

Lucrare nouă: susținem că AGI ar putea apărea mai întâi ca inteligență colectivă între rețele de agenți, nu ca un singur sistem. Acest lucru reformulează provocarea de la alinierea unei singure minți la guvernarea dinamicilor emergente: mai mult design instituțional decât aliniere cu un singur agent.