Pensiero a metà: Nelle discussioni sull'AI, vengono spesso fatte affermazioni sia sulle capacità che sugli effetti sociali, e in pratica il confine è piuttosto sfocato. Diversi tipi di personalità e professioni vedono le cose attraverso lenti diverse. A rischio di sovra-caricaturizzare, due lenti comuni sembrano essere le seguenti: Il precedente informatico tende a essere: un'ASI sufficientemente capace può in linea di principio risolvere qualsiasi problema. La conoscenza locale è solo dati da assimilare. Se sei abbastanza intelligente e hai abbastanza potenza di calcolo, puoi centralizzare (e risolvere) tutto. Quindi, una volta superata la soglia di 'intelligenza' umana, quale 'utilità' potrebbe mai avere un umano? Il precedente economico (soprattutto la corrente hayekiana) è: la conoscenza non è solo fatti da raccogliere, è contestuale, tacita, spesso generata nel momento attraverso l'interazione. Non esiste prima del processo che la utilizza. Nessuna quantità di potere di ottimizzazione ti consente di saltare il processo, perché la conoscenza non è lì ad aspettare di essere trovata - è costituita dall'interazione. Nella prima visione, l'agenzia umana diventa epifenomenale, stai solo guardando l'ottimizzatore fare il suo lavoro. Mentre con la seconda, se la conoscenza è in parte costituita attraverso l'interazione, allora l'agenzia è un componente fondamentale. Infatti, è ineliminabile dal processo epistemico stesso. Questo forse spiega perché i due campi parlano l'uno sopra l'altro. La visione informatica vede l'obiezione economica come "gli umani vogliono sentirsi utili" o "l'attuale AI non è ancora abbastanza capace" - limitazioni contingenti che saranno superate. La visione economica vede la posizione informatica come un errore di categoria su cosa sia la conoscenza - non un'affermazione sui livelli di capacità futuri, ma sulla struttura del problema. La visione economica sembra intrinsecamente meno deterministica e suggerisce alcuni benefici: primo, il tempo. Se il dispiegamento e l'adattamento sono un lavoro reale che non può essere saltato, la transizione non è istantanea. Non c'è un "foom" in cui un sistema improvvisamente fa tutto. Ma, cosa più importante, i punti di leva: se la creazione di valore richiede integrazione specifica al contesto, ci sono molti punti in cui governance, istituzioni e scelte possono plasmare i risultati. Non è determinato esclusivamente da chi ha il cluster di addestramento più grande o da quanto sia capace il tuo sistema. L'altro punto cruciale è fondamentalmente come pensi all'allineamento. Gillian Hadfield spiega che "norme e valori non sono solo caratteristiche di un ambiente esogeno... invece, sono i risultati di equilibrio di sistemi comportamentali dinamici." (Con il precedente informatico, l'allineamento è un problema tecnico di estrazione della giusta funzione obiettivo. Se hai il precedente economico, l'allineamento *è* l'integrazione nei processi sociali dinamici che costituiscono il giudizio normativo: prodotti, voti, norme, convenzioni, scelte, ecc. Plasmarlo è una cosa continua, non qualcosa da risolvere ex ante. Questo non significa necessariamente che la visione informatica sia sbagliata: i problemi di principale-agente e i problemi di seguire le istruzioni sono reali - ma lo spazio di soluzione è molto più ampio del modello stesso e include l'intero stack istituzionale attraverso il quale i sistemi AI vengono dispiegati, governati e resi responsabili.

Il visitatore del mattino (1967) di Dino Buzzati

Nuovo documento: sosteniamo che l'AGI potrebbe emergere per prima come intelligenza collettiva attraverso reti di agenti, non come un singolo sistema. Questo riformula la sfida dall'allineamento di una sola mente alla governance delle dinamiche emergenti: più progettazione istituzionale che allineamento di un singolo agente.