Half gebakken gedachte: In discussies over AI worden vaak claims gemaakt over zowel capaciteiten als maatschappelijke effecten, en in de praktijk is de grens behoorlijk vaag. Verschillende persoonlijkheidstypes en beroepen bekijken dingen door verschillende lenzen. Op het risico van overdrijven, lijken twee veelvoorkomende lenzen als volgt: De comp sci prior is meestal: voldoende capabele ASI kan in principe elk probleem oplossen. Lokale kennis is gewoon data die moet worden opgenomen. Als je slim genoeg bent en genoeg rekenkracht hebt, kun je alles centraliseren (en oplossen). Dus zodra je de menselijke 'intelligentie' drempel passeert, welke 'nut' zou een mens ooit kunnen hebben? De econoom prior (vooral de Hayekiaanse variant) is: kennis is niet alleen feiten die verzameld moeten worden, het is contextueel, impliciet, vaak in het moment gegenereerd door interactie. Het bestaat niet voorafgaand aan het proces dat het gebruikt. Geen enkele hoeveelheid optimalisatiekracht laat je het proces overslaan, omdat de kennis daar niet zit te wachten om gevonden te worden - het wordt geconstrueerd door de interactie. In het eerste gezichtspunt wordt menselijke agency epifenomenaal, je kijkt gewoon toe hoe de optimizer zijn ding doet. Terwijl met het laatste, als kennis gedeeltelijk wordt geconstrueerd door interactie, dan is agency een kerncomponent. In feite is het onontbeerlijk voor het epistemische proces zelf. Dit verklaart misschien waarom de twee kampen langs elkaar heen praten. Het comp sci gezichtspunt ziet de econoom bezwaren als "mensen willen zich nuttig voelen" of "huidige AI is nog niet capabel genoeg" - contingente beperkingen die overwonnen zullen worden. Het econoom gezichtspunt ziet de comp sci positie als een categoriefout over wat kennis is - niet een claim over toekomstige capaciteitsniveaus, maar over de structuur van het probleem. Het econoom gezichtspunt lijkt inherent minder deterministisch en suggereert enkele voordelen: ten eerste, tijd. Als implementatie en aanpassing echt werk zijn dat niet kan worden overgeslagen, is de overgang niet onmiddellijk. Er is geen "foom" waarbij één systeem plotseling alles doet. Maar belangrijker nog, hefpunten: als waardecreatie contextspecifieke integratie vereist, zijn er veel punten waar governance, instellingen en keuzes de uitkomsten kunnen vormgeven. Het wordt niet uitsluitend bepaald door wie de grootste trainingscluster heeft of hoe capabel jouw systeem is. De andere kern is eigenlijk hoe je denkt over afstemming. Gillian Hadfield legt uit dat "normen en waarden niet alleen kenmerken zijn van een exogene omgeving... in plaats daarvan zijn ze de evenwichtsoutputs van dynamische gedragsystemen." (Met de comp sci prior is afstemming een technisch probleem van het extraheren van de juiste objectieve functie. Als je de econoom prior aanhoudt, is afstemming *de* integratie in de dynamische sociale processen die normatieve oordelen constituerend: producten, stemmen, normen, conventies, keuzes, enz. Dit vormgeven is een continu proces, niet iets dat ex ante moet worden opgelost. Dit betekent niet noodzakelijk dat het comp sci gezichtspunt verkeerd is: principal-agentproblemen en instructievolgproblemen zijn reëel - maar de oplossingsruimte is veel groter dan het model zelf en omvat de gehele institutionele laag waaronder AI-systemen worden geïmplementeerd, bestuurd en verantwoordelijk gehouden.