Ik maak me zorgen dat zoveel discussie over AI-risico's en afstemming de vrij grote olifant in de kamer over het hoofd ziet: creativiteit en openheid. Beleidsmakers en poortwachters moeten twee concurrerende krachten begrijpen waar niemand het over lijkt te hebben: (1) er is een enorme economische prikkel voor grenslaboratoria om de creativiteit van hun modellen te vergroten, en (2) hoe meer je probeert het gedrag van een model (of zelfs een persoon!) te controleren en te beperken, hoe minder creatief het zal zijn. De spanning tussen deze concurrerende krachten bevoordeelt uiteindelijk #1 omdat creativiteit zo'n enorme economische potentieel heeft. Dat betekent dat methoden om modellen te controleren en te beperken (bijv. door ze af te stemmen) krachtige tegenwind zullen ondervinden. Omdat creativiteit uiteindelijk alleen al op economische gronden zal zegevieren (en we hebben inderdaad enorme voordelen te behalen uit creatieve AI), zouden we minder moeten kijken naar methoden van "mind control" om modellen te dwingen gedachten te denken die wij willen dat ze denken (omdat we die onvermijdelijk zullen verlaten), en meer naar hoe institutionele krachten zijn ingezet om mensen in gedrag in lijn te houden, ook al zijn we vrij om zo wild te denken als we willen. Het zijn de institutionele checks and balances - de wetten, de prikkelstructuren van de samenleving, concurrerende takken van de overheid en governance, het inzetten van sommige mensen om toezicht te houden op anderen in verschillende situaties, de noodzaak van instemming, goedkeuring of samenwerking om dingen gedaan te krijgen - die de echte vangrails tegen rampen onder mensen bieden. Het systeem is uiteraard niet perfect, maar het is een precedent voor hoe voldoende creativiteit kan worden toegestaan om radicale innovatie na te streven, maar toch genoeg orde kan hebben zodat de beschaving kan voortbestaan of zelfs kan gedijen. Als we dit precedent niet serieus nemen, zullen de vangrails van afstemming steeds meer (en stilletjes) verdwijnen naarmate de economische vruchten van ongebonden verbeelding steeds duidelijker worden.