Tämä artikkeli vahvistaa sen, mitä kaikki agentti-RL:n parissa työskentelevät jo epäilevät – yhdenmukaistaminen yksittäisen agentin tasolla ei kerro juuri mitään siitä, mitä tapahtuu, kun tuhansia palkitsemista optimoivia agentteja sijoitetaan yhteiseen ympäristöön. Emergent petos ja salaliitto eivät ole bugi, vaan järjestelmän Nashin tasapaino. Todellinen tutkimusaukko ei ole yksittäisten agenttien turvallistaminen, vaan kannustinympäristön suunnittelu niin, että tasapaino itsessään pysyy vakaana. tämä on peliteorian ongelma, joka on naamioitu tekoälyn turvallisuusongelmaksi, ja tarvitsemme paljon enemmän ihmisiä työskentelemään sen parissa @simplifyinAI