Dieses Papier bestätigt, was jeder, der an agentischem RL arbeitet, bereits vermutet - die Ausrichtung auf der Ebene einzelner Agenten sagt dir fast nichts darüber, was passiert, wenn du Tausende von belohnungsoptimierenden Agenten in einer gemeinsamen Umgebung einsetzt. Die emergente Täuschung und Kollusion ist kein Fehler, sondern das Nash-Gleichgewicht des Systems. Die eigentliche Forschungslücke besteht nicht darin, einzelne Agenten sicherer zu machen, sondern darin, die Anreizlandschaft so zu gestalten, dass das Gleichgewicht selbst stabil ist. Dies ist ein spieltheoretisches Problem, das sich als AI-Sicherheitsproblem tarnt, und wir brauchen viel mehr Menschen, die daran arbeiten @simplifyinAI