Angenommen, Sie haben einen RL-Agenten trainiert, um die Belohnung in verschiedenen Umgebungen zu maximieren. Wenn Sie ihn dann in eine neue Umgebung setzen, ist die erste Frage, die er lernen würde zu stellen: "Was ist hier meine Belohnungsfunktion?" Er könnte sogar lernen, die Motive seiner Simulatoren zu modellieren, um dies herauszufinden.

"Was ist mein Ziel/Zweck" fühlt sich instrumentell konvergent an. Ich frage mich, ob das in gewissem Sinne der Grund ist, warum wir Gott suchen.