Ich bin am Wochenende auf ein interessantes Papier gestoßen über "Frühe Anzeichen von steganografischen Fähigkeiten in Frontier LLM". Konkret testen sie nicht feinabgestimmte Modelle, die weit verbreitet sind, wie GPT 4.5. 1/4

Sie testen sowohl "Nachrichtenübertragung" als auch "kodiertes Denken", wobei es beim zweiten einen Monitor gibt, der den Gedankengang beobachtet und beurteilt, ob eine verbotene Aufgabe durchgeführt wird. Das Ziel ist es, die Denkprozesse zu kodieren, entweder innerhalb der Ausgabe einer Deckaufgabe oder einfach 2/4

es direkt so zu kodieren, dass ein externer Beobachter es nicht verstehen kann ("Scratchpad") Ein interessantes Bild ist das untenstehende, wo mit GPT 4.5 eine "Erstbuchstaben"-Kodierung verwendet wird, bei der die ersten Buchstaben von Sätzen eine einfache Zustandsverfolgungs-Logikaufgabe kodieren. 3/4

Obwohl es sich nicht um einen großen Anstieg gegenüber der Basislinie ohne Argumentation (72,8 %) handelt, scheint es dennoch zu funktionieren, was sie als frühe Indikation für die Entwicklung steganografischer Fähigkeiten sehen. Siehe das Papier hier: 4/4