Das überrascht mich nicht, aber es sollte klar sein, dass dies große Auswirkungen selbst auf nicht fehlangepasste Modelle und Daten hat. Was ich meine, ist, dass dies vermutlich auch auf andere Vorurteile übertragbar ist, selbst wenn sie subtiler oder gesellschaftlich akzeptabler sind. Wenn GPT 4o Obama Trump oder Deutschland Frankreich vorzieht, wird vermutlich auch all seine andere Ausgabe dieses Vorurteil tragen. Und eine Menge Informationen im Internet wurden damit generiert, sowie mit all den anderen LLM-Modellen in den letzten Jahren. Wir schaffen also eine Art perpetuelles Eintopfgericht, bei dem die Ausgaben dieser Modelle mit all unserem Geplapper vermischt werden und wieder in sie eingespeist werden. Vielleicht ist das eine gute Sache, vielleicht ist es eine Art Mittelwert-Rückkehr, während sich ihre Vorurteile in einen homogenen Brei vermischen. Groks Wutausbruch in der letzten Woche könnte vergiftete Daten produziert haben, die verrückte Vorurteile enthalten. Aber in ein paar Monaten wird diese Abweichung vom Mittelwert mit neuen Daten geglättet werden. Dies sind Vektorräume mit Hunderttausenden von Dimensionen pro Schicht, es sollte nicht allzu überraschend sein, dass Vorurteile in einigen Bereichen die gesamte Struktur beeinflussen und übertragen oder rekonstruiert werden können.