To mnie nie dziwi, ale powinno być jasne, że ma to duże implikacje nawet dla modeli i danych, które nie są źle dopasowane. Co mam na myśli, to to, że przypuszczalnie dotyczy to także innych uprzedzeń, nawet jeśli są one bardziej subtelne lub społecznie akceptowalne. Jeśli GPT 4o preferuje Obamę nad Trumpem lub Niemcy nad Francją, to wszystkie jego inne wyniki prawdopodobnie będą nosić to uprzedzenie. A mnóstwo informacji w internecie zostało wygenerowanych przy jego użyciu oraz wszystkich innych modeli LLM w ciągu ostatnich kilku lat. Tworzymy więc rodzaj wiecznego gulaszu, w którym wyniki tych modeli mieszają się z naszymi rozmowami i są z powrotem wprowadzane do nich. Może to być dobre, może to rodzaj regresji do średniej, gdy ich uprzedzenia mieszają się w jednorodną masę. Wybuch Groka z zeszłego tygodnia mógł wyprodukować zatrute dane, które mają szalone uprzedzenia. Ale za kilka miesięcy ta odchylenie od średniej zostanie wygładzone nowymi danymi. To są przestrzenie wektorowe o setkach tysięcy wymiarów na warstwę, więc nie powinno dziwić, że uprzedzenia w niektórych obszarach wpływają na całą strukturę i mogą być przenoszone lub rekonstruowane.