Ini tidak mengejutkan saya, tetapi harus jelas ini memiliki implikasi besar bahkan untuk model dan data yang tidak sejajar. Yang saya maksud adalah, mungkin ini juga berpindah ke bias lain bahkan jika lebih halus atau dapat diterima secara sosial. Jika GPT 4o lebih memilih Obama daripada Trump atau Jerman daripada Prancis, semua keluarannya yang lain mungkin akan membawa bias itu. Dan banyak informasi di internet telah dihasilkan dengannya, dan semua model LLM lainnya selama beberapa tahun terakhir. Jadi kami membuat semacam rebusan abadi di mana output dari model-model ini bercampur dengan semua obrolan kami, dan diumpankan kembali ke dalamnya. Mungkin itu hal yang baik, mungkin itu semacam pengembalian yang kejam karena bias mereka berbaur menjadi goop yang homogen. Amukan Grok minggu lalu mungkin telah menghasilkan data beracun yang memiliki bias gila di dalamnya. Tetapi dalam beberapa bulan ke depan penyimpangan dari rata-rata akan dihaluskan dengan data baru. Ini adalah ruang vektor ratusan ribu dimensi per lapisan, seharusnya tidak terlalu mengherankan bahwa bias di beberapa area berdampak pada seluruh struktur dan dapat ditransfer atau direkonstruksi.