Inilah sebabnya mengapa pipeline human-in-the-loop diperlukan untuk masa mendatang, karena kompleksitas tugas dan cakrawala meningkat, tingkat keberhasilan turun secara signifikan. Anda akan membutuhkan manusia untuk secara konsisten membumikan proses untuk mempertahankan tingkat keberhasilan. Masalah utama dengan pendekatan HITL adalah: 1. LLM yang disesuaikan telah menjadi sangat baik ke titik di mana sulit bagi manusia untuk menilai apakah outputnya benar-benar memenuhi persyaratan objektif karena banyak pekerjaan telah dilakukan untuk membuatnya 'tampak bagus'. 2. Mengetahui kapan manusia harus campur tangan atau kapan agen/model harus menyerahkan tugas/evaluasi. Deteksi halusinasi adalah salah satu topik yang luar biasa
Benjamin Todd
Benjamin Todd16 Jun 2025
Mengapa AI bisa membuat kode selama 1 jam tetapi tidak 10 jam? Penjelasan sederhana: jika ada kemungkinan kesalahan 10% per langkah 10 menit (katakanlah), tingkat keberhasilannya adalah: 1 jam: 53% 4 jam: 8% 10 jam: 0,002% @tobyordoxford telah menguji teori 'tingkat kesalahan konstan' ini dan menunjukkan bahwa teori ini cocok untuk data peluang keberhasilan menurun secara eksponensial
1,29K