Posting bagus dari @balajis tentang "celah verifikasi". Anda bisa melihatnya sebagai ada dua mode dalam penciptaan. Meminjam terminologi GAN: 1) generasi dan 2) diskriminasi. misalnya melukis - Anda membuat sapuan kuas (1) dan kemudian Anda mencari sebentar untuk melihat apakah Anda memperbaiki lukisan (2). Kedua tahap ini diselingi dalam hampir semua karya kreatif. Poin kedua. Diskriminasi bisa sangat sulit secara komputasi. - Gambar sejauh ini yang paling mudah. misalnya, tim pembuat gambar dapat membuat kisi-kisi hasil raksasa untuk memutuskan apakah satu gambar lebih baik daripada yang lain. terima kasih kepada GPU raksasa di otak Anda yang dibangun untuk memproses gambar dengan sangat cepat. - teks jauh lebih sulit. Ini dapat dibaca seki, tetapi Anda harus membaca, semantik, diskrit dan tepat sehingga Anda juga harus bernalar (terutama dalam misalnya kode). - Audio mungkin lebih sulit imo, karena memaksa sumbu waktu sehingga bahkan tidak dapat dilewati. Anda terpaksa menghabiskan komputasi serial dan tidak dapat memparalelkannya sama sekali. Anda dapat mengatakan bahwa dalam pengkodean LLM telah runtuh (1) menjadi ~instan, tetapi telah melakukan sangat sedikit untuk mengatasi (2). Seseorang masih harus menatap hasilnya dan membedakan apakah itu bagus. Ini adalah kritik utama saya terhadap pengkodean LLM karena mereka dengan santai memuntahkan terlalu banyak kode per kueri dengan kompleksitas sewenang-wenang, berpura-pura tidak ada tahap 2. Mendapatkan kode sebanyak itu buruk dan menakutkan. Sebaliknya, LLM harus secara aktif bekerja dengan Anda untuk memecah masalah menjadi langkah-langkah kecil bertahap, masing-masing lebih mudah diverifikasi. Ia harus mengantisipasi pekerjaan komputasi (2) dan menguranginya sebanyak mungkin. Itu harus benar-benar peduli. Ini membawa saya ke kesalahpahaman terbesar yang dimiliki non-pembuat kode tentang pengkodean. Mereka berpikir bahwa pengkodean adalah tentang menulis kode (1). Tidak. Ini tentang menatap kode (2). Memuat semuanya ke memori kerja Anda. mondar-mandir. Memikirkan semua kasus tepi. Jika Anda menangkap saya pada titik acak saat saya "memprogram", saya mungkin hanya menatap layar dan, jika terganggu, benar-benar marah karena sangat berat secara komputasi. Jika kita hanya mendapatkan 1 yang jauh lebih cepat, tetapi kita juga tidak mengurangi 2 (yang sebagian besar waktu!), maka jelas kecepatan pengkodean secara keseluruhan tidak akan meningkat (lihat hukum Amdahl).