Saya adalah salah satu dari 16 pengembang dalam penelitian ini. Saya ingin berbicara tentang pendapat saya tentang penyebab dan strategi mitigasi perlambatan pengembang. Saya akan mengatakan sebagai "mengapa mendengarkan Anda?" bahwa saya mengalami percepatan AI -38% pada masalah yang saya tugaskan. Saya pikir transparansi membantu masyarakat.

Pertama, saya pikir percepatan AI sangat lemah berkorelasi dengan kemampuan siapa pun sebagai pengembang. Semua pengembang dalam penelitian ini sangat bagus. Saya pikir ini lebih berkaitan dengan jatuh ke dalam mode kegagalan, baik dalam kemampuan LLM maupun alur kerja manusia. Saya bekerja dengan banyak pengembang prapelatihan yang luar biasa, dan saya pikir orang-orang menghadapi banyak masalah yang sama. Kami suka mengatakan bahwa LLM adalah alat, tetapi memperlakukannya lebih seperti peluru ajaib. Secara harfiah setiap pengembang dapat membuktikan kepuasan dari akhirnya men-debug masalah yang pelik. LLM adalah tombol pintasan dopamin besar yang dapat mengatasi masalah Anda. Apakah Anda terus menekan tombol yang memiliki peluang 1% untuk memperbaiki semuanya? Ini jauh lebih menyenangkan daripada alternatif yang melelahkan, setidaknya bagi saya.

Saya pikir kasus penggunaan LLM yang berlebihan dapat terjadi karena mudah dioptimalkan untuk kesenangan yang dirasakan daripada waktu untuk menyelesaikan saat bekerja. Saya menekan tab di kursor selama 5 jam alih-alih men-debug selama 1:

Ketiga, sangat mudah untuk terganggu dalam waktu henti saat LLM dihasilkan. Ekonomi perhatian media sosial sangat brutal, dan saya pikir orang menghabiskan 30 menit menggulir sambil "menunggu" generasi 30 detik mereka. Yang bisa saya katakan tentang yang satu ini adalah bahwa kita harus mengetahui jebakan kita sendiri dan mencoba mengisi waktu generasi LLM ini secara produktif: - Jika tugas membutuhkan fokus tinggi, luangkan waktu ini untuk mengerjakan subtugas atau memikirkan pertanyaan tindak lanjut. Bahkan jika model menjawab pertanyaan Anda, apa lagi yang tidak saya mengerti? - Jika tugas membutuhkan fokus rendah, lakukan tugas kecil lainnya sementara itu (menanggapi email/kelonggaran, membaca atau mengedit paragraf lain, dll). Seperti biasa, langkah-langkah kebersihan digital kecil membantu dalam hal ini (pemblokir situs web, telepon di dnd, dll). Maaf menjadi grampy, tapi itu berhasil untuk saya :)

Beberapa pernyataan akhir: - METR adalah organisasi yang luar biasa untuk diajak bekerja sama, dan mereka adalah ilmuwan yang kuat. Saya senang berpartisipasi dalam penelitian ini dan membaca hasilnya. - Saya bukan guru LLM yang mencoba berkhotbah. Pikirkan ini sebagai saya menerbitkan entri buku harian pribadi, dan berharap orang lain dapat memperoleh manfaat dari introspeksi saya.