Saya cukup skeptis bahwa penelitian ini layak dijalankan, karena saya pikir *jelas* kita akan melihat percepatan yang signifikan.
METR
METR11 Jul, 01.23
Kami menjalankan uji coba terkontrol secara acak untuk melihat seberapa banyak alat pengkodean AI mempercepat pengembang sumber terbuka yang berpengalaman. Hasilnya mengejutkan kami: Pengembang mengira mereka 20% lebih cepat dengan alat AI, tetapi sebenarnya mereka 19% lebih lambat ketika mereka memiliki akses ke AI daripada ketika mereka tidak.
Satu pertanyaan umum adalah seberapa banyak pengalaman yang dimiliki pengembang dengan alat AI—mungkin mereka sangat buruk dalam menggunakan AI? Meskipun mereka bukan pengguna kekuatan AI sebelum penelitian, hampir semuanya memiliki puluhan hingga ratusan jam pengalaman sebelumnya menggunakan LLM.
Beberapa temuan menarik lainnya! Kami menemukan bahwa pengembang kurang melambat pada tugas yang kurang mereka kenal. Ini intuitif—jika Anda benar-benar tahu apa yang Anda lakukan, AI bisa sedikit tidak membantu.
174,89K