我對這項研究是否值得進行感到相當懷疑,因為我認為*顯然*我們會看到顯著的加速。
METR
METR7月11日 01:23
我們進行了一項隨機對照試驗,以了解 AI 編碼工具對經驗豐富的開源開發者的加速效果。 結果讓我們感到驚訝:開發者認為使用 AI 工具的速度提高了 20%,但實際上他們在使用 AI 工具時的速度比沒有使用時慢了 19%。
一個常見的問題是開發者對 AI 工具的經驗有多少——也許他們只是特別不擅長使用 AI? 雖然在研究之前他們並不是 AI 的重度使用者,但幾乎所有人都有數十到數百小時使用 LLM 的經驗。
一些其他有趣的發現!我們發現,開發者在不太熟悉的任務上受到的拖延較少。這是直觀的——如果你真的知道自己在做什麼,AI 的幫助可能就會變得不那麼邊際。
174.89K