私は、この研究を実行する価値があるかどうか、かなり懐疑的でした、なぜなら、*明らかに*大幅なスピードアップが見られると思っていたからです。
METR
METR7月11日 01:23
私たちは、AIコーディングツールが経験豊富なオープンソース開発者をどれだけスピードアップするかを確認するために、ランダム化比較試験を実施しました。 その結果、開発者はAIツールを使用すると20%高速になると思っていましたが、実際にはAIにアクセスできる場合の方がアクセスしていない場合よりも19%遅くなりました。
よくある質問の 1 つは、開発者が AI ツールの使用経験がどの程度あるかということです。もしかしたら、彼らは AI の使用が特に苦手なのかもしれません。 彼らは調査前にAIパワーユーザーではありませんが、ほぼ全員がLLMの使用経験が数十時間から数百時間あります。
他にも興味深い発見があります。その結果、開発者はあまり詳しくないタスクで作業のスピードを落とすことが少ないことがわかりました。これは直感的で、自分が何をしているのかを本当に理解していれば、AIはあまり役に立たないかもしれません。
174.92K