Я был довольно скептически настроен к тому, что это исследование стоит проводить, потому что я думал, что *очевидно*, мы увидим значительное ускорение.
METR
METR11 июл., 01:23
Мы провели рандомизированное контролируемое исследование, чтобы выяснить, насколько быстро инструменты ИИ ускоряют опытных разработчиков с открытым исходным кодом. Результаты нас удивили: разработчики думали, что они работают на 20% быстрее с инструментами ИИ, но на самом деле они были на 19% медленнее, когда им был доступен ИИ, чем когда его не было.
Один из распространенных вопросов заключается в том, сколько опыта у разработчиков в использовании инструментов ИИ — возможно, они просто особенно плохо используют ИИ? Хотя до исследования они не были активными пользователями ИИ, почти все имеют десятки или сотни часов предыдущего опыта работы с LLM.
Некоторые другие интересные выводы! Мы обнаружили, что разработчики замедляются меньше на задачах, с которыми они менее знакомы. Это интуитивно понятно — если вы действительно знаете, что делаете, ИИ может быть менее полезным.
174,92K