Я досить скептично ставився до того, що це дослідження варто проводити, тому що думав, що *очевидно* ми побачимо значне прискорення.
METR
METR11 лип., 01:23
Ми провели рандомізоване контрольоване дослідження, щоб з'ясувати, наскільки інструменти кодування зі штучним інтелектом прискорюють роботу досвідчених розробників з відкритим вихідним кодом. Результати нас здивували: розробники думали, що вони на 20% швидші з інструментами штучного інтелекту, але насправді вони були на 19% повільнішими, коли мали доступ до ШІ, ніж коли їх не було.
Одне з поширених питань полягає в тому, скільки досвіду розробники мають з інструментами штучного інтелекту — можливо, вони просто особливо погано використовують штучний інтелект? Хоча до дослідження вони не були досвідченими користувачами штучного інтелекту, майже всі вони мають від десятків до сотень годин попереднього досвіду використання LLM.
Ще кілька цікавих знахідок! Ми виявили, що розробники менше сповільнюються під час виконання завдань, з якими вони менш знайомі. Це інтуїтивно зрозуміло — якщо ви дійсно знаєте, що робите, штучний інтелект може бути менш корисним.
174,9K