我曾是这项研究中的16名开发者之一。我想谈谈我对开发者减速的原因和缓解策略的看法。 我想用一个"为什么要听你说?"的引子来说明,我在分配给我的问题上经历了-38%的AI加速。我认为透明度有助于社区。
METR
METR7月11日 01:23
我们进行了一项随机对照试验,以了解AI编码工具在多大程度上加快了经验丰富的开源开发者的工作速度。 结果让我们感到惊讶:开发者认为使用AI工具时速度提高了20%,但实际上他们在使用AI时的速度比没有使用时慢了19%。
首先,我认为AI加速与任何开发者的能力之间的相关性非常弱。这项研究中的所有开发者都非常优秀。我认为这更多与陷入失败模式有关,无论是LLM的能力还是人类的工作流程。我与许多出色的预训练开发者合作,我认为人们面临许多相同的问题。 我们喜欢说LLM是工具,但更像是把它们当作魔法子弹。 任何开发者都可以证明,最终调试一个棘手问题的满足感。LLM是一个巨大的多巴胺快捷按钮,可能一击解决你的问题。你会不断按下那个有1%几率解决一切的按钮吗?至少对我来说,这比艰苦的替代方案要愉快得多。
我认为过度使用LLM的情况可能会发生,因为在工作时,优化感知的乐趣而不是解决问题的时间是很容易的。 我在光标上按了5个小时的Tab,而不是调试1个小时:
第三,在 LLM 生成的空档期很容易分心。社交媒体的注意力经济非常残酷,我认为人们在“等待”他们的 30 秒生成时,会花 30 分钟滚动浏览。 我对此只能说,我们应该了解自己的陷阱,并尝试在 LLM 生成的时间里有效利用: - 如果任务需要高度集中,利用这段时间处理一个子任务或思考后续问题。即使模型一次性回答了你的问题,我还有什么不明白的? - 如果任务需要低度集中,利用这段时间做其他小任务(回复电子邮件/Slack,阅读或编辑另一段文字等)。 和往常一样,小的数字卫生步骤有助于解决这个问题(网站屏蔽器,手机设置为勿扰等)。抱歉让我显得有些唠叨,但这对我有效 :)
一些最后的声明: - METR 是一个很棒的组织,和他们合作非常愉快,他们是优秀的科学家。我很喜欢参与这项研究并阅读他们的结果。 - 我不是一个试图传教的 LLM 大师。可以把这看作是我发布的一篇个人日记,希望其他人能从我的反思中受益。
1.72M