两个数字摆在一起, 比任何论战都刺眼: 一组资深开源开发者用上 AI 编程工具后, 完成任务的平均时间多了 19%; 而实验结束时问他们感受, 他们坚信 AI 让自己快了 20%。慢了却觉得快了, 中间隔着将近 40 个百分点的幻觉。
这是 METR 在 2025 年 7 月发布的一项研究。方法是这个结果最有分量的部分: 他们找了 16 位大型开源项目的长期维护者, 在各自最熟悉的仓库里处理 246 个真实 issue, 随机决定每个任务能不能用 AI, 付每小时 150 美元的报酬保证认真参与, 还用屏幕录像交叉验证自报的时间。这套设计基本就是把药物临床试验搬进了编程领域。实验前开发者预期 AI 能让自己快 24%, 经济学家和机器学习专家也全都押提速, 结果所有人都错了方向。
为什么会慢? 研究给的归因是多因素叠加: 写提示词要时间, 等生成要时间, 审查产出要时间, AI 写得不达标还得返工。更根本的一点是, 这些人在自己维护多年的百万行级代码库里干活, 大量隐性知识在他们脑子里, AI 拿不到。生成的快感是即时的, 返工的成本是延迟的, 体感只记住了前者。
我觉得这项研究最值钱的东西根本就在生产力之外: 它证明了人对 AI 帮助的感知会系统性失真。这一点对每个每天用 AI 干活的人都成立, 包括我自己。写代码、写文章、查资料, 用了 AI 之后那种"顺"的感觉非常真实, 但顺不等于快, 更不等于好。这项研究之后, 我对一切"我用 AI 效率翻倍了"的自述都会多问一句: 你计时了吗?
但我也不想把它捧成"AI 编程无用论"的证据, 那是对它最常见的误读。样本是 16 个顶级仓库的资深维护者, 这大概是全行业最不需要 AI 帮忙的一批人。多数开发者日常面对的是陌生代码库、样板代码、一次性脚本, 那些恰好是 AI 的强项区间。GitHub 早年宣称 Copilot 提速 55% 的研究, 用的是"写一个 HTTP server"这类绿地任务, 和 METR 的场景刚好在光谱两端, 两个结论并不真的打架, 它们说明的是同一件事: 任务场景决定一切。研究团队自己也把结果定义为 2025 年初的一张快照, 并在 2026 年 2 月发布了新数据的更新。
“We view this result as a snapshot of early-2025 AI capabilities in one relevant setting.” (我们把这个结果视为 2025 年初 AI 能力在一个相关场景下的快照。)
出自 METR 研究报告原文
值得学的还有他们对待反直觉结果的姿态。拿到"慢 19%“之后, 团队按住了宣布结论的冲动, 先列出 20 个候选解释逐一检验, 再专门写了一章"本研究不能说明什么”。这种先攻击自己结论的写法, 比结论本身更稀缺。
我的收获收在一条上: 对自己的 AI 工作流做粗糙的计时对照, 别信体感。熟悉的核心模块先掂量审查成本, 陌生领域放心交给 AI。工具没有原罪, 失真的是我们对它的感知。
原文: Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, 作者 Joel Becker, Nate Rush, Beth Barnes, David Rein (METR), 发布于 2025-07