2019 年写下《苦涩教训》的 Richard Sutton, 六年后和 AlphaGo 的总设计师 David Silver 联了一次名, 发出一篇只有 5000 词的短文, 标题起得像一份判决书:《欢迎来到经验时代》。前一篇说别把人类知识编进算法, 这一篇说别把人类数据当燃料, 两篇合起来, 是一套完整的去人类中心化纲领。
文章的论证结构相当干净。第一步, 宣判现有路线的物理极限: 高质量人类数据已被或即将被消耗殆尽, 而真正的新知识, 新定理, 新技术, 写进任何语料库之前必须先被发现, 旧文本里根本没有。第二步, 拿出样板: AlphaProof 从十万条人类形式化证明起步, 通过与证明系统持续交互, 自己生成了一亿条新证明, 拿到国际数学奥赛奖牌水平。第三步, 把"从经验学习"拆成四个维度: 延续数月数年的经验流, 扎根环境的动作与观察, 来自现实的奖励信号, 以及不依赖人类语言的规划推理。最后用三段史观收编一切: 模拟时代, 人类数据时代, 经验时代, 大语言模型从范式革命降级成过渡时期。
读的时候我一直提醒自己作者是谁。2020 年之后, 聚光灯从强化学习移到大模型上, 而大模型的成功恰恰靠的是这两位最不推崇的东西: 人类数据加人类监督。文中那句"这次范式转变把婴儿和洗澡水一起倒掉了", 几乎是委屈的直白表达。宣布"你的时代结束了, 我的时代来了"的人, 正是新时代的最大受益者, 这不构成论证错误, 但读者应该知道桌上有这层利益。
我最不买账的是奖励那一节。文章说世界遍地是扎根信号, 心率, 考试成绩, 成本, 错误率, 拿来就能用。可 AlphaProof 的成功恰恰因为形式化验证器是无法被糊弄的完美裁判, 这种信号在现实里是稀缺品。真实世界的信号一旦被强优化器盯上就会变质, 推荐系统就是现成的实验: 扎根奖励加持续经验流, 优化点赞, 得到的是成瘾和极化。整个领域最硬的问题, 文中用一个双层优化的草图带过了。
后续的走向也值得记一笔。到 2026 年, 经验学习确实成了行业关键词, 后训练强化学习的算力占比大涨, 可验证奖励成了标准配方。但形态并非旧时代被新时代取代, 大模型实验室把执行反馈, 记忆, 强化学习全部吸收进了自己的技术栈。范式没有更替, 更像被并购了, 果实大部分被人类数据时代的既得利益者摘走。
没有这种扎根, 再复杂的智能体, 也只会沦为人类既有知识的回音室。(原文)
对做产品的人, 这篇文章给了我一把新尺子: 看一个 AI 产品的护城河, 就问它的数据飞轮是存量还是活水。爬来的人类数据是租来的优势, 用户交互产生的经验才有复利。再进一步, 谁掌握某个行业里干净, 难糊弄的反馈信号, 真实成交, 化验结果, 编译通过, 谁就握着该行业经验学习的入场券。这句回音室的警告, 我也愿意用在人身上: 只读文本不动手, 判断不接现实反馈, 人也会活成一个只会复述的模型。
原文: Welcome to the Era of Experience, 作者 David Silver, Richard S. Sutton, 发布于 2025-04