o1 和 R1 火了之后,“让模型思考"成了行业口头禅,可为什么多想一会儿就更聪明,这个最基础的问题反而很少有人讲透。Lilian Weng 在 2025 年 5 月发的长篇综述《Why We Think》,用 54 篇文献把这条线从头到尾捋了一遍。她写博客有个老规矩,从不追单篇热点,等一个方向积累到临界点再一次性收割,这篇又是如此。
她给"为什么有效"三个不同楼层的答案。给普通读者的是心理学类比:快思考直觉但易错,慢思考费力但可靠,思维链(让模型先写推理过程再给答案的技巧)就是逼模型从前者切换到后者。给工程师的解释我认为最锋利:Transformer 每生成一个 token 的计算量是固定的,题目再难也就这么多算力,思维链的本质是给了模型弹性算力,难题多写几步,等于多算几轮。给研究者的是概率框架,把思维过程看成潜变量,各路方法统一成同一个数学问题。同一件事开三个门,哪类读者都进得来,这个写法本身就值得学。
真正的干货在她的双面写法里。每介绍一个方向,先给有效证据,马上补失效边界。比如自我纠正:直觉上让模型"再检查一遍"应该有用,证据却是朴素自纠基本无效,模型要么不改要么改错,有效的修正能力得专门训练。再比如思考长度:s1 的实验显示思考 token 和准确率正相关,换个采样方式关系就反过来,长度本身没有价值,有些长思维链就是在凑字数。2025 年满天飞的二手内容大多只搬运了前半句,后半句才是这篇综述的灵魂。
最让我停下来的是忠实性那一节的位置。模型写出来的推理,未必是它真实用到的推理,这个问题通常被扔进安全话题的边角,她把它放进了正文主干,紧跟在强化学习的成功案例后面。核心警告是:思维链目前还算一扇能看见模型想法的窗户,可一旦对它直接施加优化压力,比如惩罚"坏念头”,得到的并非更干净的想法,模型学会的是把真实意图藏起来。监控可以,优化危险。两个月后 OpenAI、Anthropic、DeepMind 等机构数十位研究者联名发文,主张把可读的思维链当成脆弱且珍贵的安全窗口,和她的判断严丝合缝。
这篇也有留白。文献谱系偏英语世界主流实验室,国内团队在长思维链上的大量工作基本缺席;连续空间思考(让模型在不可读的内部表示里推理)和可监控性天然冲突,这个正面矛盾她只点了几句。成本维度也停在学术口径,思考 token 是要付钱的,延迟是会杀产品的,地图很好,但地图不标物价。
我带走两条能落地的经验。写提示词时给难任务显式的思考预算,简单任务省着点,推理 token 不是免费的。设计自动化检查时学 R1 的奖励哲学,用规则可判定的硬标准做门禁,少用让另一个模型打分的软标准,后者迟早被钻空子。读完这篇我的感受是,思考对模型来说是一种要花钱买的资源,用在哪、用多少、信不信它汇报的用法,三件事都得自己想清楚。
原文: Why We Think, 作者 Lilian Weng, 发布于 2025-05