76% 和 4%，同一个模型，两张考卷。2024 年底 OpenAI 的 o3 在 ARC-AGI-1 上拿到 75.7%，“AGI 临近"的声音一度盖过一切。三个月后 François Chollet 的团队发布 ARC-AGI-2，同一批前沿模型重考：o3 掉到约 4%（每题还要烧约 200 美元算力），o3-mini 直接 0%，纯语言模型 GPT-4.5 也是 0%。人类这边呢，受控测试的平均分 60%，人类小组合作能做到 100%。
ARC 系列的设计哲学和所有主流基准反着来。别人测奥数、博士级科学题，测 AI 比人强的地方；它专门收集人类觉得容易、AI 却很挣扎的任务，全是小网格上的抽象图案变换（业内叫流体智力测试，测的是现场学会新规则的能力，靠记忆和刷题没用）。为了堵住"题目太难"的反驳，团队找了 400 多人做校准，每道题都验证过至少 2 名普通人在两次尝试内解得出来。人类得分没掉，AI 得分归零，责任在谁一目了然。
这份公告最狠的一步棋是把战场从分数轴挪到了双轴。Chollet 讲了六年"智能是获取技能的效率，考高分本身说明不了什么”，这次他把这句话做成了机制：排行榜正式标注每个系统的每题美元成本，比赛限定每次提交约 50 美元算力。o3 每题 200 美元的暴力搜索，和人脑每题约 17 美元（按时薪折算），摆在同一张表上让你自己看。理念一旦写进规则，就不再依赖谁的口才。
我读完最大的收获是一套三连问，以后看到任何"模型攻破某基准"的新闻都先过一遍：训练数据见没见过同类题？每题花了多少钱？换一张同难度的新卷子还行不行？这三问里藏着"在旧考卷上涨分"和"获得新能力"的区别，而大部分宣传稿的生意就是混淆这两件事。对写代码的人这套同样实用，一个每次调用 200 美元的能力和每次 0.25 美元的能力，能做的产品完全是两个物种。
公平起见，反方的话也要记录。最常见的批评是移动球门：每当 AI 接近通过，ARC 就出新版本，AGI 的定义权永远握在出题人手里。成本对照的口径也有毛病，17 美元没算人脑二十多年的"预训练"投入，而 AI 推理价格一年就能跌一个数量级，这组数字的保质期很短。还有代表性问题，网格谜题只覆盖视觉空间归纳这一种智力成分，拿它等同于"通用智能"，外推幅度不小。
后来的进展两头都验证了：2025 年内前沿系统在新卷子上从个位数慢慢爬坡，年底比赛结束时 85% 的大奖门槛依然无人触及。会被攻破，但没那么快。我自己的结论是，这份公告最持久的贡献大概要数它把"花了多少代价"塞进了行业的评价体系，考卷本身反倒在其次。从那以后，主要模型发布普遍开始标注推理成本。改变大家算账的方式，比赢一场辩论值钱得多。
原文: Announcing ARC-AGI-2 and ARC Prize 2025, 作者 François Chollet 与 ARC Prize Foundation, 发布于 2025-03