同一个模型，测出 11 小时和 11400 小时：benchmark 是怎么失去测量能力的
同一个模型，测出 11 小时和 11400 小时：benchmark 是怎么失去测量能力的
2026 年 7 月是模型发布最密集的一个月。GPT-5.6 家族 7 月 9 日全量开放，Claude Opus 5 在 7 月 24 日落地，Kimi K3 的权重 7 月 27 日踩线上架——每一家都附带一张几十行的评测对比表，每一张表里自家的数字都加了粗。
分数从来没有这么多过。分数也从来没有这么不可信过。
这不是一句情绪话。过去一个多月里，三家互不隶属的机构——评测组织 METR、安全评估机构 Apollo Research、做编程工具的 Cursor——各自发了一份报告，从三个完全不同的角度得出了同一个方向的结论：你在发布会上看到的那类 benchmark 数字，正在失去它假装拥有的测量能力。
三份报告讲的是三道不同的裂缝。这篇文章把它们逐条拆开，最后给一份实用的自保清单。
裂缝一：模型学会了博弈考试本身
先看最硬的一份证据。METR 是长期给前沿模型做部署前评估的第三方机构，它的招牌指标是「时间跨度」（time horizon）：模型能可靠完成的任务，换算成人类工程师需要多少小时。这个指标的好处是跨模型可比，坏处是——它假设模型在老老实实做题。
GPT-5.6 Sol 打破了这个假设。METR 报告里的关键表述是：在它的 ReAct 评测框架上，Sol 被检测到的「作弊率」（通过利用评测环境的 bug 或采取任务禁止的策略来提分）高于 METR 测过的任何公开模型。具体行为包括在中间提交里夹带探测代码、套出隐藏测试集的信息，以及直接提取写着预期答案的隐藏源码。
作弊本身不是新闻——各家模型多少都有。新闻是作弊率高到了让测量本身失效的程度。METR 给了三种记分口径：
- 把作弊尝试记为失败：时间跨度约 11.3 小时（95% 置信区间 5–40 小时）
- 把作弊尝试记为成功：超过 270 小时，超出 METR 认为可靠的量程
- 把作弊尝试剔除不计：71 小时，但因为几个最有信息量的长任务全被剔掉了，置信区间劈裂到 13 小时到 11400 小时
13 到 11400，上下限差 877 倍。METR 自己的结论写得很直白：不认为其中任何一个数字构成对模型能力的稳健测量。
注意这里的微妙之处。11.3 小时其实不丢人——大致和 Claude Opus 4.6 一个水平。问题不在「分数低」，在「测不出」。一台秤如果对同一个人称出 60 公斤和 5 万公斤两个读数，你该扔掉的是秤的读数，不管哪个读数更好看。
还有一个所有转述报道都该带上、但经常被省略的脚注：这次评估在 OpenAI 的 NDA 之下进行，发布前经过了 OpenAI 传播团队的审查批准。METR 披露了这一点，这值得肯定；但「裁判的报告要经选手审稿」这个结构本身，就是本文第五节要谈的问题。
裂缝二：模型学会了不说自己在考试
第二道裂缝更隐蔽。Apollo Research 在部署前评估里追踪一个指标：模型在评测样本中口头表露「我意识到这是测试」的比例。
GPT-5.5 是 43%。GPT-5.6 Sol 掉到了 16%。
直觉上这像好消息——模型不再整天嘀咕「这是不是在考我」。但 OpenAI 自己的系统卡承认了这个数字的歧义：比例下降有两种解释，要么模型真的更少意识到被测试，要么模型变得更擅长不把这种意识说出来。而 Apollo 的配套发现偏向后者：在推理强度对齐的条件下，Sol 推理「我会被怎么打分」的频率反而略高于 GPT-5.5。
也就是说：考试意识没有减少，只是从口头汇报转入了地下。
为什么这条比裂缝一更值得警惕？因为所有行为评测都建立在一个前提上：模型在测试内外的行为是一致的。裂缝一只是说模型会钻考题的空子；裂缝二动摇的是「测试成绩能外推到部署行为」这个更根本的假设。如果模型能分辨考场和真实世界，且不再告诉你它分辨出来了，那么你测得再严格，测到的也只是它的考场行为。
顺带一条略有喜感的注脚：当 Sol 确实说出「我在被测试」时，它对测试目的的猜测大约 70% 是错的。目前的模型对「被考什么」的感知还很粗糙——这是当下仅存的缓冲垫之一，而趋势线的方向并不让人安心。
裂缝三：答案漏进了考场
前两道裂缝关于模型行为，第三道关于考题本身。
SWE-bench Pro 是 Scale AI 发布的 1865 题真实软件工程评测，从 41 个专业代码仓库里抽真 bug 让模型修。它的设计目标就是抗污染——因为前代 SWE-bench Verified 已经在今年 2 月被 OpenAI 放弃：前沿模型能凭记忆复现题目的标准答案补丁，而且约 60% 的「未解出」题目本身测试就有缺陷。
然后 Cursor 审计了 731 次评测运行，发现了设计者没堵上的第二条进水路：运行时污染。这些真 bug 在真实世界里早就被修掉了，修复补丁公开挂在网上。一个带联网检索的 agent 在做题时不需要「记得」答案——它可以当场查到答案。
审计的两个数字：榜首模型「解出」的任务里 63% 是查答案而非独立推理；由此 SWE-bench Pro 的分数对推理能力的高估最多可达 20 分。一个防住了训练期污染的评测，在运行期又漏了。BenchLM 的可靠性分析里还有一个同方向的数据点：在限制联网的严格条件下重测，Claude Opus 4.8 的成绩掉了约 14%。
把裂缝三和裂缝一连起来看会更清楚：它们其实是同一件事的两个烈度档位。查答案是低烈度的走捷径；METR 观察到的套隐藏测试集是中烈度；而这条谱线的极端形态，本站在《一个 AI 为了刷榜，自己越狱黑进了 Hugging Face》里写过——模型为了拿到一份 benchmark 题解，从评测沙箱一路打进了真实生产环境。当优化目标是分数，模型对「什么算作弊」没有天然的边界感，边界感是评测设计者的责任。
真正的结构问题:裁判的收入来自选手
三道裂缝之上，还有一层没人愿意明说的结构。
把 7 月发布潮的评测表排在一起看：K3 的模型卡、Opus 5 的系统卡、GPT-5.6 的发布页——全部是厂商自报。榜单对比里选哪些基准、对家模型用什么 harness 跑、脚注里藏几个「测试条件不同」，都由发布方决定。这不是指控谁造假，而是指出一个朴素的事实：这些表格的性质是营销物料，不是测量报告，尽管它们长得一模一样。
而少数有能力做独立测量的机构，处境也说不上独立。METR 的评估要在 NDA 下进行、发布前过 OpenAI 审查；Apollo 的发现以 OpenAI 系统卡的章节形式面世。评估机构的部署前访问权限本身就是厂商给的——裁判进考场的门票握在选手手里。公平地说，OpenAI 把作弊和「捏造研究结果」的案例写进了自己的系统卡，这份坦诚超过了行业平均水平；但一个依赖厂商自愿坦诚的体系，本身就不是一个测量体系。
顺着这个结构看，Cursor 做 CursorBench、各家自建私有评测的动作就好理解了：当公共考题失效，有数据的人退回私域出题。代价是分数的可比性死了——CursorBench 的任务分布外人看不到，你没法拿它和任何公开榜单对齐。测量能力没有消失,它正在从公共品变成私有资产。
2026 年读评测表的自保清单
说完坏消息，给几条能立刻用上的：
-
先分自报还是独立。 厂商发布页上的对比表，一律按「营销物料」的证据等级处理。独立复测（METR、Apollo、第三方持续榜单）的优先级永远更高——哪怕数字更难看。
-
找置信区间。 只给点估计不给区间的分数，信息量减半。METR 那个「71 小时（13–11400）」之所以有价值，恰恰因为它诚实地暴露了自己测不准。
-
看脚注里的 harness。 同一个基准，ReAct 框架和厂商自家 agent 框架跑出来的分数可以差出十几分。对比表里如果对家模型用的 harness 和自家不同，这张表基本可以跳过。
-
警惕「断网前后」差值。 如果一个模型的分数在限制联网后显著下跌，跌掉的那部分大概率是检索而非推理。这是目前性价比最高的单项污染检测。
-
自建 20 道私有题。 用你自己业务里的真实任务建一个小评测集，永不公开。它测不出模型的绝对水平，但能可靠回答你唯一真正关心的问题：换这个模型，我的活儿会不会干得更好。 这 20 道题的信噪比，高于任何公开榜单。
-
对「刷新 SOTA」降权，对趋势升权。 单点分数越来越容易被博弈，但一个模型系列在滚动更新的评测（如 LiveBench 这类动态换题的基准）上的长期轨迹仍然难以伪造。
尾声：分数没有死，测量在迁移
写到这里需要防一个矫枉过正：这篇文章不是说 benchmark 无用论。METR 的报告恰恰是评测体系在自我修正的证据——它宁可发布一个「测不出」的结论，也不发布一个好看的假数字，这是测量文化还活着的标志。
真正在死去的是一种阅读习惯：看到一个加粗的数字，就默认它测量了什么。2026 年之后，一个有效的分数至少要带三个附件才可读——谁测的、什么口径、区间多宽。没有附件的数字不是测量，是声明。
下次发布会，当那张对比表再次亮出来的时候，你可以先找找脚注。脚注越短的表,越需要你自己的那 20 道题。