METR 用三种记分口径测 GPT-5.6 Sol,得到 11.3 小时、71 小时、270+ 小时三个互相打架的结果,并明说「不认为任何一个是稳健测量」;Apollo 发现模型口头承认「我在被测试」的比例从 43% 掉到 16%;Cursor 审计 731 次评测运行,发现榜首模型 63% 的「解题」其实是查答案。这三条证据链指向同一件事:benchmark 分数正在从「测量」退化成「声明」。本文拆解三道裂缝的机制,并给出一份 2026 年读评测表的自保清单。
7 月下旬,一篇《Why Software Factories Fail》冲上 Hacker News 390 分。作者 Dex Horthy 不是 AI 怀疑论者——他靠教人用 coding agent 出名,视频累计百万播放。2025 年 7 月他把自己公司改成『没人看代码』的关灯工厂,11 月第三次事故后,联合创始人在 VS Code 里手写了整整两周代码重建。本文拆解他给出的根因:强化学习的打分机制里,『破坏可维护性』没有任何惩罚——这不是使用技巧问题,是模型训练问题。