分數先別信,先懷疑考卷:Anthropic 的 Agent 評估指南導讀

Opus 4.5 在 CORE-Bench 從 42% 跳到 95%,模型沒換,換的是壞掉的考卷和綁太緊的 harness。Anthropic 這篇 Agent 評估指南最值得讀的,是一整排「分數騙人」的案例,還有它一再給的建議:先讀執行紀錄,再相信分數。

美國政府一紙命令,逼 Anthropic 全球下架 Fable 5 和 Mythos 5

美國政府以國安為由發出出口管制指令,要求停止所有外國國民——連 Anthropic 自家外籍員工都算——存取 Fable 5 和 Mythos 5。淨效果是 Anthropic 必須對全球所有客戶關掉這兩個模型。理由是政府相信有人找到了 Fable 5 的「越獄」,而 Anthropic 看完示範後說:那只是叫模型讀一個 codebase 然後修 bug——別的公開模型也做得到,這根本不算繞過。