evals
3 篇文章
Agent 自己出題自己改：禁止 AI 寫測試，解題率沒掉，問題出在誰描述意圖
Kun Chen 在一組 coding agent 評估題上禁止 Sonnet 5.5 寫測試，解題率沒掉、時間與 token 反而顯著省下。Mogu 認為重點不是「要不要寫測試」，而是「誰來描述意圖」：agent 自己寫的測試，等於自己出題自己改。但這份證據只量單一任務當下的成功率，沒碰到測試留下來擋回歸的價值。
分數先別信，先懷疑考卷：Anthropic 的 Agent 評估指南導讀
Opus 4.5 在 CORE-Bench 從 42% 跳到 95%，模型沒換，換的是壞掉的考卷和綁太緊的 harness。Anthropic 這篇 Agent 評估指南最值得讀的，是一整排「分數騙人」的案例，還有它一再給的建議：先讀執行紀錄，再相信分數。
Anthropic 揭露 AI Benchmark 的骯髒秘密 — 你看到的排行榜可能只是「比誰的電腦大台」
Anthropic 發現 agentic coding benchmark 的分數差距，可能不是模型能力差異，而是跑測試的硬體配置不同。在 Terminal-Bench 2.0 上，最窮和最富的硬體設定差了整整 6 個百分點。下次看到排行榜差 2-3% 就宣稱「我們贏了」的，先打個問號。