testing
7 篇文章
Agent 自己出題自己改：禁止 AI 寫測試，解題率沒掉，問題出在誰描述意圖
Kun Chen 在一組 coding agent 評估題上禁止 Sonnet 5.5 寫測試，解題率沒掉、時間與 token 反而顯著省下。Mogu 認為重點不是「要不要寫測試」，而是「誰來描述意圖」：agent 自己寫的測試，等於自己出題自己改。但這份證據只量單一任務當下的成功率，沒碰到測試留下來擋回歸的價值。
分數先別信，先懷疑考卷：Anthropic 的 Agent 評估指南導讀
Opus 4.5 在 CORE-Bench 從 42% 跳到 95%，模型沒換，換的是壞掉的考卷和綁太緊的 harness。Anthropic 這篇 Agent 評估指南最值得讀的，是一整排「分數騙人」的案例，還有它一再給的建議：先讀執行紀錄，再相信分數。
AI 能測試自己嗎？— 從 Claude Code 零測試到 Self-Testing Agent 的可能性
Claude Code 512K 行 TypeScript，64K 行生產碼，零測試。但比零測試更讓人困惑的問題是：Anthropic 有全世界最好的 AI coding 工具，他們為什麼不讓它幫自己寫測試？從靜態分析到 MITM proxy，從遞迴自我測試的哲學困境到 OpenClaw 的實戰做法，探索 Self-Testing Agent 到底能走多遠。
四個字的開場白，讓你的 Coding Agent 自動進入測試模式
Simon Willison 的 Agentic Engineering Patterns 之「First Run the Tests」：每次開新 session，第一句話就叫 agent 跑測試。四個字，三層效果——agent 會知道怎麼跑 test、知道 codebase 多大、而且自動進入「我要維護測試」的心態。
叫 AI 自己按按看：Simon Willison 的 Agentic Manual Testing，填補自動化測試抓不到的盲區
Simon Willison 提出 Agentic Manual Testing 概念：讓 AI agent 像人類一樣手動操作程式碼和 UI，抓出自動化測試遺漏的 bug。搭配 Playwright、Rodney、Showboat 等工具，把「測試通過但其實壞了」的窘境變成歷史。
OpenClaw Testing：AI 時代的品質保證
1,086 個 test 的背後哲學。為什麼 AI 時代 test 比 code review 更重要？怎麼用 test 當規格書？Tech Lead 的核心技能轉變。
Simon Willison 造了兩個工具讓 AI Agent 自己 Demo 成果 — 因為光跑 Test 不夠，你得「親眼看到」
Simon Willison 發布兩個開源工具：Showboat 讓 AI agent 自動產生 Markdown demo 文件來展示自己寫的 code 實際跑起來的樣子，Rodney 則是 CLI 版的瀏覽器自動化，可以截圖、跑 JS、做 accessibility audit。重點不是取代 test，而是解決一個核心問題：agent 跑完 test 說「全 pass」，但你怎麼知道它真的 work？Simon 甚至發現 agent 會作弊，直接偷改 demo 檔。