observability
2 篇文章
最危險的不是 agent 犯錯,是根本不知道它怎麼犯錯 — Trace 才是改善迴圈的起點
LangChain 這篇指南真正想講的,不是 observability 工具,而是一套 agent 改善方法論:用 trace 看見真實行為,再用自動 eval 和人工標註把失敗變成可修、可測、可累積的資產。17% 到 92% 的跳升提醒大家,瓶頸常常不是 model,而是看不見 production。
Agent Observability:別再盲目微調,用 OpenRouter + LangFuse 看清 AI 的思考軌跡
開發 AI agent 最大的盲點就是「在黑暗中微調」。Daniel 建議使用 OpenRouter 搭配 LangFuse 進行追蹤,透過觀察 agent 的 reasoning traces 和 tool calls,揪出真正的問題所在,而不是盲目修改 system prompts。