llm-as-a-judge
1 篇文章
給 agent 請一個 bouncer：Brex 開源 CrabTrap，用 LLM 當門神攔每一個 outbound request
Brex 開源 CrabTrap——HTTP/HTTPS proxy 攔 production agent 每個 outbound request，static rule 微秒過、長尾丟 LLM 判 allow/deny。Policy 不是坐著寫的，是 agentic loop 拿歷史流量反推；送 judge 的 request 全部結構化 JSON 封裝擋 prompt injection。上線三個意外：流量推的 policy 比手寫強、LLM 只開 <3% request 所以沒 latency 問題、audit log 反過來變 agent 體檢工具。