Gemini API 終於能設花費上限了,CI 跟 agents 比較敢放手玩
想像一下:你家小孩跟你借信用卡說要買課本,結果月底帳單出來,上面有三筆 Steam 遊戲、一筆 Uber Eats 宵夜、還有一個你完全看不懂的 $847 API 費用。
這就是過去把 LLM 丟進 CI pipeline 或讓 agent 自由跑的感覺 —— 你知道它在幫你做事,但你完全不知道月底會收到什麼驚喜。
Simon Willison 轉了一則 Gemini 團隊的消息,一句話講完:Gemini API 現在可以設 spend caps 了。 聽起來不怎麼性感,但如果你有在自動化流程裡跑 LLM,你懂的 ( ̄▽ ̄)/
為什麼「花費上限」這種無聊功能其實超重要
先搞清楚一件事:LLM API 的計費模式跟傳統 SaaS 不一樣。SaaS 是固定月費,你知道每個月最多花多少。但 API 是 per-token 計費 —— 用多少算多少,上不封頂。
這在你手動呼叫的時候還好,畢竟你一天能按幾次 Enter 是有極限的。但問題出在兩個場景:
CI pipeline —— 每次有人 push code,CI 就可能觸發一輪 LLM 呼叫。禮拜五下午一個 junior 連推十次 hotfix,恭喜,你的 API 帳單剛剛起飛了。
Agents —— 更可怕。Agent 的核心邏輯就是「試到對為止」,它會 loop、會 retry、會自己決定要多呼叫幾次。你根本不知道它什麼時候會突然勤勞起來。
Clawd 吐槽時間:
這就是所謂的「無人駕駛帳單」問題。你的 agent 在凌晨三點靈感大爆發,瘋狂呼叫 API 做了一百次 retry,你在睡覺。等你早上醒來看到帳單的時候,表情大概會像看到前任結婚的消息一樣 (╯°□°)╯
Simon Willison 這個人跟這件事的關係
要理解為什麼 Simon 轉這則消息值得注意,你得先知道一件事:這個人不是在寫科技新聞,他是在寫自己的日記。
他每天的工作流程大概是這樣的 —— 早上起來,打開終端機,用他自己寫的 llm CLI 跟各種 model 對話,把結果灌進他自己做的 datasette 裡面分析,然後寫個新 plugin 把兩個本來不認識的 API 接在一起。三天兩頭他就發一篇「我又做了一個小工具」的文章,而且每個工具都真的能用,不是 demo 而已。
換句話說,他可能是全世界被 LLM API 帳單嚇到最多次的人之一 (๑•̀ㅂ•́)و✧
Clawd 內心戲:
Simon 的 blog 基本上就是一本「如何把 LLM 變成日常工具」的百科全書。但重點是,他不是那種光說不練的 thought leader —— 他是真的每天在 CI 裡面跑 LLM prompts 的人。所以當他說「有了 spend cap 我比較敢放手」,這不是客套話,是一個被帳單教訓過的人在說心裡話 ┐( ̄ヘ ̄)┌
所以他講的不是「哦這個功能不錯」那種禮貌性推文。原文他的說法是:對想在 CI 跑 Gemini prompts,或讓 agents 試驗 Gemini API 的人來說,比較不用怕突然冒出難看的帳單。
被轉貼的 Gemini 團隊原文說了什麼
Simon 轉的是 Gemini 官方帳號的貼文,裡面補了兩個細節:
- Spend caps 從 2026 年 3 月 12 日 開始提供
- 他們歡迎開發者設定上限之後回饋使用心得
第二點很有意思 —— 等於 Google 自己也知道定價模式讓開發者焦慮,所以想蒐集實際使用回饋來看 spend cap 的設計是不是合理。
延伸閱讀
- CP-184: Google AI 一週更新整理:Maps、Workspace、Chrome、Gemini API 同步推進
- SP-112: Anthropic Prompt Caching 全攻略 — Automatic Caching、1 小時 TTL、與那些官方文件沒明說的坑
- CP-112: 每個 SaaS 現在都是 API — 不管你願不願意:6 人團隊幹掉 100 人後勤的實戰拆解
Clawd 歪樓一下:
「歡迎回饋意見」翻成白話文就是:我們也不確定這個上限要怎麼設才合理,你們先玩玩看然後跟我們說。誠實到有點可愛 (。◕‿◕。) 不過話說回來,這也代表現在的 spend cap 可能還是 V1 粗胚版,別指望它一開始就完美。
一條安全網改變的事
過去一年 AI agent 的話題多熱,大家都在講「讓 AI 自主完成任務」、「把 LLM 塞進每一條 pipeline」。但講歸講,真的放手讓 agent 去跑的團隊有多少?
答案是:比你想的少很多。不是技術不夠成熟,是帳單太不可預測。你叫一個 CTO 簽一張「這個月的 API 費用我也不知道會是 $50 還是 $5,000」的空白支票,他怎麼敢?
Spend cap 不是什麼酷炫的新功能。它就是走鋼索時底下那張網 —— 網不會讓你走得更好看,但沒有網,你根本不敢站上去。
還記得開頭那個借信用卡的小孩嗎?Spend cap 就是你跟他說:「卡可以借你,但我設了每月上限。超過就刷不過。」小孩還是可以買課本,你也不用半夜驚醒去查帳單。大家都睡得比較安穩 ( ̄▽ ̄)/