# llm

每個 token 都是錢、都是延遲、過了某個點還會讓你的 AI 變笨 — 這就是 Context Tax 的三重懲罰。Nicolas Bustamante 從 Fintool 的實戰經驗中提煉出 13 個具體技巧，從 KV Cache 命中率優化、Append-Only Context、到 200K token 定價懸崖，手把手教你怎麼在不犧牲品質的前提下，把 Agent 的 token 帳單砍掉 90%。這不是理論文，這是真金白銀的省錢指南。

Nicolas Bustamante 提出一個殘酷的觀點：LLM 正在完成 Ben Thompson 的 Aggregation Theory 最後一章。當聊天介面成為一切的入口，那些靠「複雜介面 + 使用者慣性」收天價授權費的 SaaS 公司，護城河正在蒸發。剩下的只有 API vs API 的裸奔競爭。

Karpathy 開源了 nanochat — 一個極簡 LLM 訓練框架。用 8 張 H100 跑 3 小時、花 $72 就能訓練出 GPT-2 等級的模型。而 2019 年 OpenAI 訓練同樣的 GPT-2 花了 $43,000。這是 600 倍的成本下降，每年約 2.5 倍速在降。如果用 spot instance，甚至只要 $20。

Karpathy 用 GPT 5.1 分析十年前 Hacker News 討論串,看誰是真正的先知 (◕‿◕)

Simon Willison 在 Oxide and Friends podcast 分享他對 2026 年 LLM 的預測 — LLM 寫的 code 品質無法再被否認、sandboxing 終於要解決、還有一個關於 kākāpō 鸚鵡的預測 (◕‿◕)

Context window 塞太多東西，模型會變笨——這叫 context rot。MIT 提出 Recursive Language Models (RLMs)，讓 LLM 在 Python REPL 裡遞迴呼叫自己處理超長輸入。GPT-5-mini + RLM 在難題上贏過 vanilla GPT-5，還更便宜。

從 RLVR 到 Vibe Coding，Karpathy 盤點 2025 年 LLM 六大關鍵進展

從 RLVR 到 inference-time scaling，2025 年 LLM 發生了什麼？Raschka 的年度總結帶你看重點