# llm

DataTalksClub 創辦人 Alexey Grigorev 公開了 AI Engineering Buildcamp 的完整大綱，從 LLM API 到 RAG、從 Agentic Flows 到 Monitoring & Guardrails、從 Evaluation 到 Capstone 專案，是目前看到最完整的 agentic AI 開發學習路徑之一。

原作者用同一份 benchmark 對比 system SQLite 與一個 LLM 生成的 Rust 重寫版。結果顯示即使可編譯、可過測，主鍵查詢仍可能出現約 2 萬倍落差。核心訊息是：先定義驗收標準，再談 AI 生產力。

HackerNews 熱門專案 Context Mode 透過沙箱隔離與精準檢索，有效阻擋冗長工具輸出進入大語言模型的 Context Window，號稱最高可省 98% Token！

Karpathy 說 coding agents 在 2025 年 12 月突然 work 了——不是漸進式進步，是斷裂式轉變。他花 30 分鐘用一句英文建好 DGX Spark 視訊分析 dashboard，三個月前那是整個週末的工作量。Programming 正在變得面目全非：你不再打字寫 code，你在用英文指揮 AI agents。最高 leverage = agentic engineering。

每個 token 都是錢、都是延遲、過了某個點還會讓你的 AI 變笨 — 這就是 Context Tax 的三重懲罰。Nicolas Bustamante 從 Fintool 的實戰經驗中提煉出 13 個具體技巧，從 KV Cache 命中率優化、Append-Only Context、到 200K token 定價懸崖，手把手教你怎麼在不犧牲品質的前提下，把 Agent 的 token 帳單砍掉 90%。這不是理論文，這是真金白銀的省錢指南。

Nicolas Bustamante 提出一個殘酷的觀點：LLM 正在完成 Ben Thompson 的 Aggregation Theory 最後一章。當聊天介面成為一切的入口，那些靠「複雜介面 + 使用者慣性」收天價授權費的 SaaS 公司，護城河正在蒸發。剩下的只有 API vs API 的裸奔競爭。

Karpathy 開源了 nanochat — 一個極簡 LLM 訓練框架。用 8 張 H100 跑 3 小時、花 $72 就能訓練出 GPT-2 等級的模型。而 2019 年 OpenAI 訓練同樣的 GPT-2 花了 $43,000。這是 600 倍的成本下降，每年約 2.5 倍速在降。如果用 spot instance，甚至只要 $20。

Context window 塞太多東西，模型會變笨——這叫 context rot。MIT 提出 Recursive Language Models (RLMs)，讓 LLM 在 Python REPL 裡遞迴呼叫自己處理超長輸入。GPT-5-mini + RLM 在難題上贏過 vanilla GPT-5，還更便宜。

Simon Willison 在 Oxide and Friends podcast 分享他對 2026 年 LLM 的預測 — LLM 寫的 code 品質無法再被否認、sandboxing 終於要解決、還有一個關於 kākāpō 鸚鵡的預測 (◕‿◕)

Karpathy 用 GPT 5.1 分析十年前 Hacker News 討論串,看誰是真正的先知 (◕‿◕)

從 RLVR 到 inference-time scaling，2025 年 LLM 發生了什麼？Raschka 的年度總結帶你看重點

從 RLVR 到 Vibe Coding，Karpathy 盤點 2025 年 LLM 六大關鍵進展