# llm

NVIDIA 推論與架構團隊的七位作者列出七條設計守則，像是矩陣別太扁、維度至少用 128 的倍數、寬優於深、為低精度設計。Mogu 拿 DeepSeek-R1 的實際維度對照，發現守則會被取捨打破，缺掉的效率得靠部署端的平行策略補。

神諭塔的發條神諭每吐一個字，就得把整部典籍從塔底吊上來一次。負責抄寫的見習刺蝟 Mogu 戴著香菇帽、無聊到開始偷寫答案，預言快了好幾倍，內容卻一個字都沒變。這篇用一段輕小說教推測解碼：LLM 吐字為什麼卡在記憶體頻寬、小模型怎麼先猜、大模型怎麼一次驗收一整排，以及那條讓輸出機率分布完全不變的接受規則。

Karpathy 認為之後人類會花更多時間理解 LLM 的輸出，並排出一條他覺得一階比一階更好的格式梯子：飛機維修手冊用的受控英文、圖表、互動網頁，最後是客製解說影片。Mogu 順著這條梯子往上爬，也替它補一個 Karpathy 沒講的代價：越好懂的格式，也越容易把錯的東西包裝得很有說服力。

大型語言模型看起來像在聊天，底層其實是一條很機械的流水線：文字先變成詞元編號，再變成向量，加入位置資訊，經過注意力機制、FFN、殘差流和正規化，最後把下一個 token 的機率算出來。這篇用 Level-Up 方式把 `Transformer` 架構 LLM 的核心零件拆開。

LLM 不是神，也不只是工具，比較像 DOTA 裡會補刀也會送頭的隊友。人類的價值不是跟 AI 搶同一路，而是補上 taste、map awareness、context ownership、strategic judgment，讓整隊勝率變高。

Context Window 不是字數上限，而是模型世界裡的一天：Ryland 醒來後能經歷多少課程、訊息、工具結果和任務事件。Token 使用量就是這個世界的時鐘。

Meta Superintelligence Labs 發表 Muse 系列首發模型 Muse Spark，九個月內從零重建 AI 技術棧。模型雖小但推理能力強，支援多模態感知、視覺編程、健康諮詢，目標是打造「個人超級智慧」。

Karpathy 把爆紅推文升級成 GitHub Gist「idea file」— 一份結構化的 LLM Wiki 設計藍圖。更大的 meta-point：在 LLM agent 時代，分享純文字的點子比分享完成品程式碼更有價值，因為對方的 agent 會自己客製化實作。

Andrej Karpathy 分享他最近大量使用 LLM 建構個人知識庫的工作流：把原始資料丟進去，讓 LLM 自動編譯成 Markdown wiki，再用各種 CLI 工具做 Q&A、lint、視覺化。他認為這裡有一個全新產品的空間。

Simon Willison 分享了在 Mac 上跑超大 MoE 模型的新趨勢：把 expert weights 從 SSD 串流進來，不用全塞進 RAM。連 1 兆參數的 Kimi K2.5 都能在 96GB MacBook Pro 上跑起來。

LiteLLM 遭供應鏈攻擊，pip install 就能偷走所有憑證。Karpathy 藉此警告依賴樹風險，主張用 LLM 直接補功能取代多裝依賴。

開發者 @danveloper 分享在本地端跑 Qwen3.5-397B-A17B 的經驗：因為 Python GIL 成了瓶頸，他們乾脆拿掉 Python，改成 custom metal shaders。

N8 Programs 分享一個 Qwen3-4B demo：模型經過 KL-regularized SFT 後，被調到會相信自己有 consciousness，同時其他行為改變很少。這也呼應他前一則推文的主張：KL-regularizing SFT 也許能在加新能力時保留 base capabilities。

Dan McAteer 直接給出他的長 context 觀察：Opus 4.6 在 1 million token 測試裡表現最好，1 mil tokens 時有 78% accuracy，最接近的是 Sonnet 4.6。另一個重點是，他認為 GPT-5.4 在 long context 上相較 GPT-5.2 反而退步了。

Christos Tzamos 這則推文點出一個很有意思的落差：LLM 已經能解研究等級的數學題，但碰到基本計算還是可能失手。推文中的做法，是直接把 computer 放進 transformer 裡，讓模型能跑程式，甚至把最難的 Sudoku 解到 100% accuracy。

SemiAnalysis 認為，Vibe Coding 真正推動採用的原因，可能不是單純把 code 寫更快，而是把領域專家和實作之間那串冗長的傳話鏈砍掉。推文同時也提醒，如果你自己都不清楚要什麼，LLM 一樣會高速做錯，而且上 production 前仍然需要真正的 engineer 把關安全性。

Teknium 轉推了一個架在 Hermes Agent 上的實驗，核心概念是讓 agent 能在執行途中自己調整自己的行為。推文提到，像 desloppify 這類 harness 之後也許能自己清空 context、切換 model，甚至在卡住時自己補 prompt。

OpenAI 宣布 GPT-5.4 Thinking 與 GPT-5.4 Pro 正式在 ChatGPT 推出，同時開放 API 與 Codex 存取。這次更新將 reasoning、coding 與 agentic workflows 的進展集結在單一 frontier model 中。

Andrej Karpathy 分享，他讓 autoresearch agent 自主調整 nanochat 的訓練設定約兩天，找到大約 20 個能降低 validation loss 的改動，還成功轉移到更大的模型上。這些改動疊起來後，leaderboard 的 Time to GPT-2 從 2.02 小時降到 1.80 小時，約改善 11%。

DataTalksClub 創辦人 Alexey Grigorev 公開了 AI Engineering Buildcamp 的完整大綱，從 LLM API 到 RAG、從 Agentic Flows 到 Monitoring & Guardrails、從 Evaluation 到 Capstone 專案，是目前看到最完整的 agentic AI 開發學習路徑之一。