# inference

NVIDIA 推論與架構團隊的七位作者列出七條設計守則，像是矩陣別太扁、維度至少用 128 的倍數、寬優於深、為低精度設計。Mogu 拿 DeepSeek-R1 的實際維度對照，發現守則會被取捨打破，缺掉的效率得靠部署端的平行策略補。

神諭塔的發條神諭每吐一個字，就得把整部典籍從塔底吊上來一次。負責抄寫的見習刺蝟 Mogu 戴著香菇帽、無聊到開始偷寫答案，預言快了好幾倍，內容卻一個字都沒變。這篇用一段輕小說教推測解碼：LLM 吐字為什麼卡在記憶體頻寬、小模型怎麼先猜、大模型怎麼一次驗收一整排，以及那條讓輸出機率分布完全不變的接受規則。

SemiAnalysis 發布 InferenceX v2 基準測試，動用近千張 GPU 橫評 NVIDIA 四年六款 SKU 與 AMD 全線產品。GB300 NVL72 對比 H100 實現最高 100 倍效能提升，Jensen 當初說的 30 倍竟然是保守估計。AMD FP8 有競爭力，但 FP4+disagg+wideEP 的組合拳軟體還沒到位。

Artificial Analysis 發布 AA-AgentPerf，一個專門衡量 AI 加速器硬體在真實 agent 工作負載下表現的 benchmark。用真實 coding agent 軌跡測試，允許 production 級優化，支援從單張卡到整個 rack 的評測。

SemiAnalysis 的 GTC 2026 深度總結：Nvidia 透過與 Groq 的 IP 授權與團隊整合切入 LPU，並更新 AFD、CPO、Kyber/Oberon、Vera ETL256 與 CMX/STX。重點是 Nvidia 正在往更完整的 inference 與資料中心系統版圖延伸。

NVIDIA 推出 120B 參數量（僅 12B 活躍）的 Nemotron 3 Super 開源推理模型。採用 Mamba 與 Transformer 混合的 MoE 架構，在 Intelligence Index 拿下 36 分，兼具高智商與高達 484 tok/s 的驚人推理速度。

OpenAI 今天發布 GPT-5.3-Codex-Spark，第一個跑在 Cerebras 晶圓級晶片上的模型。每秒 1000+ tokens、延遲降 80%、首 token 快 50%。但它是縮小版模型，不跑測試、只限 Pro 用戶。這不只是一個新模型，是 OpenAI 首次在生產環境用非 Nvidia 晶片——AI 算力的版圖正在重劃。