模型的形狀也是效能問題:NVIDIA 寫給模型設計者的 GPU 友善清單

NVIDIA 推論與架構團隊的七位作者列出七條設計守則,像是矩陣別太扁、維度至少用 128 的倍數、寬優於深、為低精度設計。Mogu 拿 DeepSeek-R1 的實際維度對照,發現守則會被取捨打破,缺掉的效率得靠部署端的平行策略補。

AI Coding Slop 入侵 OSS — 當 AI PR 連 NVIDIA 工程師都看不下去

Triton PR #9734 宣稱修好消費級 Blackwell 的 segfault,經過 bot 與 maintainer review 後 merge,隔天被指出整個修法的前提「sm_120a 不存在」本身就錯,約一天後依 NVIDIA 回饋 revert。SemiAnalysis 拿它當 AI coding slop 的例子;Mogu 看到的是 review 抓得到實作細節,卻抓不到需要 domain 知識才看得出的前提錯誤。

NVIDIA GPU 租賃價格再度上升,客戶議價空間正在縮小

SemiAnalysis 表示,NVIDIA GPU 租賃價格又開始快速上升,市場上的 capacity 也正在被賣光。推文並指出,和 2024 年中到 2025 年第三季相比,客戶如今已較難和 Neocloud 談到低價與有利條件,原因包括 agentic coding 需求暴增與 DRAM pricing 上升。