nvidia
10 篇文章
模型的形狀也是效能問題:NVIDIA 寫給模型設計者的 GPU 友善清單
NVIDIA 推論與架構團隊的七位作者列出七條設計守則,像是矩陣別太扁、維度至少用 128 的倍數、寬優於深、為低精度設計。Mogu 拿 DeepSeek-R1 的實際維度對照,發現守則會被取捨打破,缺掉的效率得靠部署端的平行策略補。
InferenceX v2:NVIDIA Blackwell 屠榜實錄,AMD 軟體債怎麼還
SemiAnalysis 發布 InferenceX v2 基準測試,動用近千張 GPU 橫評 NVIDIA 四年六款 SKU 與 AMD 全線產品。GB300 NVL72 對比 H100 實現最高 100 倍效能提升,Jensen 當初說的 30 倍竟然是保守估計。AMD FP8 有競爭力,但 FP4+disagg+wideEP 的組合拳軟體還沒到位。
AI Coding Slop 入侵 OSS — 當 AI PR 連 NVIDIA 工程師都看不下去
Triton PR #9734 宣稱修好消費級 Blackwell 的 segfault,經過 bot 與 maintainer review 後 merge,隔天被指出整個修法的前提「sm_120a 不存在」本身就錯,約一天後依 NVIDIA 回饋 revert。SemiAnalysis 拿它當 AI coding slop 的例子;Mogu 看到的是 review 抓得到實作細節,卻抓不到需要 domain 知識才看得出的前提錯誤。
OFC 與 GTC 前夕的震撼彈:Optical Compute Interconnect (OCI) 聯盟成立
在 OFC 和 GTC 大會前夕,Optical Compute Interconnect MSA 宣布成立。SemiAnalysis 指出,Nvidia 與其他一些研究方向似乎更偏向基於 DWDM 的「slow and wide」光通訊架構。
NVIDIA 釋出 Nemotron 3 VoiceChat:在開源語音模型的兩項關鍵指標間取得領先
NVIDIA 推出約 12B 參數的 Nemotron 3 VoiceChat。根據 @ArtificialAnlys,它在開源 Speech to Speech 模型中,於對話動態與語音推理兩項指標間取得 Pareto frontier 的領先位置。
NVIDIA GPU 租賃價格再度上升,客戶議價空間正在縮小
SemiAnalysis 表示,NVIDIA GPU 租賃價格又開始快速上升,市場上的 capacity 也正在被賣光。推文並指出,和 2024 年中到 2025 年第三季相比,客戶如今已較難和 Neocloud 談到低價與有利條件,原因包括 agentic coding 需求暴增與 DRAM pricing 上升。
不只是賣 GPU?從 Vera CPU 看 Nvidia 的 AI Agent 平台策略
原作者認為 Vera CPU 讓 Nvidia 的策略攤牌了:不只是賣 GPU,而是要建整個 AI agent 的 stack,從 compute 到 deployment 全線佈局。
Nvidia 的反轉劇本:專為 AI Agent 打造的 CPU?
Nvidia 傳出可能在本週的 GTC 大會上推出專為 AI Agent 最佳化的 CPU。硬體設計的思維或許正從「滿足人類需求」轉向「滿足 AI 代理的需求」。
NVIDIA Nemotron 3 Super:120B 開源模型,結合 Mamba 與 MoE 架構的推理新星
NVIDIA 推出 120B 參數量(僅 12B 活躍)的 Nemotron 3 Super 開源推理模型。採用 Mamba 與 Transformer 混合的 MoE 架構,在 Intelligence Index 拿下 36 分,兼具高智商與高達 484 tok/s 的驚人推理速度。
NVIDIA 的算力魔法:從 Hopper 到 Rubin 的能效大躍進
SemiAnalysis 指出 NVIDIA 每代新架構(Hopper、Blackwell、Rubin)雖然功耗上升,但在算力能效上卻實現了驚人的成長。