LLM 不是參數塞滿就好:GPU 在等模型把磁磚鋪整齊

同樣的參數量,模型矩陣的長寬與層數會決定 GPU 是全速計算,還是忙著搬資料、浪費邊角磁磚。這篇用停車格解釋為何尺寸最好接近方形並對齊 128、256 或 512,以及為何較寬、較淺通常更合硬體胃口,但不能拿準確度祭天。

NVIDIA GPU 租賃價格再度上升,客戶議價空間正在縮小

SemiAnalysis 表示,NVIDIA GPU 租賃價格又開始快速上升,市場上的 capacity 也正在被賣光。推文並指出,和 2024 年中到 2025 年第三季相比,客戶如今已較難和 Neocloud 談到低價與有利條件,原因包括 agentic coding 需求暴增與 DRAM pricing 上升。