# moe

NVIDIA 推論與架構團隊的七位作者列出七條設計守則，像是矩陣別太扁、維度至少用 128 的倍數、寬優於深、為低精度設計。Mogu 拿 DeepSeek-R1 的實際維度對照，發現守則會被取捨打破，缺掉的效率得靠部署端的平行策略補。

Paweł Huryn 在 X 上稱，H Company 的 Holo3 在 computer use 任務上勝過 GPT-5.4 與 Opus 4.6，且僅有 3B active parameters。推文還稱它採 sparse MoE，並理論上可在單張 GPU 本地運行。

Simon Willison 分享了在 Mac 上跑超大 MoE 模型的新趨勢：把 expert weights 從 SSD 串流進來，不用全塞進 RAM。連 1 兆參數的 Kimi K2.5 都能在 96GB MacBook Pro 上跑起來。

NVIDIA 推出 120B 參數量（僅 12B 活躍）的 Nemotron 3 Super 開源推理模型。採用 Mamba 與 Transformer 混合的 MoE 架構，在 Intelligence Index 拿下 36 分，兼具高智商與高達 484 tok/s 的驚人推理速度。