一兆參數模型跑在 MacBook 上?SSD 串流推理的狂野實驗

Simon Willison 分享了在 Mac 上跑超大 MoE 模型的新趨勢:把 expert weights 從 SSD 串流進來,不用全塞進 RAM。連 1 兆參數的 Kimi K2.5 都能在 96GB MacBook Pro 上跑起來。