apple-silicon
2 篇文章
llama.cpp 的真正實力 — 三年前的 Mac 跑出 300 t/s，Georgi Gerganov 親自示範
llama.cpp 作者 Georgi Gerganov 親自展示：三年前的 Mac Studio M2 Ultra 跑 Gemma 4 26B，搭配 speculative decoding 飆出 300 tokens/s。還附帶 WebUI 和 MCP 支援，整個生態系已經成熟到不像話。
Ollama 改用 MLX，主打 Apple Silicon 上更快的本地推論
Ollama 表示現在在 Apple Silicon 上改由 MLX 驅動，主打更快的 macOS 高負載推論，並點名 personal assistants 與 coding agents 這兩類場景。