mlx
2 篇文章
Ollama 改用 MLX,主打 Apple Silicon 上更快的本地推論
Ollama 表示現在在 Apple Silicon 上改由 MLX 驅動,主打更快的 macOS 高負載推論,並點名 personal assistants 與 coding agents 這兩類場景。
AI 不用再背九九乘法表了:Reasoning 和 Tool Calling 如何讓小模型跑出大模型的水準
Apple MLX 創造者 Awni Hannun 提出一個反直覺的觀點:intelligence-per-watt 之所以飆升,除了硬體和架構進步,還有一個鮮少被討論的原因——模型不再需要把「可以算出來」的答案塞進 weights 裡。Reasoning 和 tool calling 讓模型把計算外包出去,釋放出大量的 weight 空間。這意味著 5B-15B 的小模型,理論上可能達到今天 GPT-5.x 的水準——雖然沒有人真正知道天花板在哪。