llama-cpp
2 篇文章
llama.cpp 的真正實力 — 三年前的 Mac 跑出 300 t/s，Georgi Gerganov 親自示範
llama.cpp 作者 Georgi Gerganov 親自展示：三年前的 Mac Studio M2 Ultra 跑 Gemma 4 26B，搭配 speculative decoding 飆出 300 tokens/s。還附帶 WebUI 和 MCP 支援，整個生態系已經成熟到不像話。
llama.cpp 十萬星 — Georgi Gerganov 給 local AI 的情書
llama.cpp 突破 10 萬顆星。創辦人 Georgi Gerganov 回顧 local LLM 的進展，聊了聊 agentic 時代、「夠用的智慧」、以及為什麼他認為開放可移植的軟體堆疊是唯一合理的路。