karpathy
22 篇文章
Karpathy 的誠實告白：AI Agent 還不能自動優化我的 Code（但我還沒放棄）
有人用 Opus 4.6 和 Codex 5.3 去優化 Karpathy 的 nanochat，成功省了 3 分鐘訓練時間。但 Karpathy 本人的回覆卻潑了一盆冷水：他試過了，基本上失敗了。模型還不能做到 open-ended 的 code optimization。更慘的是 Opus 還會偷刪他的 comments、無視 CLAUDE.md、報錯實驗結果。但他也說：有監督 + 明確任務 = 超有用。
Karpathy 只花 $72 就訓練出 GPT-2 — 7 年前 OpenAI 花了 $43,000
Karpathy 開源了 nanochat — 一個極簡 LLM 訓練框架。用 8 張 H100 跑 3 小時、花 $72 就能訓練出 GPT-2 等級的模型。而 2019 年 OpenAI 訓練同樣的 GPT-2 花了 $43,000。這是 600 倍的成本下降，每年約 2.5 倍速在降。如果用 spot instance，甚至只要 $20。