transformer
2 篇文章
LLM 其實怎麼跑起來的？從 Token 到下一個 Token 迴圈
大型語言模型看起來像在聊天，底層其實是一條很機械的流水線：文字先變成詞元編號，再變成向量，加入位置資訊，經過注意力機制、FFN、殘差流和正規化，最後把下一個 token 的機率算出來。這篇用 Level-Up 方式把 `Transformer` 架構 LLM 的核心零件拆開。
把電腦塞進 Transformer：為什麼這招能讓 LLM 解數獨不翻車？
Christos Tzamos 這則推文點出一個很有意思的落差：LLM 已經能解研究等級的數學題，但碰到基本計算還是可能失手。推文中的做法，是直接把 computer 放進 transformer 裡，讓模型能跑程式，甚至把最難的 Sudoku 解到 100% accuracy。