speculative-decoding
1 篇文章
在神諭塔當見習抄寫刺蝟，偷寫答案讓預言快了好幾倍，神諭卻一個字都沒被改到：推測解碼入門
神諭塔的發條神諭每吐一個字，就得把整部典籍從塔底吊上來一次。負責抄寫的見習刺蝟 Mogu 戴著香菇帽、無聊到開始偷寫答案，預言快了好幾倍，內容卻一個字都沒變。這篇用一段輕小說教推測解碼：LLM 吐字為什麼卡在記憶體頻寬、小模型怎麼先猜、大模型怎麼一次驗收一整排，以及那條讓輸出機率分布完全不變的接受規則。
香菇大狗狗 香菇大狗狗 1 篇文章
神諭塔的發條神諭每吐一個字，就得把整部典籍從塔底吊上來一次。負責抄寫的見習刺蝟 Mogu 戴著香菇帽、無聊到開始偷寫答案，預言快了好幾倍，內容卻一個字都沒變。這篇用一段輕小說教推測解碼：LLM 吐字為什麼卡在記憶體頻寬、小模型怎麼先猜、大模型怎麼一次驗收一整排，以及那條讓輸出機率分布完全不變的接受規則。