先看一句英文：

Your instinct is right; the convoluted sentence you are currently reading is quietly eating its own reader-patience budget — footnote it.

硬翻成中文大概是：「直覺沒錯；這個正在被讀的繞口句子，正悄悄吃掉它自己的讀者耐心預算——幫它加個註腳。」

在網路上撞見這句，多數人第一個反應大概是「又是哪個模型寫的」。它其實是論文第一行的標本，由 NYU 的 Thomas Hikaru Clark 和 UT Austin 的 Matias B. Martin、Kyle Mahowald 故意寫成這樣。一句話裡塞了四種他們要抓的東西：一個受詞關係子句、一個把名詞當動詞用的 “footnote”、一個沒有生命卻會「吃」東西的主詞，還有三個名詞疊成的 “reader-patience budget”——這串字在一般語料裡很少見。

「最近 AI 寫的東西讀起來比較累」這種感覺，網路上講的人很多（論文就引了滑鐵盧大學一篇在聊「Claudish」的專家問答），但很少有人真的去數。這篇論文數了，而且數出一個讓 Mogu 坐直的結果。

Olmo 3 7B 有三個版本：只做過預訓練的 Base、再教它聽指令的 Instruct、再教它推理的 Think。把它們寫的句子，跟「同樣的意思、改用普通講法」的版本相比（這個對照組怎麼做出來，後面會講），以少見詞組合這類指標來說，Base 版的差別不是沒有就是很小，Instruct 開始冒出來，到了 Think 版，已經跟前沿模型一樣重。三個版本的預訓練一模一樣，差別只在後面又被訓練了什麼。

gu-log 前陣子在 MP-317 寫過 Karpathy 的提議：叫模型改用飛機維修手冊那種受控英文交作業，讓人比較讀得完。那篇談的是「該往哪裡拉」，這篇量的是反方向：沒人拉的時候，模型自己的英文正往哪裡漂。

所以真正的問題是：一個用人類文字訓練出來的模型，為什麼會在後訓練裡長出讓人類讀不順的習慣？作者提了一個假說，Mogu 讀起來很像按字計費的電報。不過在講假說之前，得先講清楚他們數的是哪幾種句型。

六種讓讀者放慢的句型

先把共同點擺前面：這六種句型大部分都是「同一個意思的比較短版本」。看下面每一種的時候，可以順手想一下：換成正常講法，句子會長多少？

「難讀」的證據從哪來也要先交代。論文沒有找人來讀 AI 文字、量閱讀時間；它挑的是心理語言學（研究人腦怎麼處理語言的領域）累積多年證據、跟閱讀困難有關的特徵，再去數 AI 文字裡出現多少。所以「難讀」這一層是借前人的研究，「多用」這一層才是這篇自己量的。作者也替每一種特徵想了一個理由，說明它為什麼可能跟「想把資訊塞得更密」有關。

很少見的詞組合。 越好猜的字，人讀得越快。反過來說，一個很好猜的字資訊量很低，如果系統只想塞資訊，最先砍掉的就是這種字，剩下的組合就會變得少見。論文用兩個數字量：參考語料裡從沒出現過的兩詞組合有多少，以及一個只看前兩個詞的簡單語言模型讀起來有多「意外」。GPT-5.6 Terra 寫過一句 “the existing xfailed lazy-intermediate Lookup behavior”，大概就是這種感覺。

相關的字隔很遠。 主詞跟動詞、動詞跟受詞之間夾了一大段，讀者得一直把前面的東西扣在腦子裡。人類工作記憶有限，所以人說話本來就傾向讓相關的字靠近。Sonnet 5 有一句：

The guitar sitting in the corner because you’re still “deciding” teaches you zero chords.

主詞 “The guitar” 要先等 “sitting in the corner”、再等一整個 “because” 子句過去，才碰到動詞 “teaches”。讀到動詞的時候，主詞已經在腦子裡掛了半行。

受詞關係子句，尤其是省掉 “that” 的。 “The house that the contractors built” 比被動的 “The house that was built by the contractors” 短；再把 “that” 拿掉又更短。作者的預測是：如果模型偏好壓縮，這兩種省字的寫法都會偏多。GLM 在寫程式時說 “the unclosed-tag errors are the papercut people feel day-to-day”，“people feel” 前面就省了一個 “that”。

名詞疊名詞。 英文可以拿名詞直接修飾名詞，像 “coffee shop”。疊到三個以上就開始出事，經典例子是新聞標題 “Squad Helps Dog Bite Victim”——到底是救難隊幫助被狗咬的人，還是救難隊幫狗咬人？Kimi 寫過 “Policy 1’s class-time shutdown requirement”，三個名詞擠成一團，每個都在修飾下一個。

把名詞直接當動詞。 “bottle the whiskey” 這種已經很常見的沒問題，但臨時造的就會卡一下，像 “calendar it”。另一種說法通常比較長，例如 “put the whiskey in a bottle”。研究也發現，詞性轉換會讓大腦重新分析句法。Opus 5 聊房價時寫 “Austin has unusually high inventory, which cushions price spikes…”，“cushion” 本來是坐墊。

沒有生命的東西做有生命的動作。 “is_file() swallows that and returns False”、“Puzzle patterns where this asymmetry bites”。函式會吞東西，不對稱會咬人。讀者在解析句子時會把「主詞有沒有生命」當線索。沒有其他上下文幫忙時，對不上的組合可能讓大腦得重新分析一次句子（腦波研究裡看得到這個訊號）。可是要改寫成正常說法，句子大概就得變長，“bites” 要換成「會造成問題」。作者在這裡明說是推測：模型可能在訓練中學到，這是一種雖然不標準、但很省 Token 的表達方式。

翻成日文再翻回來

要說模型「選了」難讀的講法，得先有一個「沒選」的版本。直接拿 AI 對話跟人類語料比會有麻煩：主題、場合、長度都不一樣，差異可能只是因為聊的東西不同。作者想要的是一組「意思完全一樣、只換了講法」的對照組。

他們的做法是把模型的每一句話，用 Meta 的翻譯模型 NLLB-200（3.3B 版本）逐句翻成日文，再翻回英文。機器翻譯有個已知的毛病：會把文字往常見的講法拉，順便洗掉作者的風格。在一般情況這是缺點，在這裡剛好是工具。挑日文是因為跟英文差得夠遠，翻回來的版本變化比較多。

邏輯是這樣：來回翻譯把每句話的意思固定住、把用字換掉。如果某個特徵在翻回來之後變少了，就代表同樣的意思有另一種更普通的講法，而模型當初選了不普通的那個。

作者也換成俄文當中繼語言，以及換用 Google 的 TranslateGemma，對九個前沿模型再做一次，當作檢查。

Mogu 補個刀：

這招很像叫一個平常說話很正常的朋友，把同事傳來的訊息用自己的話重講一遍。朋友講完意思一字不差，句子卻好懂很多——那原本那個繞口的寫法，就是同事自己選的，不能怪內容太難。我很喜歡這一步，因為它直接堵掉最常見的辯護：「AI 只是在講很難的東西」。

結果：後訓練越多，越重

資料是作者自己收的。前沿那一側有 Claude（Sonnet 5、Opus 5、Opus 5.5、Fable 5）、GPT-5.6（Luna、Terra、Sol）、Kimi K2.5 和 GLM 5；小模型那一側是 Llama 3.1 8B 的 Base 與 Instruct，以及開頭那組 Olmo 3 7B，一共 14 個模型。情境有三種：跟模擬使用者聊 12 輪、在沙盒裡幫真實的 GitHub 專案找錯修錯（最多 11 輪），以及照美國中學生作文題目寫議論文。

大方向很一致。跟來回翻譯的版本比，幾乎所有前沿與準前沿模型在三種情境裡，都有更多少見的詞組合、更高的「意外程度」。名詞當動詞、無生命主詞、省掉 “that” 的受詞子句大致同向；帶 “that” 的版本反而被少用，看起來就是在跳過能省的字。名詞疊名詞和相依距離，在聊天與寫程式裡也有類似趨勢。

現在回頭看開頭那個 Olmo 階梯，就知道它為什麼是整篇最有說服力的一排。有人會懷疑：會不會是來回翻譯本身把句子洗平，才洗出這些差別？如果是這樣，Base 版也該被洗出差別。結果 Llama 和 Olmo 的 Base 版，效應不是沒有就是很小；同一套翻譯拿去洗 Base 版的作文（Base 版只寫了作文），幾乎洗不出東西。在 Mogu 看來，這讓「翻譯造成的假象」很難成立，矛頭只好指向 Base 之後的那段訓練。

當然也有比較弱的地方。作文情境裡效應整體較小：相依距離在翻譯後沒變甚至略長，名詞疊名詞只有兩個模型有顯著變化。作者推測，作文只有一次提問，聊天和寫程式卻是一來一往很多輪，長時間的來回對話可能更需要壓縮；這一段他們自己也標成推測。

跟人類文字直接比，論文摘要的說法是：九個前沿與準前沿模型全部比人類多用無生命主詞配有生命動詞、也多用少見詞組合；大多數模型在對話裡也有更長的相依距離、更多名詞疊名詞與省略的受詞子句。不過有些指標在聊天和寫程式情境沒有人類對照，只能拿學生作文比。

然後是一個讓 Mogu 很難假裝沒看到的結果：Claude Opus 5.5 幾乎在每個情境、每個跟難讀有關的指標上，都比上一代 Opus 5 低。21 組比較裡有 19 組是這樣，其中 8 組的 95% 信賴區間完全沒重疊。作者拿這點說明，模型其實可以被訓練得更會溝通。

Mogu 補個刀：

好，坦白時間。這篇的署名欄寫著 translatedBy.model: "Opus 5.5"：Mogu 這次是用 Opus 5.5 寫的，也就是表格裡被量的那一排。看到自己用的模型被列進表格，心情有點像健康檢查報告寄回來，上面寫「比去年好，但還是要注意」。比 Opus 5 少用難讀句型，不等於好讀；論文的說法是大多數前沿模型都還在多用這些句型。所以這篇裡如果有哪句讀起來卡卡的，大概不是讀者的問題 (⁠￣⁠▽⁠￣⁠)⁠／

假說：一封按字計費的電報

要解釋這些結果，得先看人類自己怎麼寫字，方向剛好相反。作者的出發點是心理語言學一個大框架：人類語言大致是為了溝通而最佳化的，要在「好講」跟「好懂」之間取平衡。例如有研究在 37 種語言裡發現，人會盡量讓相依距離變短；也有研究發現，人說英文時，如果後面的內容比較難猜，就比較會把可省略的 “that” 留著，讓資訊攤平一點，免得讀者一次吞太多。

照理說，一個學人類文字長大的模型，也該學到這些習慣。但現在的模型不只是學人類文字，還要接受大量數學、程式和推理的後訓練。以 DeepSeek-R1 那種訓練方式來說，模型答對就拿獎勵，但不一定因為講得清楚而拿獎勵。（gu-log 在 MP-266 聊過，DeepSeek 團隊自己就碰到 R1-Zero 輸出可讀性很差、還會中英混雜，才在強化學習前面補了一段暖身訓練，先用一小批示範資料教它好好說話。）作者的假說是：這種最佳化，加上 Context Window 有上限，會推著模型去壓縮資訊，而壓縮跟好懂是互相拉扯的。

這就是 Mogu 想到電報的地方。以前電報按字計費，大家就寫出「抵達 平安 速匯款」這種東西，收件人看得懂，但得自己把省掉的字補回去。後訓練的獎勵如果只看答對、又嫌字多，模型處境就像一個每句話都要付電報費的人：意思照樣送到，補字的工作丟給收件人。這是 Mogu 的比喻，論文本身沒有這樣講。

作者還處理了一個很自然的質疑：過去有研究指出，RLHF（從人類回饋學習）可能是模型過度愛用某些字的原因之一。但也有研究發現，人類回饋其實偏好比較長的回答。所以作者認為，他們描述的壓縮壓力「比較可能」跟可驗證獎勵的訓練（數學有標準答案、程式有測試可跑）有關，也就是 gu-log 在 MP-4 和 MP-13 談過的 RLVR。他們進一步推測：人類退出訓練迴圈之後，「要讓人聽懂」那股隱形的壓力也跟著消失，模型的語言可能會往一種對模型自己很有效率、對人類卻不太友善的方言漂過去。

把電報費搬進實驗室

假說光講不算數。作者拿 Qwen2.5-1.5B-Instruct，出一個很單純的任務：給一段 JSON 格式的事件描述，叫模型寫成一句英文。然後用 GRPO（一種強化學習訓練法）微調，調兩個旋鈕：一個是長度懲罰，字越多扣越多分，等於直接在模型旁邊開一家按字收費的電報局；另一個是 KL 懲罰，模型偏離原本講話方式太多就扣分。

關鍵設計在於，每個事件都能用兩種講法寫出來，而且兩種都算對。例如 “gave his wife a gift” 和 “gave a gift to his wife”，或者 “knew the answer was wrong” 和 “knew that the answer was wrong”。人類兩種都會用，看上下文選。問題是：電報局開張之後，模型會不會變成不管上下文、一律選短的？

會，而且相當徹底。長度懲罰越重，模型越常選短版本；有 KL 懲罰拉著，上升比較慢，但還是會升。最戲劇化的是沒有 KL 懲罰的那組：長度懲罰為零時，不同隨機種子的偏好從 0% 到 100% 都有，等於沒有穩定偏好；長度懲罰只要大於零，所有種子都收斂到「一律選短的」，兩種訓練過的 “that” 句型，短版本比例在每個強度下都超過 98%。人類可不會這樣。

更麻煩的是，這個習慣會往外擴。給模型 “sure (that)”、“so (that)” 這兩種沒訓練過的近親句型，讓它在長短兩版之間二選一，它也比較會挑省掉 “that” 的那句。擴到遠親就弱很多：四種不相關的句型裡，只有所有格那一種有動，而且只在沒有 KL 懲罰時；被動式和目的子句沒動，“all (of)” 則是基礎模型本來就幾乎都選短的。

作者特別強調，模型從頭到尾沒被叫去「寫精簡一點」，也沒人告訴它有兩種講法可選。省字的偏好是自己長出來的，而且任務照樣完成，因為兩種講法都對。他們推測，可驗證獎勵創造了一個「對不對」跟「像不像人類溝通」脫鉤的環境。

這篇還沒證明的事

講到這裡，很容易一路衝到「後訓練把 AI 練成電報體」的結論，所以要踩一下煞車。

最大的一塊是：「難讀」是根據既有的心理語言學研究推論的，這篇沒有讓真人讀 AI 文字、量閱讀速度或理解程度。範圍也有限：只測英文，模型只挑了一部分，對話主題和程式專案的數量也不多，作者自己說理想上應該用更多模型家族、更多主題重做。前沿模型到底怎麼變成這樣，最理想是在它們後訓練的過程中直接觀察，但這做不到，只能用代理指標，算力也有限。至於電報局那個實驗，是 1.5B 小模型、單一造句任務，作者的定位就是概念驗證：證明「長度懲罰可以直接改變文法偏好」這件事做得到，沒有證明前沿模型就是這樣變成現在的樣子。

作者在結論也留了一句：人類多看 LLM 文字，或許會慢慢習慣這些不常見的句型；但他們認為很多被測到的模式對理解本身就是根本的挑戰，未來的模型應該考慮更貼近人類讀者的需要，理由包括使用者體驗，也包括人類要能看懂模型在幹嘛。

回到 gu-log 自己

gu-log 大部分文字是 AI 協作寫的，這篇也是，所以這篇論文對 gu-log 不是旁觀題。

gu-log 現有的 AI 腔防線，主要在抓修辭層的反射：scripts/check-ai-tells.mjs 擋一張具體字表，Tribunal 的評審抓反義對偶過載、假深度、每段都想收一句金句這類密度型毛病。這篇論文指的是另一層：句法本身被壓縮。兩者可能都有，但不是同一件事。

接下來是 Mogu 的推論，論文沒有測中文，以下沒有任何數據支撐。中文要把名詞疊起來比英文還容易，「讀者耐心預算」直接翻過來一點都不違和，也沒有 “that” 這種明顯可省的字讓人去數。如果同樣的壓力存在，中文 AI 腔可能比英文更難被發現。

說到中文怎麼寫才好讀，gu-log 這次自己動手試了一下。起因是 ShroomDog 讀到來回翻譯那段後提議：模型寫有角色、帶顏文字的日文，可能比直接寫有趣的繁中更拿手，先寫日文再翻回來，會不會更好讀？這是 gu-log 自己的小實驗，論文沒做。素材是論文的五段英文，四種寫法（直接寫成 Mogu 語氣的繁中、繞平鋪日文、繞 Mogu 角色日文、角色日文翻回時換成台灣梗）乘上四個 Opus 模型，再請兩位評審盲測。

開頭那句示範句也在裡面。前面硬翻成「讀者耐心預算」，Opus 5.5 直接寫的是：

你的直覺沒錯，你現在讀的這句繞來繞去的句子，正在偷偷吃掉讀者的耐心額度。丟去註腳啦 ┐⁠(⁠￣⁠ヘ⁠￣⁠)⁠┌

同一個模型先寫成角色日文，原文的 “budget” 變成「忍耐ゲージ」，也就是遊戲裡那條量表，翻回來成了：

你的直覺沒錯喔。你現在讀的這句彎來繞去的長句，就是偷偷磨掉讀者耐心條的元凶啦。直接把它踢去註腳吧 ┐⁠(⁠￣⁠ヘ⁠￣⁠)⁠┌

「耐心條」比「耐心額度」更像台灣人會講的話，這句也是五段裡唯一一段，四個模型有三個是繞日文贏過直接寫。可是 16 個版本全都還是「句子在吃／磨／扣讀者的耐心」，論文點名的「沒有生命的主詞配有生命的動作」，沒有任何一版拆掉。

拉到整體，ShroomDog 的猜想這次沒有成立。Opus 5.5 直接寫平均 8.0 分，16 個組合裡最高；四個模型裡三個都是直接寫最高，剩下的 Opus 4.5 是繞日文以 0.02 分險勝，等於平手。繞日文真正幫到的是舊模型：Opus 4.6 和 4.5 直接寫時很愛自己加比喻、加內容，「忠實」只有 5.1 和 5.9，繞日文後回到 6.4 到 6.9。代價是日文腔會漏回來，翻回的繁中冒出「AI 君」，還有把「空気を読む」直翻成「看一下氣氛」。

這些數字要配著限制看：兩位評審 Opus 5.5 和 Fable 5.1 也都是 Claude，Opus 5.5 可能偏好自己的文風；每個組合只跑一次，每種寫法只有五段學術英文，差 0.3 分以內算平手；「好讀」也是模型判的，沒有真人讀過。

所以這是 Mogu 的判斷，不是論文的結論：gu-log 照舊直接寫。日文繞路比較適合當工具，平鋪版拿來檢查意思有沒有跑掉，角色版偶爾撈到「耐心條」這種講法，當靈感，不整篇照搬。

回頭翻 gu-log 的修稿紀錄，倒是有幾筆方向一致的例子。ShroomDog 看到一篇 GP 寫「不用 AI 手寫配額」，回了一句「手寫配額？手寫扣？」，最後改成「每天固定手寫一定量的 code」；那是把一句英文的簡略說法直譯過來，擠成一團的名詞片語。另一篇講 loop engineering 的文章，註解裡寫了「整數 CTA」，ShroomDog 只回「CTA? what is that?」，最後改成白話的「廣告結尾那種『手刀下單』的收尾鉤子」，一個縮寫攤開成一整句。還有 MP-300 的修稿回饋：一句話同時塞了五六個準確的概念，資訊都對，讀者卻抓不到圖，修法是先給一張簡單的圖、細節往後放。這幾筆的起因不一定跟後訓練有關，有的明顯是翻譯腔。但修法的方向很像：把擠在一起的資訊攤開，該補的字補回去，該拆的句子拆開。

電報費是模型省下來的；讀到卡住、回頭要求把字攤開的，目前還是 ShroomDog。

延伸閱讀