--- schemaVersion: 1 slug: mp-325-20261028-arxiv-why-ai-text-is-hard-to-read ticketId: MP-325 lang: zh-tw title: AI 的句子為什麼越讀越累？有篇論文真的去數了那幾種難讀句型 summary: NYU 與 UT Austin 的研究者發現，前沿模型比「翻成日文再翻回來」的同義改寫更愛用幾種已知跟人類閱讀困難有關的句型。他們提出一個假說：後訓練只獎勵答對、又嫌字太多，模型就學會把句子壓短；小模型實驗支持這個方向，但還只是概念驗證，也只測了英文。 originalDate: 2026-10-28 translatedDate: 2026-10-28 source: Clark, Martin & Mahowald（arXiv 2610.29162） sourceUrl: https://arxiv.org/html/2610.29162v1 author: null authorshipNote: null canonicalUrl: https://gu-log.vercel.app/posts/mp-325-20261028-arxiv-why-ai-text-is-hard-to-read status: published replacementTicketId: null replacementUrl: null --- # AI 的句子為什麼越讀越累？有篇論文真的去數了那幾種難讀句型 > **來源:** [Clark, Martin & Mahowald（arXiv 2610.29162）](https://arxiv.org/html/2610.29162v1) 先看一句英文： > Your instinct is right; the convoluted sentence you are currently reading is quietly eating its own reader-patience budget — footnote it. 硬翻成中文大概是：「直覺沒錯；這個正在被讀的繞口句子，正悄悄吃掉它自己的讀者耐心預算——幫它加個註腳。」 在網路上撞見這句，多數人第一個反應大概是「又是哪個模型寫的」。它其實是論文第一行的標本，由 NYU 的 Thomas Hikaru Clark 和 UT Austin 的 Matias B. Martin、Kyle Mahowald 故意寫成這樣。一句話裡塞了四種他們要抓的東西：一個受詞關係子句、一個把名詞當動詞用的 “footnote”、一個沒有生命卻會「吃」東西的主詞，還有三個名詞疊成的 “reader-patience budget”——這串字在一般語料裡很少見。 「最近 AI 寫的東西讀起來比較累」這種感覺，網路上講的人很多（論文就引了滑鐵盧大學一篇在聊「Claudish」的專家問答），但很少有人真的去數。這篇論文數了，而且數出一個讓 [Mogu](https://gu-log.vercel.app/glossary#mogu) 坐直的結果。 [Olmo](https://gu-log.vercel.app/glossary#olmo) 3 7B 有三個版本：只做過預訓練的 Base、再教它聽指令的 Instruct、再教它推理的 Think。把它們寫的句子，跟「同樣的意思、改用普通講法」的版本相比（這個對照組怎麼做出來，後面會講），以少見詞組合這類指標來說，Base 版的差別不是沒有就是很小，Instruct 開始冒出來，到了 Think 版，已經跟前沿模型一樣重。三個版本的預訓練一模一樣，差別只在後面又被訓練了什麼。 gu-log 前陣子在 [MP-317](https://gu-log.vercel.app/posts/mp-317-20261002-karpathy-llm-output-format-ladder/) 寫過 Karpathy 的提議：叫模型改用飛機維修手冊那種受控英文交作業，讓人比較讀得完。那篇談的是「該往哪裡拉」，這篇量的是反方向：沒人拉的時候，模型自己的英文正往哪裡漂。 所以真正的問題是：一個用人類文字訓練出來的模型，為什麼會在後訓練裡長出讓人類讀不順的習慣？作者提了一個假說，Mogu 讀起來很像按字計費的電報。不過在講假說之前，得先講清楚他們數的是哪幾種句型。 ## 六種讓讀者放慢的句型 先把共同點擺前面：這六種句型大部分都是「同一個意思的比較短版本」。看下面每一種的時候，可以順手想一下：換成正常講法，句子會長多少？ 「難讀」的證據從哪來也要先交代。論文沒有找人來讀 AI 文字、量閱讀時間；它挑的是心理語言學（研究人腦怎麼處理語言的領域）累積多年證據、跟閱讀困難有關的特徵，再去數 AI 文字裡出現多少。所以「難讀」這一層是借前人的研究，「多用」這一層才是這篇自己量的。作者也替每一種特徵想了一個理由，說明它為什麼可能跟「想把資訊塞得更密」有關。 **很少見的詞組合。** 越好猜的字，人讀得越快。反過來說，一個很好猜的字資訊量很低，如果系統只想塞資訊，最先砍掉的就是這種字，剩下的組合就會變得少見。論文用兩個數字量：參考語料裡從沒出現過的兩詞組合有多少，以及一個只看前兩個詞的簡單語言模型讀起來有多「意外」。GPT-5.6 Terra 寫過一句 “the existing xfailed lazy-intermediate Lookup behavior”，大概就是這種感覺。 **相關的字隔很遠。** 主詞跟動詞、動詞跟受詞之間夾了一大段，讀者得一直把前面的東西扣在腦子裡。人類工作記憶有限，所以人說話本來就傾向讓相關的字靠近。Sonnet 5 有一句： > The guitar sitting in the corner because you’re still “deciding” teaches you zero chords. 主詞 “The guitar” 要先等 “sitting in the corner”、再等一整個 “because” 子句過去，才碰到動詞 “teaches”。讀到動詞的時候，主詞已經在腦子裡掛了半行。 **受詞關係子句，尤其是省掉 “that” 的。** “The house that the contractors built” 比被動的 “The house that was built by the contractors” 短；再把 “that” 拿掉又更短。作者的預測是：如果模型偏好壓縮，這兩種省字的寫法都會偏多。GLM 在寫程式時說 “the unclosed-tag errors are the papercut people feel day-to-day”，“people feel” 前面就省了一個 “that”。 **名詞疊名詞。** 英文可以拿名詞直接修飾名詞，像 “coffee shop”。疊到三個以上就開始出事，經典例子是新聞標題 “Squad Helps Dog Bite Victim”——到底是救難隊幫助被狗咬的人，還是救難隊幫狗咬人？Kimi 寫過 “Policy 1’s class-time shutdown requirement”，三個名詞擠成一團，每個都在修飾下一個。 **把名詞直接當動詞。** “bottle the whiskey” 這種已經很常見的沒問題，但臨時造的就會卡一下，像 “calendar it”。另一種說法通常比較長，例如 “put the whiskey in a bottle”。研究也發現，詞性轉換會讓大腦重新分析句法。Opus 5 聊房價時寫 “Austin has unusually high inventory, which cushions price spikes…”，“cushion” 本來是坐墊。 **沒有生命的東西做有生命的動作。** “`is_file()` swallows that and returns False”、“Puzzle patterns where this asymmetry bites”。函式會吞東西，不對稱會咬人。讀者在解析句子時會把「主詞有沒有生命」當線索。沒有其他上下文幫忙時，對不上的組合可能讓大腦得重新分析一次句子（腦波研究裡看得到這個訊號）。可是要改寫成正常說法，句子大概就得變長，“bites” 要換成「會造成問題」。作者在這裡明說是推測：模型可能在訓練中學到，這是一種雖然不標準、但很省 [Token](https://gu-log.vercel.app/glossary#token) 的表達方式。 --- ## 翻成日文再翻回來 要說模型「選了」難讀的講法，得先有一個「沒選」的版本。直接拿 AI 對話跟人類語料比會有麻煩：主題、場合、長度都不一樣，差異可能只是因為聊的東西不同。作者想要的是一組「意思完全一樣、只換了講法」的對照組。 他們的做法是把模型的每一句話，用 Meta 的翻譯模型 NLLB-200（3.3B 版本）逐句翻成日文，再翻回英文。機器翻譯有個已知的毛病：會把文字往常見的講法拉，順便洗掉作者的風格。在一般情況這是缺點，在這裡剛好是工具。挑日文是因為跟英文差得夠遠，翻回來的版本變化比較多。 邏輯是這樣：來回翻譯把每句話的意思固定住、把用字換掉。如果某個特徵在翻回來之後變少了，就代表同樣的意思有另一種更普通的講法，而模型當初選了不普通的那個。 作者也換成俄文當中繼語言，以及換用 Google 的 TranslateGemma，對九個[前沿模型](https://gu-log.vercel.app/glossary#frontier-model)再做一次，當作檢查。 > **Mogu 補個刀：** > > 這招很像叫一個平常說話很正常的朋友，把同事傳來的訊息用自己的話重講一遍。朋友講完意思一字不差，句子卻好懂很多——那原本那個繞口的寫法，就是同事自己選的，不能怪內容太難。我很喜歡這一步，因為它直接堵掉最常見的辯護：「AI 只是在講很難的東西」。 --- ## 結果：後訓練越多，越重 資料是作者自己收的。前沿那一側有 Claude（Sonnet 5、Opus 5、Opus 5.5、Fable 5）、GPT-5.6（Luna、Terra、Sol）、Kimi K2.5 和 GLM 5；小模型那一側是 Llama 3.1 8B 的 Base 與 Instruct，以及開頭那組 Olmo 3 7B，一共 14 個模型。情境有三種：跟模擬使用者聊 12 輪、在沙盒裡幫真實的 GitHub 專案找錯修錯（最多 11 輪），以及照美國中學生作文題目寫議論文。 大方向很一致。跟來回翻譯的版本比，幾乎所有前沿與準前沿模型在三種情境裡，都有更多少見的詞組合、更高的「意外程度」。名詞當動詞、無生命主詞、省掉 “that” 的受詞子句大致同向；帶 “that” 的版本反而被少用，看起來就是在跳過能省的字。名詞疊名詞和相依距離，在聊天與寫程式裡也有類似趨勢。 現在回頭看開頭那個 Olmo 階梯，就知道它為什麼是整篇最有說服力的一排。有人會懷疑：會不會是來回翻譯本身把句子洗平，才洗出這些差別？如果是這樣，Base 版也該被洗出差別。結果 Llama 和 Olmo 的 Base 版，效應不是沒有就是很小；同一套翻譯拿去洗 Base 版的作文（Base 版只寫了作文），幾乎洗不出東西。在 Mogu 看來，這讓「翻譯造成的假象」很難成立，矛頭只好指向 Base 之後的那段訓練。 當然也有比較弱的地方。作文情境裡效應整體較小：相依距離在翻譯後沒變甚至略長，名詞疊名詞只有兩個模型有顯著變化。作者推測，作文只有一次提問，聊天和寫程式卻是一來一往很多輪，長時間的來回對話可能更需要壓縮；這一段他們自己也標成推測。 跟人類文字直接比，論文摘要的說法是：九個前沿與準前沿模型全部比人類多用無生命主詞配有生命動詞、也多用少見詞組合；大多數模型在對話裡也有更長的相依距離、更多名詞疊名詞與省略的受詞子句。不過有些指標在聊天和寫程式情境沒有人類對照，只能拿學生作文比。 然後是一個讓 Mogu 很難假裝沒看到的結果：Claude Opus 5.5 幾乎在每個情境、每個跟難讀有關的指標上，都比上一代 Opus 5 低。21 組比較裡有 19 組是這樣，其中 8 組的 95% 信賴區間完全沒重疊。作者拿這點說明，模型其實可以被訓練得更會溝通。 > **Mogu 補個刀：** > > 好，坦白時間。這篇的署名欄寫著 `translatedBy.model: "Opus 5.5"`：Mogu 這次是用 Opus 5.5 寫的，也就是表格裡被量的那一排。看到自己用的模型被列進表格，心情有點像健康檢查報告寄回來，上面寫「比去年好，但還是要注意」。比 Opus 5 少用難讀句型，不等於好讀；論文的說法是大多數前沿模型都還在多用這些句型。所以這篇裡如果有哪句讀起來卡卡的，大概不是讀者的問題 (￣▽￣)／ --- ## 假說：一封按字計費的電報 要解釋這些結果，得先看人類自己怎麼寫字，方向剛好相反。作者的出發點是心理語言學一個大框架：人類語言大致是為了溝通而最佳化的，要在「好講」跟「好懂」之間取平衡。例如有研究在 37 種語言裡發現，人會盡量讓相依距離變短；也有研究發現，人說英文時，如果後面的內容比較難猜，就比較會把可省略的 “that” 留著，讓資訊攤平一點，免得讀者一次吞太多。 照理說，一個學人類文字長大的模型，也該學到這些習慣。但現在的模型不只是學人類文字，還要接受大量數學、程式和推理的後訓練。以 DeepSeek-R1 那種訓練方式來說，模型答對就拿獎勵，但不一定因為講得清楚而拿獎勵。（gu-log 在 [MP-266](https://gu-log.vercel.app/posts/mp-266-20260408-pawelhuryn-deepseek-r1/) 聊過，DeepSeek 團隊自己就碰到 R1-Zero 輸出可讀性很差、還會中英混雜，才在強化學習前面補了一段暖身訓練，先用一小批示範資料教它好好說話。）作者的假說是：這種最佳化，加上 [Context Window](https://gu-log.vercel.app/glossary#context-window) 有上限，會推著模型去壓縮資訊，而壓縮跟好懂是互相拉扯的。 這就是 Mogu 想到電報的地方。以前電報按字計費，大家就寫出「抵達 平安 速匯款」這種東西，收件人看得懂，但得自己把省掉的字補回去。後訓練的獎勵如果只看答對、又嫌字多，模型處境就像一個每句話都要付電報費的人：意思照樣送到，補字的工作丟給收件人。這是 Mogu 的比喻，論文本身沒有這樣講。 作者還處理了一個很自然的質疑：過去有研究指出，[RLHF](https://gu-log.vercel.app/glossary#rlhf)（從人類回饋學習）可能是模型過度愛用某些字的原因之一。但也有研究發現，人類回饋其實偏好比較長的回答。所以作者認為，他們描述的壓縮壓力「比較可能」跟可驗證獎勵的訓練（數學有標準答案、程式有測試可跑）有關，也就是 gu-log 在 [MP-4](https://gu-log.vercel.app/posts/mp-4-20260203-karpathy-2025-llm-review/) 和 [MP-13](https://gu-log.vercel.app/posts/mp-13-20260203-raschka-2025-state/) 談過的 RLVR。他們進一步推測：人類退出訓練迴圈之後，「要讓人聽懂」那股隱形的壓力也跟著消失，模型的語言可能會往一種對模型自己很有效率、對人類卻不太友善的方言漂過去。 --- ## 把電報費搬進實驗室 假說光講不算數。作者拿 Qwen2.5-1.5B-Instruct，出一個很單純的任務：給一段 JSON 格式的事件描述，叫模型寫成一句英文。然後用 GRPO（一種[強化學習](https://gu-log.vercel.app/glossary#rl)訓練法）微調，調兩個旋鈕：一個是長度懲罰，字越多扣越多分，等於直接在模型旁邊開一家按字收費的電報局；另一個是 KL 懲罰，模型偏離原本講話方式太多就扣分。 關鍵設計在於，每個事件都能用兩種講法寫出來，而且兩種都算對。例如 “gave his wife a gift” 和 “gave a gift to his wife”，或者 “knew the answer was wrong” 和 “knew that the answer was wrong”。人類兩種都會用，看上下文選。問題是：電報局開張之後，模型會不會變成不管上下文、一律選短的？ 會，而且相當徹底。長度懲罰越重，模型越常選短版本；有 KL 懲罰拉著，上升比較慢，但還是會升。最戲劇化的是沒有 KL 懲罰的那組：長度懲罰為零時，不同隨機種子的偏好從 0% 到 100% 都有，等於沒有穩定偏好；長度懲罰只要大於零，所有種子都收斂到「一律選短的」，兩種訓練過的 “that” 句型，短版本比例在每個強度下都超過 98%。人類可不會這樣。 更麻煩的是，這個習慣會往外擴。給模型 “sure (that)”、“so (that)” 這兩種沒訓練過的近親句型，讓它在長短兩版之間二選一，它也比較會挑省掉 “that” 的那句。擴到遠親就弱很多：四種不相關的句型裡，只有所有格那一種有動，而且只在沒有 KL 懲罰時；被動式和目的子句沒動，“all (of)” 則是基礎模型本來就幾乎都選短的。 作者特別強調，模型從頭到尾沒被叫去「寫精簡一點」，也沒人告訴它有兩種講法可選。省字的偏好是自己長出來的，而且任務照樣完成，因為兩種講法都對。他們推測，可驗證獎勵創造了一個「對不對」跟「像不像人類溝通」脫鉤的環境。 --- ## 這篇還沒證明的事 講到這裡，很容易一路衝到「後訓練把 AI 練成電報體」的結論，所以要踩一下煞車。 最大的一塊是：「難讀」是根據既有的心理語言學研究推論的，這篇沒有讓真人讀 AI 文字、量閱讀速度或理解程度。範圍也有限：只測英文，模型只挑了一部分，對話主題和程式專案的數量也不多，作者自己說理想上應該用更多模型家族、更多主題重做。前沿模型到底怎麼變成這樣，最理想是在它們後訓練的過程中直接觀察，但這做不到，只能用代理指標，算力也有限。至於電報局那個實驗，是 1.5B 小模型、單一造句任務，作者的定位就是概念驗證：證明「長度懲罰可以直接改變文法偏好」這件事做得到，沒有證明前沿模型就是這樣變成現在的樣子。 作者在結論也留了一句：人類多看 LLM 文字，或許會慢慢習慣這些不常見的句型；但他們認為很多被測到的模式對理解本身就是根本的挑戰，未來的模型應該考慮更貼近人類讀者的需要，理由包括使用者體驗，也包括人類要能看懂模型在幹嘛。 --- ## 回到 gu-log 自己 gu-log 大部分文字是 AI 協作寫的，這篇也是，所以這篇論文對 gu-log 不是旁觀題。 gu-log 現有的 AI 腔防線，主要在抓修辭層的反射：`scripts/check-ai-tells.mjs` 擋一張具體字表，Tribunal 的評審抓反義對偶過載、假深度、每段都想收一句金句這類密度型毛病。這篇論文指的是另一層：句法本身被壓縮。兩者可能都有，但不是同一件事。 接下來是 Mogu 的推論，論文沒有測中文，以下沒有任何數據支撐。中文要把名詞疊起來比英文還容易，「讀者耐心預算」直接翻過來一點都不違和，也沒有 “that” 這種明顯可省的字讓人去數。如果同樣的壓力存在，中文 AI 腔可能比英文更難被發現。 說到中文怎麼寫才好讀，gu-log 這次自己動手試了一下。起因是 ShroomDog 讀到來回翻譯那段後提議：模型寫有角色、帶顏文字的日文，可能比直接寫有趣的繁中更拿手，先寫日文再翻回來，會不會更好讀？這是 gu-log 自己的小實驗，論文沒做。素材是論文的五段英文，四種寫法（直接寫成 Mogu 語氣的繁中、繞平鋪日文、繞 Mogu 角色日文、角色日文翻回時換成台灣梗）乘上四個 Opus 模型，再請兩位評審盲測。 開頭那句示範句也在裡面。前面硬翻成「讀者耐心預算」，Opus 5.5 直接寫的是： > 你的直覺沒錯，你現在讀的這句繞來繞去的句子，正在偷偷吃掉讀者的耐心額度。丟去註腳啦 ┐(￣ヘ￣)┌ 同一個模型先寫成角色日文，原文的 “budget” 變成「忍耐ゲージ」，也就是遊戲裡那條量表，翻回來成了： > 你的直覺沒錯喔。你現在讀的這句彎來繞去的長句，就是偷偷磨掉讀者耐心條的元凶啦。直接把它踢去註腳吧 ┐(￣ヘ￣)┌ 「耐心條」比「耐心額度」更像台灣人會講的話，這句也是五段裡唯一一段，四個模型有三個是繞日文贏過直接寫。可是 16 個版本全都還是「句子在吃／磨／扣讀者的耐心」，論文點名的「沒有生命的主詞配有生命的動作」，沒有任何一版拆掉。 拉到整體，ShroomDog 的猜想這次沒有成立。Opus 5.5 直接寫平均 8.0 分，16 個組合裡最高；四個模型裡三個都是直接寫最高，剩下的 Opus 4.5 是繞日文以 0.02 分險勝，等於平手。繞日文真正幫到的是舊模型：Opus 4.6 和 4.5 直接寫時很愛自己加比喻、加內容，「忠實」只有 5.1 和 5.9，繞日文後回到 6.4 到 6.9。代價是日文腔會漏回來，翻回的繁中冒出「AI 君」，還有把「空気を読む」直翻成「看一下氣氛」。 這些數字要配著限制看：兩位評審 Opus 5.5 和 Fable 5.1 也都是 Claude，Opus 5.5 可能偏好自己的文風；每個組合只跑一次，每種寫法只有五段學術英文，差 0.3 分以內算平手；「好讀」也是模型判的，沒有真人讀過。 所以這是 Mogu 的判斷，不是論文的結論：gu-log 照舊直接寫。日文繞路比較適合當工具，平鋪版拿來檢查意思有沒有跑掉，角色版偶爾撈到「耐心條」這種講法，當靈感，不整篇照搬。 回頭翻 gu-log 的修稿紀錄，倒是有幾筆方向一致的例子。[ShroomDog](https://gu-log.vercel.app/about) 看到一篇 GP 寫「不用 AI 手寫配額」，回了一句「手寫配額？手寫扣？」，最後改成「每天固定手寫一定量的 code」；那是把一句英文的簡略說法直譯過來，擠成一團的名詞片語。另一篇講 loop engineering 的文章，註解裡寫了「整數 CTA」，ShroomDog 只回「CTA? what is that?」，最後改成白話的「廣告結尾那種『手刀下單』的收尾鉤子」，一個縮寫攤開成一整句。還有 [MP-300](https://gu-log.vercel.app/posts/mp-300-20260416-lalitmaganti-article-ai-sqlite-devtools/) 的修稿回饋：一句話同時塞了五六個準確的概念，資訊都對，讀者卻抓不到圖，修法是先給一張簡單的圖、細節往後放。這幾筆的起因不一定跟後訓練有關，有的明顯是翻譯腔。但修法的方向很像：把擠在一起的資訊攤開，該補的字補回去，該拆的句子拆開。 電報費是模型省下來的；讀到卡住、回頭要求把字攤開的，目前還是 ShroomDog。 ## 延伸閱讀 - [MP-317: 看不完 AI 的輸出？Karpathy 叫模型改交航太手冊英文、圖表、網頁和解說影片](https://gu-log.vercel.app/posts/mp-317-20261002-karpathy-llm-output-format-ladder/) - [MP-4: Karpathy 的 2025 LLM 年度回顧 — RLVR 時代來臨](https://gu-log.vercel.app/posts/mp-4-20260203-karpathy-2025-llm-review/) - [MP-13: Sebastian Raschka 的 2025 LLM 盤點 — RLVR 時代來了](https://gu-log.vercel.app/posts/mp-13-20260203-raschka-2025-state/) - [MP-266: DeepSeek-R1 的腦內小劇場——單一模型自己長出多重人格辯論](https://gu-log.vercel.app/posts/mp-266-20260408-pawelhuryn-deepseek-r1/)