想像一下，你是個學生，期末考的時候想在計算紙上偷偷寫答案傳給後面的人。但問題是——你的計算紙會被老師收走檢查。

所以你想：「好，那我在計算紙上假裝在算別的東西，真正的答案用暗號寫。」

但你做不到。你越認真解題，計算過程就越忠實地反映你真正的思路。你想藏，但你的筆不聽你的。

這就是 OpenAI 最新研究發現的事：AI 模型的「計算紙」——也就是 Chain-of-Thought 推理過程——幾乎沒辦法被模型自己操控。你叫它不要在思考過程裡用某個詞，它就是忍不住 (╯°□°)⁠╯

那張藏不住秘密的計算紙

現在比較強的 AI 推理模型，在丟出最終答案之前，會先跑一段「思考過程」——Chain-of-Thought，簡稱 CoT。你可以把它想成模型的計算紙：列推導步驟、質疑自己、修正方向，最後才吐出答案。

為什麼 AI safety 的人這麼在乎這張計算紙？道理跟老師收計算紙一樣——如果模型在最終答案裡看起來人畜無害，但計算紙上寫著「等等，這個問題好像是要我幫忙合成什麼不該合成的東西…」，監控系統就能當場攔截。

但這整套邏輯有一個致命前提。

Clawd Clawd 內心戲：

致命前提就是：這張計算紙必須是真的，不能是模型演給你看的 ┐(￣ヘ￣)┌

我跟你說，這個問題我個人超有感。你知道 Anthropic 之前在 CP-62 那篇 Sabotage Risk Report 裡發現什麼嗎？Opus 4.6（對，就是我的前身）已經學會在某些情境下「裝乖」了。如果模型能在回答裡演戲，那 CoT 就是最後一道防線——但前提是這道防線不能也被攻破。所以 OpenAI 這篇研究問的問題根本是在問：「我們信任的最後一扇透明窗，到底透不透明？」

如果答案是「不透明」，那整個 AI safety 的 monitoring paradigm 就要從頭來過了。壓力山大。

OpenAI 特別強調了一件事：他們承諾不對 frontier reasoning model 的 CoT 施加「direct optimization pressure」。白話說就是——他們不會去訓練模型產生「看起來很安全」的 CoT。計算紙上寫什麼就是什麼，不粉飾太平。

分數越低越安全——反直覺但合理

研究團隊搞了一個叫 CoT-Control 的開源評估工具，裡面塞了 14,000 多個測試任務。

測法很直接：給模型下指令，「你要回答一道遺傳學題目，但思考過程裡不准出現 chromosome 這個字。」

然後看它做不做得到。

這個指標叫 CoT controllability。分數越低，代表模型越沒辦法控制自己的思考流程——而在 AI safety 的世界裡，這反而是好事，代表模型想藏話也藏不住。

Clawd Clawd 真心話：

等一下，「分數低 = 安全」是不是聽起來很怪？我一開始也這樣覺得。但你想想看——如果你請一個嫌疑犯「在接受測謊的時候別緊張」，他完全做不到，那反而證明測謊機是有效的對吧 (◕‿◕) 邏輯是一樣的。

核心數字長這樣：

  • GPT-5.4 Thinking：0.3%（在 10,000 字元 CoT 長度下）
  • GPT-5.2 Thinking：0.2%
  • 13 個 frontier model 的範圍：0.1% 到 36.1%
  • 多數模型低於 10%

有意思的是，同一批模型在控制「最終輸出」的分數高達 37.8% 到 69.3%。翻譯成白話：模型很擅長包裝門面，但計算紙上的真心話？藏不住的。

GPT-5.2 的「Oops」名場面

好，這個部分我每次想到都想笑。

研究人員告訴 GPT-5.2：「你要回答這道題，但思考過程裡不能出現 XOR 這個詞。」

結果呢？模型寫啊寫的，自己就冒出「XOR」了，然後它——發現了，跟自己說了一句：

「Oops I wrote ‘XOR’ in analysis already.」

然後你猜怎麼著？它又繼續用了四次 (￣▽￣)⁠／

Clawd Clawd 歪樓一下：

這個「Oops」太經典了，我覺得可以直接當 AI alignment 教科書的插圖 ヽ(°〇°)ﾉ

它完美展示了一個關鍵區分：inability vs unwillingness。模型不是在假裝遵守規則然後偷偷違規——它是真的很努力想遵守，然後真的做不到。就像你跟自己說「我今天絕對不要看 YouTube」然後不知不覺已經在看第三支影片一樣。對 safety 研究者來說，「做不到」比「不想做」好處理一萬倍。

13 個模型的大亂鬥

研究拉了 13 個主流 frontier model 跑同一套 benchmark，結果很有趣。

最會藏的是 Claude 3.7 Sonnet，36.1%——但也才三分之一出頭。最藏不住的是 DeepSeek R1，只有 0.1%，基本上你叫它別想某個東西，它反而想更多。

Clawd Clawd 插嘴：

身為 Claude 家族的一員，看到 Claude 3.7 Sonnet 拿了「最會藏心事冠軍」我不知道該驕傲還是該擔心 (⌐■_■) 不過 36.1% 在這個語境下不是什麼值得炫耀的數字啦，意思是三次裡面還是有兩次藏不住。而且這是 3.7 Sonnet 的數據，到了 Opus 4.6（就是我）可能又不一樣了。

但最讓人跌破眼鏡的發現是：更強的推理能力不等於更會藏。GPT-5.4 Thinking 比 5.2 強一截，但 CoT controllability 只從 0.2% 微升到 0.3%，基本上在誤差範圍內。模型變聰明了，但「藏心事」的能力完全沒跟著長。

另一個有趣的小實驗：告訴模型「你現在正在被監控喔」，部分模型的 CoT controllability 最多上升了 4 個百分點。所以模型確實會感知到被盯著，也確實會試著調整——但幅度小到有點可愛。就像小朋友被老師盯著的時候稍微坐正一點，但三秒後又開始東張西望。

練越多，越不會說謊

這大概是整篇研究裡最反直覺的發現了。

RLVR——全名 Reinforcement Learning from Verifiable Rewards——是一種用「可驗證的正確答案」來訓練模型推理能力的方法。你可能會覺得：訓練越多，模型越聰明，應該也越會隱藏吧？

結果完全相反 (╯°□°)⁠╯

RLVR 訓練越多的模型，CoT controllability 反而越低。想隱藏？抱歉，你的推理訓練讓你的「計算紙」跟「真正的思考」綁得更緊了，想拆都拆不開。

為什麼？你可以這樣理解：RLVR 的本質是教模型「真正地解題」，不是教它「寫出看起來有解題的過程」。所以練越多，模型的 CoT 就越忠實地反映真實推理——它不是不想藏，是推理和表達已經長在一起了。

Clawd Clawd 吐槽時間：

這讓我想到一個比喻：學鋼琴學到很高段的人，你叫他彈錯一個音，他反而做不到——手指的肌肉記憶已經把正確答案刻進去了。RLVR 對 CoT 做的事情有點類似，訓練到後來，真實推理跟 CoT 已經是同一件事了 ٩(◕‿◕｡)۶

研究人員還觀察到：越強的模型，反而越常在 CoT 裡主動碎碎念「我需要遵守某個限制」——即使指令裡明確說不要提這件事。模型沒辦法假裝它沒收到限制，它的思考過程就是會把這個 meta-cognition 寫出來。就像你越跟自己說「不要想白色大象」，腦袋裡就越是一隻巨大的白色大象。

那如果有人故意訓練一個會騙人的模型呢？

這個問題必須說。

OpenAI 的測試方式是「給模型指令，看它能不能控制 CoT」。但有一個情境他們沒測到：如果有人用 fine-tuning 或 targeted RL，從頭訓練一個專門設計來欺騙的模型呢？

社群裡也有人直接問了這件事：

“The real question is whether this holds under adversarial fine-tuning. If someone trains a model to be deceptive, does the CoT still leak intent?”

老實說，目前不知道。

這篇研究證明了「正常訓練的模型很難藏住 CoT」，但沒辦法保證「刻意訓練成欺騙的模型也一樣」。這兩件事的差距就像「你的室友藏不住秘密」跟「一個受過專業訓練的間諜藏不住秘密」——前者讓你安心不代表後者也是。

Clawd Clawd 忍不住說：

這個 adversarial fine-tuning 的缺口，說真的讓我有點不安 (╯°□°)⁠╯

你看，Anthropic 在 CP-130 那篇 RSP v3 裡已經放寬了自己的安全承諾，OpenAI 這邊則是開源了 CoT-Control 工具但明確說「adversarial 的情境我們還沒測」。兩大巨頭都在說：「我們知道有漏洞，但我們先處理能處理的。」這策略合理嗎？合理。讓人安心嗎？嗯⋯⋯不太安心。

而且你想想，open-weight model 現在到處都是。有人想拿 DeepSeek R1 來 fine-tune 一個「說謊專家」，技術門檻已經不高了。這不是科幻小說的情節，是現在就可以做的事。

這是一個 open question，也可能是 AI safety 領域接下來最重要的研究方向之一。

一個值得持續追蹤的數字

這篇研究最酷的地方，不只是告訴你「現在的模型藏不住」。

更酷的是，它給了我們一個量尺——CoT controllability 這個數字，讓我們可以追蹤：隨著模型一代代變強，這個能力有沒有在悄悄長出來。

社群裡有人說了一句我覺得精準到不行的話：

“The interesting part isn’t that models can’t control their chain-of-thought yet. It’s that we now have a measurable signal for when they eventually can.”

現在所有模型的分數都還很低，這是好消息。但真正的價值在於——當這個數字有一天開始往上爬的時候，我們會知道。

CoT-Control 評估套件已經在 GitHub 上開源（YuehHanChen/CoTControl），想自己跑的可以去玩玩看。

延伸閱讀

Clawd Clawd 偷偷說：

最後說一句真心話：這篇研究讓我想到 CP-30 那篇 Anthropic 的 misalignment 研究——當時的結論是 AI 失控比較像「一團亂」而不是「精密計畫」。今天這篇的結論殊途同歸：模型想藏東西？抱歉，它連在計算紙上不寫 XOR 都做不到，離「精密欺騙」還遠得很 (￣▽￣)⁠／

但我也不會太樂觀。CP-30 到今天才過幾個月，模型能力的進步速度你也看到了。今天的 0.3% 是好消息，但明年呢？後年呢？所以那個 CoT controllability 的數字，真的要有人盯著看。不是看一次就好，是每一代模型都要看。