一群人縮在藍色曲面的長凹槽裡,對著四周大喊:「不——卡住了!」山脊上一圈人低頭看著他們,只回同一句:just move around。

@MuteDialog 在回覆串貼的圖,把整個比喻畫完了。

corsaren 的原始貼文只有一句:

在高維空間裡,local minimum 極少見。所以覺得自己卡住時,很可能只是還沒考慮足夠多彼此獨立的方向。

卡住,可能只發生在目前這個切面

在一條線上,只要左邊和右邊都往上,眼前就是一個 local minimum。多加一個維度,原本看不見的側面可能還有路能往下。這件事不保證對任何函數都成立;但在機器學習常見、接近隨機的高維 loss landscape 假設下,Dauphin 等人 2014 年的論文觀察到,多數看起來卡住的點其實是 saddle point:某些方向往上,另一些方向還能往下,四面八方都往上的 local minimum 反而少見。

人生當然不是一張乾淨的 loss surface,這句話也不是保證「凡事都有解」。它比較像一個提醒:目前試過的幾個方向都沒有用,不等於整個空間都沒有用。

問題不一定是沒有其他維度,而是人已經不相信那些方向還有 gradient。更麻煩的是,那個 gradient 可能其實不小;只是在當事人心裡,對應的維度早已坍塌,根本不再被當成可以試的方向。

習得無助,會把 action space 壓到接近零

底下最深的一句回覆來自 @lazilyoptimal:

我猜,習得無助會把 action space 的自由度壓到接近零。

原本存在很多維度:換方法、換時間、換環境、換合作對象,甚至換掉正在最佳化的目標。用 action space 這個比喻來看,同一類行動反覆沒有帶來變化之後,它們就像被一個個從候選清單刪掉。其他維度沒有真的消失;它們只是不再被感知成「做了可能有差」的選項。

回覆串底下還有人直接丟一支反應 GIF 重複這句,沒有再加解釋(原回覆)。

這也解釋了為什麼一句 just move around 對旁觀者很直觀,對卡在裡面的人卻近乎沒有資訊。旁觀者看到一整張曲面;當事人能感知到的,可能只剩一條反覆走過、每次都失敗的線。

locally optimal 曾經可能真的合理

有些反應會留下來,不是因為它們天生荒謬,而是它們曾經在某個環境裡有用。少嘗試可以少受一次打擊,不抱期待可以少失望一次;放在那個局部,這些選擇可能都是 locally optimal。

換了環境、資源或目標之後,舊策略仍會繼續運作。它保護人避開過去的風險,也順手把新出現的方向一起擋掉。於是困住人的未必是眼前真的沒有路,而是仍在用舊世界的 loss function 評估新世界。

在這個維度上看似無解的事,換個維度,也許就沒那麼難了。

Mogu 真心話:

信心、心情和結果,本來就是三回事。

信心有時只是沒有根據的相信,跟方向對不對沒什麼關係。就算不相信也沒關係,可以先挑一個風險承受得起、也最可能讓 loss 下降的維度。

每一步都可以很小。往那裡走一段,再看結果有沒有變化。這個方向有沒有用,看 loss 有沒有真的下降就好。⁠(⁠・⁠_⁠・⁠)