啟發日記D295『閱讀與刷題』

親愛的，你今天過得好嗎？ 今天想和你分享的啟發關鍵詞是： 「刷題與閱讀」。 常覺得這是個專屬於人類學生的議題。 但最近看到一些AI如何被訓練的研究，忽然覺得： 也許閱讀與刷題，原本就在學習過程中訓練兩種不同的能力。 當然，人腦不是AI，兩者不能直接畫上等號。但如果把AI的訓練當成一面鏡子，反過來看看人的學習，倒是很有意思。 今天的大型語言模型，在真正能回答我們的問題以前，通常要先經歷漫長的所謂「預訓練」。 簡單來說，AI 在預訓練時，會根據前面的文字，反覆預測下一個最可能出現的詞。 它一開始未必像人一樣「理解」句子的意思；它先學到的，是哪些詞、哪些語句、哪些情境，常常會一起出現。 但當這件事重複無數次後，為了把下一個詞猜得更準，它不能只背字典，也得逐漸掌握語言、事實、情境，甚至某些因果關係。 2022 年，DeepMind 著名的 Chinchilla 研究發現： 在相同計算資源下，並不是模型愈大就一定愈好； 模型也需要足夠多的訓練資料。 換成人的語言來想： 腦筋再好， 如果沒有足夠的閱讀、經驗與見識， 也很難憑空長出理解世界的能力。 這讓我們想到閱讀。 我們讀過的歷史、小說、科學、心理學，甚至旅行過的地方、做過的工作、遇見的人，都像是在腦中留下不同的素材。 今天讀一本歷史，也許沒有立刻派上用場。 讀一篇小說，也不會明天就讓工作能力提高。 但某一天，當我們碰到一個陌生的問題，腦中突然浮出以前讀過的一段故事；兩件原本毫無關係的事情，忽然接了起來。 那時才發現： 閱讀不一定是在提供答案，而是在腦中增加更多通往答案的路。 AI研究裡還有一個很有趣的現象，叫做「grokking」。 研究者曾讓模型反覆學習一些數學規則。 一開始，它很快就把練習題背熟了，碰到沒見過的題目卻還是不會。 奇妙的是，繼續訓練很久之後，有些模型會突然開始掌握背後的規律，能把學到的東西運用到新的題目。 這當然不能直接等同於人的「開悟」，卻很容易讓人想起一句老話： 「讀書百遍，其義自見。」 有些內容， 第一次讀，只記住一句話；第二次讀，似乎懂了一點；直到自己真正經歷過某件事，才忽然明白： 原來作者當年說的是這個。 可是，光讀得多，還有另一個問題： 真正需要的時候，我們用得出來嗎？ AI完成大量預訓練後，還會經過不同形式的所謂「後訓練」：看好的示範、接受回饋，或在數學、程式等可以驗證答案的領域，不斷嘗試與修正。 AI研究裡有兩個很有意思的指標。 一個叫pass@k：另一個叫pass@1 pass@k 衡量的是：模型對同一道題產生k 個候選答案時， 至少有一個 通過測試的機率； pass@1 則是只產生一個答案時的成功率。只給一次機會，第一次就要答對。 pass@k 有點像： 「如果多給幾次嘗試，能不能找到正確的路？」 pass@1 則像： 「只給一次機會時，能不能直接走對？」 前者比較接近「能力是否曾經出現過」； 後者則更接近「第一次能否穩定叫出這份能力」。 這不禁讓我們回想當學生常說的一句話： 「這題我會啊，只是考試的時候沒有想到。」 公式學過、老師講過，訂正時一看也懂。 問題是—考試的時候就是沒有出現。 而刷題的功能，可能正在這裡。 它不只是增加知識，而是在練習： 看到什麼線索，要想到什麼工具？ 哪裡容易犯錯？ 下一次碰到類似情況，能不能更快找到入口？ 這件事情，其實不只發生在學生身上。 我們讀過「確認偏誤」，知道人會特別尋找支持自己觀點的證據。 但當別人批評自己的作品時，還想得起來嗎？ 我們知道「倖存者偏差」，可是看到一位成功企業家說：「我就是因為敢All in才成功」，會不會立刻想到： 那些同樣All in，最後卻失敗的人在哪裡？ 我們也知道投資應該分散風險。 但當一個自己非常看好的機會出現時，還做得到嗎？ 這些其實都是人生的考題。 只不過人生不會在題目前面註明： 「本題請使用倖存者偏差。」 所以，或許， 閱讀比較像是在擴大能力的上限；刷題，則是在提高能力的下限。 閱讀讓我們見過更多世界，腦中增加更多案例、知識與可能性。 刷題則讓已經存在的能力，經過一次次練習與回饋，在真正需要的時候，更穩定地被叫出來。 一個人讀了很多書，卻從來沒有練習，可能知道很多道理，真正遇到事情時卻不一定用得上。 反過來，一個人只是不斷練習熟悉的題型，雖然做得又快又準，碰到真正陌生的問題，也可能找不到新的路。 用「道路」來想這件事也很有趣。 閱讀是在開路。 讀歷史，開一條路；讀心理學，再開一條；小說、科學、旅行與人生經驗，也都在慢慢拓展我們心中的地圖。 路愈多，遇到陌生問題時，就愈可能找到新的方向。 而刷題比較像： 在那些路上反覆開車。 哪裡要轉彎、哪裡容易走錯、什麼時候該換一條路，走得夠多之後，就慢慢成為直覺。 也許這就是兩者最好的關係。 閱讀，讓我們看見更多可能；練習，讓可能變成可靠。 一個讓我們走得更遠，一個讓我們走得更穩。 而真正的學習，也許就在這兩件事情不斷交替之間，慢慢發生。 願我們都能在探索新知與熟悉做題間，找到完美的平衡與模式。 ——企鵝不捨小書房 -- Hosting provided by SoundOn