Re: [討論] OpenAI GPT o1模型

OpenAI 最近推出了 GPT-o1，但很多人可能還沒意識到這件事的嚴重性。事實上，OpenAI
已經找到了一條通往 AGI（通用人工智慧）的階梯！這個新模型的關鍵在於，它已經整合了
ToT（思維樹）和 RL（強化學習），在大型語言模型（LLM）領域達到了類似 AlphaGo Zer
o 的水準。

很多人以為 LLM 就是個「刷題機器」，記住了大量的資料，所以我們在人類記憶力上輸了
。但這種想法只能說對一半。之前的 LLM 確實是從大量資料中，透過模式相似性來猜測答
案。模型夠大，猜得也夠準，但一旦遇到需要推理和邏輯的超長尾問題，就掛了。沒有連貫
的推理能力，肯定解不出來。

然而，o1 模型的訓練方式完全不同。它花了大量時間在模型微調上，讓模型針對已知的問
答，把所有的思考過程（CoT）都想出來。網路上很多資料只有問題和答案，中間的推理過
程要嘛沒有，要嘛只提重點。這些都是靠強化學習逼出來的。

如果有興趣，建議大家讀一下 OpenAI 官網的技術報告和論文：

。重點在這句：「當我們用這種方法，用 GPT-2 級別的模型來監督 GPT-4 在 NLP 任務上
的表現，結果模型的性能通常介於 GPT-3 和 GPT-3.5 之間。」

在這種新機制下，OpenAI 已經不需要再從網路抓資料了。他們可以透過 LLM 之間的互動，
產生問題和答案，進行更廣泛、更完整的訓練。而且這種訓練方式相當於，你雖然只學過小
學數學，但經過長時間的策略搜索和 ToT 機制，類似於 System 2 的思考，你可以解出國
中數學題。

當這些能力達到單一模型的算力極限時，可以透過擴大模型，把新知識裝載進更大的模型，
透過 Transformer 達成 System 1 思考的嵌入。這就像學好國中數學的新模型，開始挑戰
高中數學。提升智力的方式是無限的，只受限於你的 GPU 算力。

你知道嗎，OpenAI 在解決 AIME 2024 的最新題目時，沒有任何過去的考古題可參考，裡面
的推導公式連他們的員工都看不懂。難道還有人以為 AI 是靠背題目來解答的嗎？