呃，這新聞是哪個平行時空新聞，當前一堆美國大學實驗室都已經成功用其他小型模型像ll
ama或Qwen 復刻R1實驗了，而且也事實證明模型只要有辦法再訓練的時候盡可能要求模型更
長更多輪的思考時間那就必然會讓模型依據上下文湧現出推理能力。無論模型大小或是否用
deepseek的模型架構。
一堆知名的框架也開始嘗試復刻開源版的R1 Code，我覺得R1幾個比較可行的思路就是改用
了一些模板式的獎勵機制，這點是之前一些TTT或其他scaling time computing 沒嘗
試過的思路，一般像之前的Process reward model在構造的時候會需要人工標註加驗證器再
加樹搜索取樣出一堆推理步驟但R1直接給予一條很棒的思路就是你不必這樣做就直接RL下去
也不用做搜索了，關鍵在怎麼設計獎勵函數就好。然後GRPO的方法近一步減少了傳統PPO要
去算value function 的部分，確實省掉很多記憶體跟算力。但我覺得PPO的硬傷不好訓練還
是沒解掉，所以DS才改用拒絕採樣跟多段微調去弄檢查點避免模型跑偏。
我覺得依據這個思路過不久大家都可以復刻出自己的版本，很多開源模型也在動作，小規模
驗證也證明可行，那就可以scaling model跟data size就好了。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.115.66.147 (臺灣)※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1738136010.A.EA4.htmlaria05201樓那些實驗不是復刻 只是在distill 01/29 15:45
→ aria05202樓真的要"復刻" 指的是在完全從零開始 01/29 15:45
boards3樓滿滿支語 01/29 15:45
→ aria05204樓的條件下 跟DS宣稱的成本相同下 01/29 15:45
→ aria05205樓復現出R1的結果 01/29 15:45
→ aria05206樓但首先DS沒公開他的訓練資料集 01/29 15:46
→ aria05207樓所以只能說小lab可以用他公布的模型 01/29 15:47
→ aria05208樓做distill 配合他的方法做出不錯的 01/29 15:47
→ aria05209樓模型而已 01/29 15:48
→ aria052010樓但如果只是這樣 4o實際上也是OAI 01/29 15:49
→ aria052011樓distill出來的 真正關鍵還是在 01/29 15:49
→ aria052012樓如何做出用來給其他模型distill的 01/29 15:49
→ aria052013樓源模型 如果這個能用DS宣稱的算力 01/29 15:50
→ aria052014樓條件做出 那就貢獻很大 也是最值得 01/29 15:50
→ aria052015樓"復刻"的部分 01/29 15:50
R1的技術文件有如實說他們是從Deepseek v3調過來的吧，openAI也是有在某次技術人員訪
談說o1是從4o調過來的（當前OpenAI最讓人詬病的就是o1連技術報告中的訓練方法都閉源）
，這點站在不錯的起點繼續做下去應該是整個LLM領域的共識，要完全從零是不太可能的。
不過你要說成本要從前一個模型開始算的那就不太合理了，像台灣很多實驗室自己調的語言
模型也是從llama這些基礎開始調的（你要用蒸餾說也沒什麼意見），這樣要把Meta訓練這
個模型的成本疊上去也是蠻怪的。但我這邊就單就R1的訓練方法討論確實他省去很多之前te
st time computing的方法中需要一堆人工跟算力搜索的麻煩這個倒是無需質疑。至於訓練
數據集沒開源，我覺得這個畢竟是人家的智慧財需要經過公司許可吧？畢竟llama也沒開源
自己全部的訓練數據要要求一家私企去做這件事有點太苛刻了。我的想法還是技術上DS確實
值得令人誇讚，其他的就讓子彈飛一點吧。畢竟工程人員還是講技術比較務實，人家優秀的
地方本來就值得學習。
vbotan16樓3樓只會這招嗎 01/29 15:51
→ aria052017樓主要是訓練集沒公開就還是有點懸念 01/29 16:14
→ aria052018樓畢竟連OAI之前o3那次math benchmark 01/29 16:14
→ aria052019樓cheat風波導致benchmark的可信度 01/29 16:15
→ aria052020樓變低許多 連OAI都會搞出這齣 一個 01/29 16:15
→ aria052021樓急需注資和關注度new fund更有可能 01/29 16:15
→ aria052022樓有貢獻是一定的 新方法在distill上 01/29 16:16
→ aria052023樓有機會成為新baseline 01/29 16:17
knightwww24樓幫補血 01/29 16:49
PhilHughes6525樓貼文的人寫了這麼多技術用語，結果 01/29 17:04
→ PhilHughes6526樓某些人只會噓支語 01/29 17:04
hensel27樓回文用中文的我都噓支語 01/29 17:58
ctw0128樓感謝，讀了真的收益良多 01/29 18:29
lusifa200729樓傳聞它是蒸餾chat gpt 的基礎這是 01/29 18:30
→ lusifa200730樓真的假的 01/29 18:30