好的
google 要不要把昨天財報上的說750億設備支出
變成50美元支出？
李飛飛能直接表明蒸餾Google
Google 最好不知道還給你研究所蒸餾
那昨天Google 財報2025還要支出750億呢？
還是明天台灣派人去蒸餾meta Google chatGPT?
看看他們要不要給蒸餾
: 標題：
: 李飛飛團隊用不到50美元訓練出媲美DeepSeek R1的AI推理模型
: 來源：
: Futu
: 網址：
: https://tinyurl.com/ydrtdbu8
: 內文：
: 李飛飛等斯坦福大學和華盛頓大學研究人員近日以不到50美元的雲計算費用訓練了一個名
: 叫s1的人工智能推理模型。該模型在數學和編碼能力測試中的表現與OpenAI的o1和DeepSe
: ek的R1等尖端推理模型類似。研究人員表示，s1是通過蒸餾法由谷歌推理模型Gemini 2.0
: Flash Thinking Experimental提煉出來的。
: https://i.imgur.com/kFg9GjU.jpeg
: 斯坦福大學以及華盛頓大學的研究團隊展示了一種極低成本的 AI 訓練方法，被稱為 S1
: 。
: S1 僅使用 6 美元就能達到 OpenAI o1-preview 級別的推理性能！同時匹敵Deepseek R1
: 推理時間可控：S1 通過簡單的“Wait”機制，控制大模型的思考時間，提高推理能力。
: S1 不是 OpenAI o1 或 DeepSeek R1 的直接復刻，但它揭示了在推理時微調 AI 的潛力
: ，甚至可以媲美 Reinforcement Learning（強化學習）。
: OpenAI 和 DeepSeek 早期研究發現，AI 在回答問題時“思考得更久”，往往能得出更好
: 的答案。但過去並沒有清楚解釋：如何在推理階段控制 AI 的思考時間？
: S1 的創新點： S1 論文提供了推理時間擴展（Inference Scaling）的具體實現方法：
: 核心思想：
: 如何在不改變 AI 訓練過程的情況下，提高 AI 解決複雜問題的能力？
: 方法：讓 AI 在推理時“多想幾秒”，自動檢查自己的答案，從而減少錯誤，提高正確率
: ！
: 結果證明，這種方法比 OpenAI o1-preview 還要好！
: 最重要的是：而且只用了 1000 道題！ 這比一般 AI 訓練的數據少了 800 倍，但效果仍
: 然很強！
: 此外，該模型可以在筆記本電腦上運行，並且其訓練成本僅為 6 美元。
: 論文下載
: https://arxiv.org/pdf/2501.19393
----
Sent from
BePTT on my iPhone 16
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.141.220.124 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1738839278.A.133.htmlwatashino1樓看ptt就知道我的獲利都從哪些人手上來的了 02/06 18:57
→ eeqqww1122332樓你有了解模型跟基礎設備的差異嗎… 02/06 19:00
Mosskappa3樓所以就是資本收割籌碼的手段，了解的就不會恐慌反 02/06 19:01
→ Mosskappa4樓而開心能補貨@@ 02/06 19:01
bonny55665樓大家都等抄答案就好 02/06 19:02
→ bonny55666樓努力寫題的是白痴 02/06 19:02
PureAnSimple7樓我比較喜歡李冰冰 唯一支持 02/06 19:03
→ 本人8樓各位AI大師，要不要組ㄧ隊？ 02/06 19:03
→ wr9樓李飛飛跟google很熟啦 都副總裁了 應該有講好吧 02/06 19:10
→ zer031911樓沒有一個頭後面要怎麼蒸餾，還是大家都在原地互相蒸 02/06 19:13
→ zer031912樓？ 02/06 19:13
duriamon13樓這波NV持續吃AI基建的大餅，因為目前AI發展除了大陸 02/06 19:16
→ duriamon14樓被鎖死，全部都用NV的CUDA，目前仍很難看到取代性。 02/06 19:16
→ duriamon15樓deep seek跟現在的開源鬼故事，反而是證明搞不好H10 02/06 19:16
→ duriamon16樓0那種5奈米晶片提供的算力及成本CP值就足夠了，怕是 02/06 19:16
→ duriamon17樓未必會一直需要增加晶體管密度。 02/06 19:16
→ zer031918樓而且基建要算力、後續運作、實體終端也都要算力啊， 02/06 19:17
→ zer031919樓又不是只有訓練需要 02/06 19:17
zerro720樓我蒸餾你的蒸餾他的蒸餾 會不會後面變成閉環 02/06 19:18
→ duriamon21樓並不是單靠蒸餾，是新模型的架構以及訓練方法都開始 02/06 19:19
→ duriamon22樓跟2023年流行的原始方式不同，早期像GPT3、4根本就 02/06 19:19
→ duriamon23樓只是鸚鵡的增強版，而且還是很肥很胖要高額飼料錢的 02/06 19:19
→ duriamon24樓鸚鵡。 02/06 19:19
→ wr25樓我小時候也看過有人說pentium效能已經夠用了 02/06 19:21
→ duriamon26樓現在的進展就跟AlphaGo一開始需要人類老師手把手教 02/06 19:21
→ duriamon27樓後來自己跟自己下棋自己學是類似的情況，整天說蒸餾 02/06 19:21
→ duriamon28樓的根本搞不清楚狀況，笑死！ 02/06 19:21
→ PTIMIKE29樓
02/06 19:21 jfw61630樓pentium本來就夠用了 02/06 19:24
