: 看電腦板怎一堆人在搶5070Ti顯卡
: 我也在等5070Ti配9800X3D的套裝機出來
: 這年頭連70Ti都會大缺貨
→ linbasohigh: 跑AI的話，至少要買到5090的32G記憶122.121.224.214 02/21 14:06
其實現在有很多框架可以降低 LLM 模型的 VRam 需求量,
我不久前看到一個可以用 8G VRam 跑模型的框架.
當然記憶體大有它的好處,
1.可以跑參數更大的模型,畢竟 7B 以下的 deepseek 是渣?
2.輸出 token 的速度會快一點,畢竟女的一秒叫十聲跟一秒叫二十聲的感覺就不一樣
不過如果你得用四十萬買十二顆 CPU 才能獲贈一張 5090 的話,那還不如...
--
讀者審校網試行版(2018/1/1 更新網址)
http://readerreviewnet.processoroverload.net/
(哲、史、法、政、經、社，人文翻譯書籍錯譯提報網)
◎洪蘭"毀人不倦"舉報專區
http://tinyurl.com/ybfmzwne
讀者需自救，有錯自己改...
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.163.122.193 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1740122535.A.1A5.htmlyoshilin1樓自己在家裡做ai... 02/21 15:23
tga1232樓算圖跟A600還是ada來比怎麼樣都90划算 02/21 15:23
arrenwu3樓7B 什麼模型都滿差的 02/21 15:26
→ arrenwu4樓Deepseek 除了原生 671B 模型之外， 02/21 15:27
→ arrenwu5樓其他應該都是用 Llama 或 Qwen 蒸餾的 02/21 15:27
tetani6樓70b是我能接受的最低大小 02/21 15:27
→ tetani7樓但這樣也得要2張5090 02/21 15:28
DPP488樓好厲害，我只能自架1.5B 02/21 15:31
arrenwu9樓12GB VRAM 可以跑 14B 模型 02/21 15:32
tetani10樓現在我在思考自架local的必要性 02/21 15:33
→ tetani11樓到比較好的效果 代價實在高 02/21 15:33
→ Newtype12樓等exo效率上來 多買幾台macmini來跑 02/21 15:34
SShirakawa13樓不是礦就是AI，單純玩個遊戲好困難 02/21 15:34
→ tetani14樓有限的預算 只能在速度和智商之間選擇其一 02/21 15:34
→ tetani15樓但付費api 會有最難解的審查、資安問題 02/21 15:35
→ nekoares16樓有這錢 不如去買Nvidia出的專用mini PC 02/21 15:37
→ 本人17樓nv 的 GB20 效能不一定會有你期待的好 02/21 15:46
→ 本人18樓因為它的 ram 是 cpu 跟 gpu 共用 02/21 15:47
→ 本人19樓而且它一台超過新台幣十萬 02/21 15:47
→ tetani20樓nv那台的壞消息 好像只是用來測試用 02/21 15:50
→ tetani21樓測試能跑起來 然後推送到大型的伺服器 02/21 15:50
applejone22樓系統記憶體夠大 可以安裝滿血版的AI 02/21 15:50
→ tetani23樓協助你開發而已 速度沒辦法當生產力工具 02/21 15:51
→ applejone24樓不一定要用GPU 不過那個速度就... 02/21 15:51
→ GABA25樓我只想知道這樣搞夏天電費多少? 02/21 18:30