[閒聊] 投入生成式AI/GPT的顯卡選購建議

PC購物

35211

看了板上的一些AI組機文，實在有點話想拿出來聊聊。
比較常提到的繪圖大家應該都知道，現在建議就是3060 12G，VRAM稱王，
其他選擇就是4070(Ti) 12G / 3090 24G / 4090 24G，4080 16G CP值太差...之類。

不過我真的強烈建議還弄的到二手3090就去弄、預算有個80K拿4090比較不會後悔。

為什麼呢？

不知道板上關注生成式語言模型(ex:ChatGPT)的人多不多，
GPT現在沒有開源，使用文字生成來做應用(串API)是逐字計費，
所以目前有一些仿GPT、甚至借助GPT訓練的開源語言模型正在發展中。

參考這幾天很紅的
GPT-4識圖功能不開放，MiniGPT-4搶先開放試用！OpenAI有的它都有
https://www.techbang.com/posts/105663

TECHBANG.COM

GPT-4識圖功能不開放，MiniGPT-4搶先開放試用！OpenAI有的它都有

GPT-4識圖功能遲遲不開放，終於有人忍不住自己動手做了一個。

"並且團隊正在準備一個更羽量級的版本，部署起來只需要23GB的VRAM。也就是消費級顯
示卡中擁有24GB VRAM的3090或4090就可以在本地端執行了。 "

Stable Diffusion團隊剛發布的StableLM
https://github.com/Stability-AI/StableLM/issues/17

GITHUB.COM

GPU support Table & VRAM usage · Issue #17 · Stability-AI/StableLM

It would be great to get the instructions to run the 3B model locally on a gaming GPU (e.g. 3090/4090 with 24GB VRAM). Confirmed GPUs From this thread GPU Model...

以及其他語言模型
https://zhuanlan.zhihu.com/p/615199206

ZHUANLAN.ZHIHU.COM

LLaMA 30B 试用

TL;DR;在使用消费级显卡的前提下（24G VRAM），GPTQ 4 bit 量化的 LLaMA-30B 可能是能在本地推理的最大模型 [1]。在没有做任何 fine-tuning 的情况下，LLa...

至少在這部分24G VRAM很可能會是標配。

一點淺見，感謝電蝦板在我要組跑AI用的電腦時給了很多建議，拿出來分享一下。
也留篇文讓人有機會爬。

--
AI_Art AI藝術與創作板歡迎各方前來討論AIGC創作與相關議題！

AI情報屋營業中
噗浪：https://www.plurk.com/Zaious

PLURK.COM

Zaious｜AI 情報屋 [Zaious]

IG ：https://www.instagram.com/zaious.design/

日曆：https://zaious.notion.site/zaious/22c0024eceed4bdc88588b8db41e6ec4

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.124.87.90 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1682050491.A.FC3.html

oopFoo1樓ARC a770(16GB)入門好選擇，越來越多的支援。如果你會玩 04/21 12:20

aegis432102樓ARC也支援了OpenACC想跑氣候分析的也可以玩玩看 04/21 12:24

kamir3樓哦，我用練好的就好了 04/21 12:42

pp5204樓的確!你說的沒錯，VRAM 就跟入場券一樣 04/21 12:43

KarlJhan5樓推感謝分享 04/21 12:43

→ pp5206樓stable Diffusion 越做越複雜，後面 8G VRAM 04/21 12:44

→ pp5207樓快撐不住了，外掛太多好用的功能 04/21 12:44

yenchieh11028樓Vram至上! 04/21 12:45

→ pp5209樓VRAM不足，速度再快也是無用武之地 04/21 12:46

→ pp52010樓連打開城市的資格都沒有 04/21 12:46

→ pp52011樓程式 04/21 12:47

uemo61012樓AI繪圖=盜圖 04/21 13:04

→ bettle146113樓一個大VRAM且相對新卡便宜的選擇是 3090 Ti，3090 跑 04/21 13:18

→ bettle146114樓diffusion 超燙 04/21 13:18

mrme94515樓3090Ti量太少了，不然的確是比3090好很多的選擇 04/21 13:21

→ oppoR2016樓3090是真的燙可以煮飯的那種 04/21 13:24

→ bettle146117樓不過 4090 真的很強，用3090 Ti 70% 的功耗還加速 1.6 04/21 13:31

→ bettle146118樓倍以上，本人親測，根本北極熊救星 04/21 13:31

→ Sartanis19樓學對岸魔改2080Ti 22GB好了XD 04/21 13:37

odanaga20樓vram大就是王 04/21 13:38

et178321樓還可以研究看看webllm，為A卡打開一扇窗 04/21 13:57

→ soulgem22樓23G VRAM... 好吧, 對於 GPU 程式好像沒有 12+12 當 24.. 04/21 14:29

→ soulgem23樓其實不喜歡模型越搞越大變成計算軍備競賽的趨勢... 04/21 14:33

→ soulgem24樓(還是會用繪圖卡, 雖然慢, 但是可以在相對價格搞到 VRAM) 04/21 14:34

→ 本人25樓能放到家用電腦跑的，目前已經都是「縮小」的模型了(文字部 04/21 14:56

→ 本人26樓份啦 04/21 14:56

→ soulgem27樓24G VRAM 繪圖卡就對不到價了, 這就沒辦法 XD 04/21 15:04

→ vsbrm28樓跑stable diffusion ,so-vits-svc 這些，選4090還是很有優 04/21 15:19

→ vsbrm29樓勢，如果只是玩看看，8G VRAM的顯卡慢慢跑就好了，不用特地 04/21 15:19

→ vsbrm30樓去換 04/21 15:19

PTT鄉民日記

[閒聊] 投入生成式AI/GPT的顯卡選購建議

PC購物