Re: [情報] AMD 7800XT/7700XT 售價US$449起 9/6上市

PC購物

標籤:amd

451011

AMD的GPU行銷真的是笨死了。每個人都拜託他們出24GB或48GB的卡，這麼簡單就大賣的方法不作。還在搞FSR，難道不知道現在是大AI時代嗎？

7800xtx 24GB，549鎂，還不賣爆。
79x0xtx 48GB，1200鎂，還不搶光。

現在一堆AI inference的需求，欠缺在ram不夠。Training也許還是不行，但inference社群作一堆了，就等你出卡而已。結果你出16GB???

例如最近mlc-llm測試7900xtx 推理可達4090的80%。
https://blog.mlc.ai/2023/08/09/Making-AMD-GPUs-competitive-for-LLM-inference

BLOG.MLC.AI

MLC | Making AMD GPUs competitive for LLM inference

原作者的中文版
https://zhuanlan.zhihu.com/p/649088095

ZHUANLAN.ZHIHU.COM

在AMD GPU上实现高性能LLM推理

TL;DR MLC-LLM可以使用ROCm在AMD GPU上编译LLM（大语言模型）并部署高性能推理。具体来说，在Llama2-7B/13B上，AMD Radeon™ RX 7900 XTX的推理性能...

因為在推理(inference)上gpu的效能已經夠了，是卡在記憶頻寬，所以4090/3090ti/7900xtx效能是大同小異。

https://github.com/ggerganov/llama.cpp

GITHUB.COM

GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++

Port of Facebook's LLaMA model in C/C++. Contribute to ggerganov/llama.cpp development by creating an account on GitHub.

現在4bit 30B模型需要19.5GB記憶體，這個模型好又剛好主流24GB卡可跑，3090二手卡搶爆
4bit 65B模型需要38.5 GB，沒有主流卡可跑，只能用CPU慢慢的推動，等於不能用。

7800xtx 24GB，79x0xtx 48GB。AI社群搶爆，程式幫你寫好。不用在那搞沒用的FSR，沒用的FSR，沒用的FSR<<很重要講三遍

https://i.imgur.com/LeYPRd4.jpg

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.70.128.119 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1693060246.A.862.html

joshddd1樓可是蘇媽也在推專業卡欸 08/26 22:36

→ joshddd2樓消費級給到那麼高他們專業卡怎麼賣 08/26 22:36

→ joshddd3樓我現在學 metal 了，蘋果雖然臭，但在 08/26 22:37

→ joshddd4樓gpu ram上竟然最有cp值 08/26 22:37

joshddd5樓不過蘋果的問題是只能單倍精度浮點運算 08/26 22:40

→ joshddd6樓，希望能支援雙倍 08/26 22:40

→ 本人7樓AMD在AI根本是0%市占率。老黃不給的，你 08/26 22:45

→ 本人8樓給的大方，你AI才有機會做起來啊。 08/26 22:46

→ 本人9樓性能輸，大給RAM這麼簡單的事不作？到底 08/26 22:47

→ 本人10樓AMD有在重視AI嗎？ 08/26 22:47

joshddd11樓也不算 0 吧？ opencl 用的人很多啊。只 08/26 22:48

→ joshddd12樓是之前套件都只支援 cuda? 想做的人自己 08/26 22:48

→ joshddd13樓寫個 kernel 都很多啊。就很麻煩而已 08/26 22:48

→ joshddd14樓原 po 不要這麼生氣啦 08/26 22:49

真的是恨鐵不成鋼。有一個大市場在那，ai論壇裡多少人拜託AMD出個大ram的顯卡，就是不理

→ hankower15樓消費級VRAM給那麼大 MI系列怎麼賣 08/26 23:03

s98769216樓這種為了臭而臭的發文真討厭 08/26 23:08

→ bbkt17樓這ID不意外 08/26 23:26

falcon1118樓如果79XTX賣得夠好的話會吧 08/26 23:30

aegis4321019樓O大不用疑惑吧，蘇嬤加強繪圖卡的推論 08/26 23:32

→ aegis4321020樓性能，那MI250怎麼賣呢? 08/26 23:32

→ aegis4321021樓不過蘇嬤記得是想用FPGA來攻推論這塊 08/26 23:33

AMD在AI根本沒有策略，根本也還沒整合。

mayolane22樓不值得討論、浪費時間、行銷笨死了，接 08/26 23:35

→ mayolane23樓下來是什麼 08/26 23:35

→ E7lijah24樓兩篇連著發兩位是不是有先說好 08/26 23:40

→ eric1314123025樓Amd的Ai如果是0 我看你的Intel可能 08/26 23:41

→ eric1314123026樓是負的了 08/26 23:41

→ giancarlo8227樓笑死幾天前被炮到臉黑還想翻身阿 08/26 23:46

gary88628樓天啊，AMD真應該馬上請你來當總裁耶 08/26 23:53

→ xoyeh16829樓這樓主有病吧，大多數人又不玩AI 08/27 00:13

→ xoyeh16830樓大多都拿來打遊戲，所以當然FSR為重 08/27 00:14

PTT鄉民日記

Re: [情報] AMD 7800XT/7700XT 售價US$449起 9/6上市

PC購物