[心得] 3080 深度學習 GDDR6X過熱

PC購物

74423


先講結論:

GDDR6X很燙,燙了就很不穩定

打遊戲沒事,但跑Deep learning訓練會壞掉

Deep learning這種應用建議直上帝版,甚至水冷版




以下是debug經驗分享:


之前從EVGA官網買到了一張便宜的3080

本來想拿去做模型訓練,但很容易模型練沒10分鐘就當掉

這個問題總是100%復現,有時早點掛,有時晚點掛

一開始以為是卡壞了,但拿去打APEX又都沒事


(2K144真的滿爽的,直到我打了兩周APEX,才想到我原本是買來做Deep learning的)



研究了一下這代卡的技術,通病就是GDDR6X很燙

所以我開始懷疑是顯存問題


所以我我用了一個簡單的訓練腳本來觀察卡的各項參數

(需要請自取
https://github.com/exeex/pytorch-cifar/releases/tag/v1.0)




訓練剛開始,顯存頻率會直接拉滿到9200MHz上下

然後開始爆熱,接著就掛掉。


於是我用Afterburner將頻率下修200MHz,就不會掛了



但是跑大約10分鐘後 他就會自動降頻到5000MHz...

此時訓練都不會出現當機的問題,但是訓練速度也變成原本的2/3

有夠虧


Afterburner設定如圖:
https://imgur.com/aTHIPs4


降頻示意圖
https://imgur.com/yvawLe3



現在在研究,看有沒有可以長時間讓他保持高頻的方法..
比如用8000MHz,至少沒那麼虧


或是有沒有帝版的同學可以跑看看我這份code

看是不是丐版散熱太爛的問題


PS. 為什麼不用Ubuntu
因為不能打Apex和我只會用Afterburner(ubuntu沒有)





--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.169.178.29 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1657709986.A.B44.html
tyl5102881樓因為你不是拿ROG 07/13 19:01
oppoR202樓結論:丐版散熱爛 07/13 19:02
oppoR203樓問題就是丐版 07/13 19:02
oppoR204樓這就跟挖礦一樣道理 07/13 19:02
annboy5樓懷疑你買到卡皇 以前3080ti XC沒碰到這問題 07/13 19:04
a83121166樓這就是為什麼不推薦3080以上拿丐版的原因 07/13 19:06
harry8869017樓建議風扇拉滿 Auto最高也只會跑到50%而已 07/13 19:06
zone00168樓換散熱貼,風扇轉到最快 07/13 19:10
zone00169樓散熱貼用利民或是萊爾德 07/13 19:10
AAAWhoAmI10樓3080丐版+1 直接PL鎖在250以下比較不會降頻 07/13 19:11
harry88690111樓還有你temperature limit拉高一點 07/13 19:16
otosaka12樓丐版散熱爛 你可以學學上面那位仁兄改裝散熱貼 07/13 19:17
mrme94513樓power limit拉105%比較不會降頻,但你還是得去換散熱貼, 07/13 19:25
mrme94514樓甚至是改銅片,板上之前有人分享 07/13 19:25
steven3310715樓我猜是背板的記憶體過熱啦,畢竟只有導熱貼沒接觸散 07/13 19:25
steven3310716樓熱器 07/13 19:25
steven3310717樓之前有看過礦老闆背板也改風扇的 07/13 19:26
aaron555518樓以後直接賭一把買水冷的吧 07/13 19:27
a2741733219樓這篇是認真的嗎,大家的留言是認真的嗎? 07/13 19:28
sdbb20樓樓下支語警察 07/13 19:28
harry88690121樓3080沒有背面記憶體吧 = = 07/13 19:29
a2741733222樓都沒看到錯誤訊息的內容,然後冒出了過熱的實驗跟結論 07/13 19:29
a2741733223樓這前因後果完全是鬼轉耶 07/13 19:31
Zenryaku24樓丐板就是只能拿來打遊戲用ok而已 07/13 19:35
tropotato25樓開側板用電風扇吹啊== 07/13 19:38
tropotato26樓不然拿卡去挖礦 07/13 19:41
tropotato27樓用colab pro訓練16gb batch size 可以設大點 07/13 19:41
stepnight28樓為什麼不直接找EVGA去信詢問== 07/13 19:43
wahaha9929樓自己改散熱啊 07/13 19:43
lolpklol097530樓三星製程 + 美光6X不換 就不買 07/13 19:45
更多心得
[心得] 美日合作2NM製程 美或棄守資訊產品零關稅
[心得] Pchome M32U 退貨被刁難
[心得] Kangaroo椅子網椅開箱心得
[心得] CMP305+MWE White 550W v2 組合
[心得] 不推薦心得 快睿
[心得] 利民LGA1700 CPU扣具
[心得] MPG B550i翻車事故
[心得] NZXT CAM 有使用的要注意一下...