[新聞] AI晶片如何讓美國電網癱瘓?微軟工程師:

股票

874611

原文標題:
AI晶片如何讓美國電網癱瘓?微軟工程師:只要10萬片就完了

原文連結:
https://www.ctee.com.tw/news/20240329701360-430704

發布時間:
2024.03.29 16:25 中時新聞網


記者署名:
吳美觀

原文內容:

全球掀起人工智慧(AI)熱潮,也讓AI進化成吃電巨獸!一位微軟工程師爆料,如果在美
國同一個州部署超過10萬片H100 GPU高階晶片,就會導致電網癱瘓。顯見AI運算速度愈快
,電力供應需求暴增將成為令人擔憂的問題。

財聯社報導,人工智慧聊天機器人ChatGPT開發者OpenAI下個版本GPT-5模型尚未面世,似
乎已開始著手訓練GPT-6,不過電力可能成爲一個「卡脖子」難題。

AI新創公司OpenPipe創辦人Kyle Corbitt在社群平台X上透露,自己最近與一位負責GPT-6
訓練集群項目的微軟工程師討論新版本中遇到的問題,這位工程師抱怨,不同區域GPU之
間部署infiniband(無線頻寛)級別鏈接,實在非常痛苦。

Corbitt接著問「為何不將訓練集群集中同一個區域?」這位微軟工程師回答,有嘗試過
,但是如果在一個州放置超過10萬片H100 GPU,電網就會癱瘓。

10萬片H100是什麼概念?據市場調查機構Factorial Funds的報告顯示,OpenAI的文字生
成影片模型Sora在高峰期間需要72萬片H100,依該工程師說法,這個數量足以讓美國7個
州的電網崩潰。

Corbitt指出,隨著越強大的AI製造出來,開發這些模型的成本也越來越高,並面臨電力
供應所帶來環境挑戰。

OpenAI 執行長奧特曼(Sam Altman)曾為AI的電力需求「叫苦」。在年初的達沃斯論壇
上,他表示,AI發展需要能源方面的突破,AI將帶來遠超預期的電力需求。

有數據顯示,ChatGPT每天需要消耗超過50萬千瓦時的電力,用於處理約2億個用戶請求,
相當於美國家庭日用電量的1.7萬多倍;至於搜尋巨頭谷歌,若在每次用戶搜尋中都調用
AIGC,年耗電量將增至290億千瓦時,這甚至高於肯亞、瓜地馬拉等國1年的用電量。


心得/評論:

隨著AI運算速度愈快,電力供應需求也將暴增,將成為令人擔憂的問題

還好咱們台灣電網堅韌無比,不缺電,不停電,不是美國那種落後國家能比的

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.137.161.32 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1711764788.A.3BE.html
FGK1樓心得 笑死 也只能自娛娛人了我們 03/30 10:14
boards2樓中時新聞網 03/30 10:14
boards3樓「卡脖子」是什麼語? 03/30 10:15
suntw4樓台灣不適合核能,但AI真的吃電非常 03/30 10:15
meowyih5樓說真的,這種擺明不是想討論股票的文就別發了,有很 03/30 10:15
meowyih6樓多其他適合的板 03/30 10:15
suntw7樓剛才跳過心得沒看,補噓沒意義的酸文心得 03/30 10:18
patrol8樓有股點阿,就是在ai 這條路上,台灣終究會被外拋, 03/30 10:19
patrol9樓要ai就投美股 03/30 10:19
peter08080810樓台灣不適合核能個屁 03/30 10:19
peter08080811樓台灣要零排放又要跟上AI時代 是打算把中央山脈砍光 03/30 10:20
peter08080812樓插光電板? 03/30 10:20
a9a9a8a113樓純噓上面反核仔 03/30 10:21
dosiris14樓找老黃呼籲核電 政府應該會買單 03/30 10:21
peter08080815樓微軟+AI+電網 沒股點? 這話有經過自己良心嗎? 03/30 10:21
qa1122z16樓高速快速公路插太陽能板有搞頭? 03/30 10:22
qa1122z17樓白天遮陽發電儲能,晚上照明 03/30 10:23
porkonrice18樓把公園通通插滿太陽能板就有電了 03/30 10:24
patrol19樓地震颱風就會滿地的太陽能板癱瘓交通 03/30 10:24
FatFatQQ20樓遲早用核電哈哈 03/30 10:25
qa1122z21樓捷運軌道上方蓋滿太陽能板有搞頭? 03/30 10:26
sss70030422樓台灣:40%用愛發電 03/30 10:27
bnn23樓簡單來說就是台灣只會有硬體業 AI軟體相關都是假的 03/30 10:27
peter08080824樓H100伺服器耗電量就要10kW了 10萬台需要100萬KW 自 03/30 10:27
peter08080825樓己算要多少光電板吧 03/30 10:27
peter08080826樓硬體業不耗電嗎 生產AI晶片EUV製程電力需求多恐怖 03/30 10:29
LDPC27樓人類電池!!!!各位 用脂肪發電時代來臨了!! 03/30 10:29
kinki99928樓愛台灣股民是又看不慣電力汙名化了 03/30 10:32
catboost29樓柵欄壞了 03/30 10:34
pisu30樓1度電=1kWh 03/30 10:34
更多新聞
[新聞] AI應用出新招1/宏碁秀50公分神祕小盒子
[新聞] 廣達十年一轉變,布局AI醫療打造生態系
[新聞] 科技版00919來了!00946發行價10元 4月22
[新聞] 鴻海整合算力 AI伺服器產業最大優勢
[新聞] ETF旋風 台股3月寫4奇蹟
[新聞] 台股飆破2萬點 蔡英文笑喊:有投資的話
[新聞] 謝金河:傳產股窗外有藍天 台股2萬點的
[新聞] Fed主席鮑爾:美國經濟衰退可能性不高