[新聞] 大模型Groq首秀引爆話題 自研LPU服務速度

原文標題：

大模型Groq首秀引爆話題 自研LPU服務速度遠快於GPU

原文連結：

https://news.cnyes.com/news/id/5457929

發布時間：

2024-02-20 16:50

記者署名：

鉅亨網新聞中心

原文內容：

ChatGPT 的新競爭對手 Groq 推出了語言處理單元 (LPU)，並於近期首度公開成果。當提
示模型時，答案立即產生。 而且，答案是依據事實，並引述來源，長達數百字，這讓它
在社群媒體造成轟動。

Groq 憑藉的武器是語言處理單元 (LPU)。 這項尖端技術的速度接近每秒 500 個 token
。 它為數位處理的速度和效率樹立了新的基準。LPU 能將延遲降至最低而脫穎而出，提
供了迄今為止聞所未聞的服務速度。

據報導，Groq 的 LPU 旨在解決 CPU 和 GPU 等舊技術的限制。 當面對大量運算需求時
，傳統的處理架構往往無法滿足要求。 Groq 使用新的張量流處理器 (TPS) 架構來實現
LLM 運算。 憑藉其快速推理和降低功耗的承諾，TPS 和 LPU 有望改變處理資料的方式。

據 X 平台帳號 k_zer0s 發文表示，Groq 的 LPU 不需要像 Nvidia GPU 那樣快速的資料
傳輸，因為它們的系統中沒有 HBM。它們使用 SRAM，其速度比 GPU 使用的速度大約快
20 倍。由於推理運行使用的資料比模型訓練少得多，因此 Groq 的 LPU 更節能。與用於
推理任務的 Nvidia GPU 相比，它從外部記憶體讀取的資料更少，功耗也更少。

LPU 的運作方式與 GPU 不同。 它使用臨時指令集電腦架構，因此不必像 GPU 使用高頻
寬記憶體 (HBM) 那樣頻繁地從記憶體重新載入資料。 這有助於避免 HBM 短缺問題並降
低成本。

LPU 不像 GPU 需要超高速儲存。 Groq 聲稱其技術可以憑藉其強大的晶片和軟體在人工
智慧任務中取代 GPU。

Google TPU 專案的先驅 Jonathan Ross 於 2016 年創立了 Groq。該公司迅速確立了自
己在處理單元創新領域的領導者地位。 Ross 在人工智慧和處理技術方面的豐富背景推動
了 LPU 的發展。

Groq 公司宣稱，其技術能夠透過其強大的晶片和軟體，在推理任務中取代 GPU 的角色。

Ross 曾表示，「Groq 的存在是為了消除『富人和窮人』，並幫助人工智慧社群中的每個
人發展。 而推理是實現這一目標的關鍵，因為『速度』是將開發人員的想法轉化為商業
解決方案和改變生 APP 的關鍵」。

心得/評論：

如果真如報導所聲稱的那麼強, 那麼算力的要求就不需要那麼高?
成本可以大幅下降，對Nvidia是個挑戰

另外該技術似乎不需要大量HBM，對這半年HBM的概念股MU、海力士也是挑戰

--
被動收入存錢筒~

--