原文標題:
韓成功研發全球首項人腦模擬超低電耗AI半導體技術
原文連結:
https://cn.yna.co.kr/view/ACK20240306003700881
發布時間:
2024年 03月 06日 16:57
記者署名:
張黎莉
原文內容:
韓聯社首爾3月6日電 韓國研究團隊全球最初研發出即可減少電耗,又可超高速處理大語
言模型(LLM)的人工智慧(AI)半導體核心技術“互補型轉換器”(
Complementary-Transformer)。
韓國科學技術資訊通訊部6日表示,韓國科學技術院(KAIST)PIM半導體研究中心和人工
智慧半導體研究生院柳會峻教授研究小組憑藉三星電子28納米工藝開發出互補型轉換器。
所謂“互補型轉換器技術”,是指選擇性使用模仿人腦結構與功能設計而成的脈衝神經網
路(SNN)和深度神經網路(DNN),實現轉換功能的技術。轉換器(Transformer)也是
積累文章內詞彙等資料內部關係進而學習條理和含義的神經網路,屬於ChatGPT的原創技
術。
https://i.imgur.com/Djw6x4c.jpg
脈衝神經網路和深度神經網路的互補特性 韓國科學技術資訊通訊部供圖
諸如GPT的大語言模型,其間通過大量的圖片處理器(GPU)和250瓦特的電耗才能實現驅
動,但此次研究小組成功在一個4.5毫米×4.5毫米的小型人工智慧半導體內,以400毫瓦
的超低電耗實現了超高速驅動。
該研究結果在上月19日至23日美國舊金山舉行的國際固態電路會議(ISSCC)上公開並演
示。研究小組介紹稱,將神經形態計算技術的精準度提升至與摺積神經網路(CNN)相同
的水平,並運用了可適用於諸多應用領域的互補型深度神經網路(C-DNN)。
科技部介紹稱,研究小組將互補型深度神經網路技術用於大語言模型,實際驗證了超低電
耗、高性能的端側人工智慧(On-device AI)能夠存在,全球首次以人工智慧半導體的形
式呈現出此前僅停留在理論階段的研究內容。
據研究小組介紹,互補型轉換器使用的電力僅為NVIDIA A100圖片處理器625分之1的水平
,利用GPT-2模型生成語言時僅需0.4秒,利用T5翻譯語言只需0.2秒。研究小組計畫今後
擴大研究範圍,將神經形態計算技術從語言模型拓展至更多應用領域。(完)
https://i.imgur.com/qrjfoXx.jpg
AI半導體發展方向 韓國科學技術資訊通訊部供圖
心得/評論:
之前版上有文章討論AI PC和AI手機的未來
這研究證實了高性能且超低電耗On-device AI的可行性
原本250W才能實現驅動 這個只用400mW就能高速驅動
電力消耗更只有NVIDIA A100的625分之1
而且這還只用三星28nm 之後改用先進製程功耗能更低
GPT2生成語言0.4秒 T5翻譯語言0.2秒
我看接下來就是On-device AI的天下了
--