[新聞] 高通展示手機跑Stable Diffusion AI繪圖

行動通訊

1080

1.原文連結:連結過長者請使用短網址。
https://www.cool3c.com/article/189870

2.原文標題:標題須完整寫出且須符合內文(否則依板規刪除並水桶)。
高通 Qualcomm AI Research 展示全球首個在手機上執行 Stable Diffusion 的 AI 繪圖
,僅需幾十秒即可將文字轉化為圖像

3.原文來源(媒體/作者):例:蘋果日報/王大明(若無署名作者則不須)
Cool3c/Chevelle.fu

4.原文內容:請刊登完整全文(否則依板規刪除並水桶)。

近期 AI 畫圖是相當熱門的議題,僅需給予簡單的文字描述, AI 系統就可產生符合描述
的精緻圖像;高通在 MWC 前夕公布一段 Qualcomm AI Research 的研究成果,領先全球
首度在手機執行原本需要在雲端服務執行 Stable Diffusion 模型,使手機也能如雲端服
務一樣依照文字產生對應的影像。

https://i.imgur.com/imJ98Un.jpg

▲以「穿著盔甲的超級可愛毛茸茸貓武士」得到的成果

https://i.imgur.com/AGoxS8W.jpg

▲以「有著野生動物、河流與山的日式庭院」的結果

高通強調此次的實驗是以搭載高通 Snapdragon 8 Gen 2 的市售裝置執行,並透過跨應用
程式、神經網路模型、演算法、軟硬體等進行最佳化,並動用公司跨部門協作實現此次的
實驗成果。高通透過由 Hugging Face 的 FP32 version 1-5 開源模型作為基礎,透過量
化、編譯與硬體加速進行最佳化,使複雜的 Stable Diffusion 能在 Snapdragon 8 Gen
2 順利執行。

為了使複雜的 FP32 模型可在行動處理器執行,團隊首先利用自行開發的 AI Model
Efficiency Tool Kit ( AIMET )工具將 FP32 轉化為 INT8 ,借助將 FP32 轉化為
INT8 ,不僅能提升 AI 模型執行效率,並縮減記憶體頻寬達到節能效果。 AIMET 技術中
的 AdaRound (自適應捨入)能夠在轉化到低精度後維持模型的精度而不須重新訓練模型
, Qualcomm AI Research 將這些技術應用在包括文本編碼、 VAE 解碼與 UNet 等
Stable Diffusion 的結構組件。

https://www.youtube.com/watch?v=B-uojHRr7HE


此外, Qualcomm AI Research 利用高通 AIE 框架將神經網路映射在目標硬體的高效能
執行程序,根據 Qualcomm Hexagon DSP 的硬體架構與記憶體層次結構對操作進行排序,
在提升效能的同時也抑制記憶體溢出;其中部分增強是由 AI 最佳化研究人員與編譯器工
程團隊協作改進 AI 推論中的記憶體管理結果,使 AIE 的整體獲得最佳化,並減少執行
的延遲與功耗。

同時,借助 Snapdragon 8 Gen 2 具備的 Micro Tile Inferencing (微塊推論)功能,使
複雜的 Stable Diffusion 能夠在行動裝置執行;不過 Qualcom AI Research 仍期待未
來的 Snapdragon 可具備更強大的算力使效率更為提升;在 Qualcom AI Research 的協
力下,最終在 Snapdragon 8 Gen 2 的裝置於 15 秒執行 20 個步驟,並產生 512 x
512 像素的圖像,也是目前手機上最快的 AI 繪圖表現,幾乎能媲美雲端服務的速度。

高通認為,邊際 AI 時代即將來臨,日後使用者可透過針對行動裝置最佳化編譯的 AI 模
型,不須連接上網路即可執行許多複雜的 AI 應用,。並確保低延遲、網路頻寬與隱私權
,除了此次的示範外,高通指出 Stable Diffusion 還能用於影像編輯、影像修復、風格
轉換、超解析等影像處理技術。同時高通認為在手機執行 Stable Diffusion 只是一個開
始,意味著未來包括筆電、 XR 頭戴顯示器皆可由 Stable Diffusion 獲得體驗增強。


5.心得/評論:

內容須超過繁體中文30字(不含標點符號)。

高通展示自家的產品也可以做到跟蘋果手機一樣的AI效能

不過是在8Gen2測試

相較於iOS已有人移植Stable Diffusion,近幾年出的iPhone都能跑

Android可能還得再等等。

未來看能不能讓開發者利用,屆時高階Android手機就可以跑AI相關運算了。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.236.237.40 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1677242841.A.D8F.html
a275886791樓眼睛都脫窗了 02/24 20:50
oppoR202樓以後可以用手機畫色圖了 02/24 21:37
square43樓調用nnapi還比較貧弱 02/24 21:52
twinkleAshed4樓真巧, 上篇文章Po的內容也是同樣的東西. 02/24 22:18
twinkleAshed5樓只是看起來他們用了對應的單元來運算, 而不是硬解. 02/24 22:19
banbanzon6樓我已經預測到庫克在哀鳳15發表會上狂吹A17 AI繪圖吊打 02/24 22:24
banbanzon7樓安卓好幾條街了 02/24 22:24
jhangyu8樓讚,坐等有人打包成App 02/25 00:38
tcchu9樓蘋果要吹得等自己的armv9出來吧 可憐生不出來 02/25 14:07
kkcity5910樓armv9只是指令集你願意花錢買就可以了啊 02/25 18:41
kkcity5911樓沒有所謂的自己的armv9吧?自己要重新定義指令也可以啦 02/25 18:42
kkcity5912樓現在不滿arm跟x86就往risc-v靠攏沒誰想再訂新指令集了吧 02/25 18:43
tcchu13樓我是指蘋果買armv9自己生的核心 02/25 22:08
tcchu14樓他大概v8.6跟v9 arm就是兩頭不同大方向吧 02/25 22:11
tcchu15樓有點IBM的味道 02/25 22:12
kkcity5916樓蘋果好像就沒買arm9授權吧。因為arm9增加的指令條目 02/26 00:46
kkcity5917樓主要是針對伺服器市場,不管是手機或個人電腦都沒什麼用 02/26 00:46
kkcity5918樓目標其實是Neoverse那些的需求。 02/26 00:49
kkcity5919樓另外arm v8跟v9其實差不多,講白了就是擴展SVE2指令 02/26 00:53
更多新聞
[新聞] 高雅「深酒紅」美翻!蘋果iPhone 15 Pro
[新聞] 三星 Galaxy A54 以及 A34 清晰官方產品
[新聞] 「台台併關鍵一局」見真章!台灣大哥大如
[新聞] S23系列最便宜版本!三星Galaxy S23 FE曝
[新聞] 井琪:台灣5G發展一點都不慢
[新聞] 三星 Galaxy S23 系列預購取貨 Ultra
[新聞] 三星回應Galaxy S23 Ultra螢幕瑕疵:並非
[新聞] 小米 13 系列歐洲售價流出,最高折合台