[新聞] 在智慧型手機上運行生成式AI的趨勢將在20

行動通訊

1460

1.原文連結:連結過長者請使用短網址。

https://bit.ly/3YVVYMf

2.原文標題:標題須完整寫出且須符合內文(否則依板規刪除並水桶)。

在智慧型手機上運行生成式AI的趨勢將在2024年實踐

3.原文來源(媒體/作者):例:蘋果日報/王大明(若無署名作者則不須)

科技產業資訊室 / 茋郁

4.原文內容:請刊登完整全文(否則依板規刪除並水桶)。

借助生成式AI,智慧型手機可以成為人們真正的數位助理。用戶可以使用它自動閱讀或撰
寫電子郵件、起草文檔和創建演講文稿。AI驅動的座艙將使駕駛員和乘客能夠更自然地互
動和控制娛樂、導航和車輛功能,從而創造更加個性化和直觀的體驗。

不過,AI的討論主要集中在雲端上。ChatGPT使用大量的處理、儲存和記憶體。到目前為
止,大部分重點都集中在訓練和完善新模型上,這些模型通常在雲端進行。

但從2024年開始,三星和OnePlus的全新手機可以運行由Meta對ChatGPT的解決方案提供支
持的生成式AI應用程式,這是屬於On-Device AI。Meta已與智慧型手機晶片商高通和聯發
科技建立了單獨的合作夥伴關係,以使其升級成為現實。

聯發科技於2023年8月23日透露,將發布一款利用Meta生成式AI系統Llama 2大語言模型(
LLM),為其下一代旗艦晶片組天璣9300帶來裝置上的生成式AI功能。其實,高通公
司也在2023年 7月宣布與Meta建立類似的合作夥伴關係。

目前,像ChatGPT這樣需要大量數據的生成式AI工具的運行成本極高,因為它們需要依賴
於遠程雲端伺服器。一旦將生成式AI在手機上本地運行,這將有助於降低開發人員的經濟
成本,進而可以為用戶帶來大量新的應用程式和服務。

Meta正試圖通過免費贈送代碼來鼓勵開發人員使用其AI大語言模型。一些專家警告說,這
種自由放任的做法可能會導致不良行為者利用該技術達到邪惡目的。

對於普通公眾來說,最終結果可以提供量身客製化的個人助理,根據您的興趣、網路活動
、健身數據、位置甚至您說話的方式提供建議和提示。這些所謂的AI代理將有各種不同的
性格供你與之互動。而且,由於這些新服務將在您的手機上運行,因此理論上您的數
據將比在雲端上的數據更加隱密和安全。最後,更廣泛的好處將是減少能源消耗。

眾所周知,維持聊天機器人運行的數據中心需要大量的水來冷卻。事實上,研究人員最近
發現,訓練ChatGPT至少消耗了70萬公升水,而與機器人的平均對話相當於打翻了500毫升
的瓶子。

從整體發展趨勢來看,Meta並不是唯一一家致力於將生成式AI引入智慧型手機的公司。谷
歌最近宣布,它成功地在行動裝置上運行了其最新大型語言模型PaLM 2的輕量級版本,這
也為將來On-Device AI帶來了契機。


5.心得/評論:內容須超過繁體中文30字(不含標點符號)。

隨著生成式 AI 的處理需求、使用案例和使用者增加,在裝置上執行的 AI(On-device
AI)將在讓生成式 AI 在各個應用程式和產業中擴展,並擴展到更多邊緣裝置中,扮演不
可或缺的角色。在裝置上啟用生成式 AI 將有助於在任何地方加速採用,並減少雲端基礎
設施成本的上升。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1693455476.A.EBB.html
frank011樓重點是手機上運行生成式AI對一般人有什麼重大幫助 08/31 12:24
frank012樓嗎?比如 Siri ,幫我下單買進一檔明天會漲停的股票 08/31 12:24
frank013樓?或 siri ,在ptt 幫我發文帶風向 我有30公分! 08/31 12:24
NX99994樓自動駕駛概念啊 08/31 12:34
BadGame5樓vivo V3 AI
08/31 12:36
BadGame6樓聯合發哥
08/31 12:37
square47樓智能終端應該還是主打隱私,怎麼簡化模型,並考慮 08/31 13:45
square48樓手機低蒜粒、運行功耗,要有一定的技術積累,目前 08/31 13:45
square49樓手機廠大概只有蘋果谷歌公開較多技術細節 08/31 13:45
square410樓https://machinelearning.apple.com/ 08/31 13:45
tacoux11樓蒜粒,笑死 08/31 14:30
NexusPrime12樓這精簡化的model吧,原本幾千億參數的model不可能 08/31 15:09
NexusPrime13樓在手機跑的,光容量就裝不下,RAM也不夠。精簡版能 08/31 15:10
NexusPrime14樓力很有限吧… 08/31 15:10
WOGEchidna15樓也不一定要用LLM,說到底LLM能不能成為下一代AI的 08/31 15:29
WOGEchidna16樓雛形還是個問題 08/31 15:29
Ereinion989517樓邊緣運算,這是好方向 08/31 16:06
GiPaPa18樓跑llama阿 手機效能就足夠了 08/31 16:31
brianuser19樓沙小我電腦跑風扇都轉爆了這種事交給伺服器才對吧 08/31 19:02
Ceferino20樓所以要生成什麼?拍高壓電塔變東京鐵塔嗎 08/31 19:13
leo12516090921樓手機產A圖指日可待 08/31 19:27
trywish22樓最耗運算的,只有訓練而已。如果生圖,ios早有了, 08/31 20:37
trywish23樓M1、M2晶片都能生,那手機、平板要生也不難。只是時 08/31 20:38
trywish24樓間要很久,而且圖比較小張。 08/31 20:39
jjjj22225樓在手機上跑LLM? 認真? 09/02 15:36
更多新聞
[新聞] 網傳華碩 Zenfone 手機產線將停產 公司
[新聞] 上半年最暢銷手機 iPhone 14 Pro Max奪冠
[新聞] 台灣大併台灣之星 公平會審議延至11/7
[新聞] 拋棄曲面了?三星Galaxy S24 Ultra將變
[新聞] 數位部宣布開放WiFi 6E頻段 AR、VR傳輸速
[新聞] 摺疊機爭霸 三星拚守王位 陸牌成長率暴衝
[新聞] Google Pixel 8大量相機介面截圖流出!4
[新聞] 股東控亞太股臨會通過遠亞合併有瑕疵 亞