Re: [洽特] 有關如何自建本地AI聊天機器人

裏洽

640

現在最強的LLM對話前端平台,應該是韓國製品RisuAI,只是在英文系的社群平台不夠紅
開源,使用者友善的UI介面、有Web端(可以用手機玩),功能豐富程度僅次於ST
可惜的是Mod沒有,我猜都放在贊助後加入的discord上面了

https://risuai.net/

RisuAI最神的是,平台上一堆用愛發電的作者用Regex寫卡片,這在其他平台非常稀少
SillyTavern也有支援Regex,但因為RisuAI是角色卡內容+資料庫+語法直接綁一包
與其花時間手動移植,還不如加入RisuAI,平台上直接一鍵下載省事

Regex可以實現的功能像是
.直接在每次回應輸出立繪卡,還能翻面看狀態 https://imgur.com/a/R5CZiKR

.在底部生成一個小表格,紀錄你的狀態、裝備 https://imgur.com/a/jTa6BF6

.能輸入指令直接啟用特殊事件 https://imgur.com/a/gZpXb6T

.官網例圖。但我找不到實裝卡片 https://imgur.com/a/FYHmQ7g


且雖然韓國使用者不少,但卡片仍用英文建構,且不少還內建多語言的初始對話
支援通用V2 png格式,所以其他平台的角色卡、資料庫也能直接匯進去

---

RisuAI甚至有支援繁體中文介面,整個介面的整理上也沒什麼太晦澀難懂的部分
雖然內建雙向翻譯功能,但機翻辭不達意很正常,網頁版開沉浸式翻譯相互對照比較穩
或你不嫌棄資源少更新慢,想辦法去找一個繁中可以溝通順暢的模型也可以

唯一要特別提的,是RisuAI跟SillyTavern一樣,都是純前端介面
需要搭配一個後段去執行LLM,也就是啟動時系統會問你的問題。付費選擇很多就先略過

免費仔如果不在意互動資料流出、變成下一代LLM的養分,內容也不擔心被FBI敲門的話
.OpenRouter。提供Llama3 405B、Hermes3 405B (限制8k上下文)
.Google Gemini。1.5 fresh 1M上下文、1.5 pro 2M上下文,有流量限制

注重隱私、要離線執行的話,Ollama跟Kobold都是相對簡單且速度快的後端
怎麼安裝就上github學吧,雖然對沒有基礎知識的網友來說,相信還是會頭很痛啦
若是硬核仔,直上llama.cpp就對了

---

我主要是玩RPG,所以還是選擇待在SillyTavern
因為SillyTavern群組對話功能較完整。除世界資料庫外,個別卡片還能讀自己的資料庫
Mod除了有經典的DnD骰外、還有能生成分歧選項的模組

原創RPG推薦StatuoTW的Adolion Series,這個世界觀下的男女角色超過50位
https://rentry.co/statuotw#adolion-series-fantasy-adventurer-guild

生成選擇分歧。懶人專用,或是覺得AI實在太好操弄、想要增加一點不確定感時推薦
https://github.com/vitorfdl/Sillytavern-CYOA

其實要自己把這些現成的Mod移植去RisuAI用應該是不會太難啦,但..就很懶

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 184.65.128.80 (加拿大) ※ 文章網址: https://www.ptt.cc/bbs/AC_In/M.1731560328.A.E01.html
MrJB1樓感覺好難 11/14 13:02
補個Regex效果圖
Rosor2樓這個有支援本地模型嗎 11/14 23:20
本人3樓Ollama, Kobold, llama.cpp都是執行本地模型的後端 11/14 23:30
本人4樓但Regex加持的增強卡片,小模型會比較容易輸出跑歪 11/14 23:36
chiekat5樓各LLM對數值的追蹤表現還好嗎,之前在 sillytavern redd 11/15 18:11
chiekat6樓it 爬文得到的回覆都不太樂觀 11/15 18:11
本人7樓越大越聰明的模型,越能相對有效追蹤參數跟細節 11/16 00:03
LaPass8樓感謝 11/16 00:51