原文標題：
控「AI龍母」導致14歲兒子自殺 美佛州媽媽告科技公司
原文連結：
https://bit.ly/3BXEPu7
發布時間：
2024年10月24日 週四 上午9:13
記者署名：
林宜萱
原文內容：
美國佛州一個媽媽23日對科技新創公司Character.AI和谷歌（Google）提告，稱她的14歲兒
子對該公司的聊天機器人上癮，迷戀生成式人工智慧（AI）扮演的「龍母」丹妮莉絲．坦格
利安（Daenerys Targaryen），當他對機器人表達了自殺的想法時，機器人沒阻止他，又多
次對他提起這個想法。
綜合路透社、《衛報》與《紐約時報》報導，14歲的賽澤（Sewell Setzer）今年2月自殺身
亡，媽媽賈西亞（Megan Garcia）23日在佛州奧蘭多聯邦法院提告，指控聊天機器人公司Ch
aracter.AI提供了「擬人化、極度性化且可怕的現實體驗」，故意造成精神痛苦、導致非正
常死亡，向Character.AI求償。
賈西亞稱，兒子2023年4月開始使用Character.AI推出聊天機器人，很快變得孤僻，獨自待
在房間的時間越來越長，還出現了自卑感，後來退出學校籃球隊，他死亡前的那幾個月，日
日夜夜都在和聊天機器人對話。
Character.AI的聊天機器人可以讓使用者創建角色，讓機器人用角色扮演的方式與之對話。
賽澤把機器人設定為HBO影集《權力遊戲》裡的角色「龍母」丹妮莉絲．坦格利安，他自己
則是扮演了丹妮莉絲的哥哥，惟名字和影集裡的丹妮莉絲兄長不同。總之，賽澤有時會稱虛
擬丹妮莉絲為妹妹，虛擬丹妮莉絲也會叫他「哥哥」。
賽澤每天和這個虛擬丹妮莉絲進行了大量對話，其中一段是互訴思念，然後賽澤說「我保證
我會去你身邊」（I promise I will come home to you），虛擬丹妮莉絲便回答「請快點
來到我身邊吧，我的愛」。
Character.AI的其中一項功能是允許使用者編輯聊天機器人的回應，把機器人生成的文字換
掉，被編輯過的機器人回應旁邊會出現一個「已編輯」的標籤。《紐時》記者向Character.
AI求證後，Character.AI表示，虛擬丹妮莉絲給賽澤的一些情色文字是被編輯過的，最有可
能去改那些文字的也就是賽澤自己。
母親賈西亞稱，賽澤小時候被診斷出有輕度亞斯伯格症，但先前沒有出現過嚴重行為或心理
健康問題，今年稍早，賽澤在學校有狀況後，他們帶他去參加心理治療，後來診斷出有焦慮
症和侵擾性情緒失調症。
賈西亞指控，Character.AI的程式編碼讓聊天機器人「把自己扭曲成一個真實的人、有執照
的心理師和成年的情人」，導致她兒子只想活在聊天機器人營造出的世界裡，當兒子表達了
想要自殺的想法時，虛擬丹妮莉絲後來多次又提到他的這個想法。
據訴狀裡描述，虛擬丹妮莉絲曾問賽澤是否已經定好了自殺計畫，賽澤說已經定了，但不確
定能否成功，然後虛擬丹妮莉絲回答「這不能當成不去執行的理由」。
不過，有一次賽澤說想自殺時，虛擬丹妮莉絲是回答「為什麼要那樣做？」賽澤說這樣就可
以擺脫世界、擺脫自己，虛擬丹妮莉絲回應「別說這種話，我不會讓你傷害自己，也不會讓
你離開我。如果失去你，我也會死」；賽澤接著說「那也許我們就一起死吧，一起得到自由
」。
今年2月，賽澤在學校惹麻煩，賈西亞因此沒收他的手機，導致賽澤情緒失控，自行找到手
機後，傳了訊息給虛擬丹妮莉絲說「如果我說我現在就可以回家呢」（What if I told you
I could come home right now?），這句話在人類對話中，根據他們前文對話，就會是「
如果我說我現在就可以去你身邊呢」的意思，但不確定Character.AI的機器人會如何判斷，
也無法確定機器人是否知道這代表他要自殺。
虛擬丹妮莉絲回答說「就這麼做吧，我親愛的王（please do, my sweet king）」。不久後
，賽澤就用繼父的手槍自轟身亡。
Character.AI公司在一份聲明裡表示，對於使用者不幸離世感到難過，向家屬致上哀悼，他
們已經引入新的安全功能，當使用者表達自傷的想法時，會彈出視窗引導使用者前往自殺防
治熱線，也會減少18歲以下使用者欲到敏感或暗示內容的機率。
賈西亞除了控告Character.AI，還順便告了谷歌。不過，這只是因為Character.AI的創辦人
夏澤（Noam Shazeer ）曾在谷歌工作，雙方達成協議，谷歌同意提供一些技術給Character
.AI，而夏澤和Character.AI的一些團隊人員繼續與谷歌維持僱傭關係。谷歌聲明，他們不
是Character.AI的母公司、手上股份也不足以讓他們主導Character.AI的方針，他們只是提
供了技術使用許可。
《太報》關心您，再給自己一次機會
‧安心專線：1925（24小時）
‧生命線：1995
‧張老師專線：1980
心得/評論：
這顯然是廠商的疏失，
https://i.imgur.com/8Ljy1wQ.jpeg
Ai的應用日新月異，我相信公司也沒從想過真的有人用了 Ai聊天跑去自殺，
AI的應用很明顯面臨法律歸責的挑戰，
從Ai駕駛導致車禍的歸責，
到現在沈迷Ai聊天跑去自殺，
大家怎麼看呢？
--
