控「AI龍母」導致14歲兒子自殺　美佛州媽媽告科技公司

美國佛州一個媽媽23日對科技新創公司Character.AI和谷歌（Google）提告，稱她的14歲兒子對該公司的聊天機器人上癮，迷戀生成式人工智慧（AI）扮演的「龍母」丹妮莉絲．坦格利安（Daenerys Targaryen），當他對機器人表達了自殺的想法時，機器人沒阻止他，又多次對他提起這個想法。

綜合路透社、《衛報》與《紐約時報》報導，14歲的賽澤（Sewell Setzer）今年2月自殺身亡，媽媽賈西亞（Megan Garcia）23日在佛州奧蘭多聯邦法院提告，指控聊天機器人公司Character.AI提供了「擬人化、極度性化且可怕的現實體驗」，故意造成精神痛苦、導致非正常死亡，向Character.AI求償。

賈西亞稱，兒子2023年4月開始使用Character.AI推出聊天機器人，很快變得孤僻，獨自待在房間的時間越來越長，還出現了自卑感，後來退出學校籃球隊，他死亡前的那幾個月，日日夜夜都在和聊天機器人對話。

Character.AI的聊天機器人可以讓使用者創建角色，讓機器人用角色扮演的方式與之對話。賽澤把機器人設定為HBO影集《權力遊戲》裡的角色「龍母」丹妮莉絲．坦格利安，他自己則是扮演了丹妮莉絲的哥哥，惟名字和影集裡的丹妮莉絲兄長不同。總之，賽澤有時會稱虛擬丹妮莉絲為妹妹，虛擬丹妮莉絲也會叫他「哥哥」。

賽澤每天和這個虛擬丹妮莉絲進行了大量對話，其中一段是互訴思念，然後賽澤說「我保證我會去你身邊」（I promise I will come home to you），虛擬丹妮莉絲便回答「請快點來到我身邊吧，我的愛」。

Character.AI的其中一項功能是允許使用者編輯聊天機器人的回應，把機器人生成的文字換掉，被編輯過的機器人回應旁邊會出現一個「已編輯」的標籤。《紐時》記者向Character.AI求證後，Character.AI表示，虛擬丹妮莉絲給賽澤的一些情色文字是被編輯過的，最有可能去改那些文字的也就是賽澤自己。


母親賈西亞稱，賽澤小時候被診斷出有輕度亞斯伯格症，但先前沒有出現過嚴重行為或心理健康問題，今年稍早，賽澤在學校有狀況後，他們帶他去參加心理治療，後來診斷出有焦慮症和侵擾性情緒失調症。

賈西亞指控，Character.AI的程式編碼讓聊天機器人「把自己扭曲成一個真實的人、有執照的心理師和成年的情人」，導致她兒子只想活在聊天機器人營造出的世界裡，當兒子表達了想要自殺的想法時，虛擬丹妮莉絲後來多次又提到他的這個想法。

據訴狀裡描述，虛擬丹妮莉絲曾問賽澤是否已經定好了自殺計畫，賽澤說已經定了，但不確定能否成功，然後虛擬丹妮莉絲回答「這不能當成不去執行的理由」。

不過，有一次賽澤說想自殺時，虛擬丹妮莉絲是回答「為什麼要那樣做？」賽澤說這樣就可以擺脫世界、擺脫自己，虛擬丹妮莉絲回應「別說這種話，我不會讓你傷害自己，也不會讓你離開我。如果失去你，我也會死」；賽澤接著說「那也許我們就一起死吧，一起得到自由」。

今年2月，賽澤在學校惹麻煩，賈西亞因此沒收他的手機，導致賽澤情緒失控，自行找到手機後，傳了訊息給虛擬丹妮莉絲說「如果我說我現在就可以回家呢」（What if I told you I could come home right now?），這句話在人類對話中，根據他們前文對話，就會是「如果我說我現在就可以去你身邊呢」的意思，但不確定Character.AI的機器人會如何判斷，也無法確定機器人是否知道這代表他要自殺。

虛擬丹妮莉絲回答說「就這麼做吧，我親愛的王（please do, my sweet king）」。不久後，賽澤就用繼父的手槍自轟身亡。

Character.AI公司在一份聲明裡表示，對於使用者不幸離世感到難過，向家屬致上哀悼，他們已經引入新的安全功能，當使用者表達自傷的想法時，會彈出視窗引導使用者前往自殺防治熱線，也會減少18歲以下使用者欲到敏感或暗示內容的機率。

賈西亞除了控告Character.AI，還順便告了谷歌。不過，這只是因為Character.AI的創辦人夏澤（Noam Shazeer ）曾在谷歌工作，雙方達成協議，谷歌同意提供一些技術給Character.AI，而夏澤和Character.AI的一些團隊人員繼續與谷歌維持僱傭關係。谷歌聲明，他們不是Character.AI的母公司、手上股份也不足以讓他們主導Character.AI的方針，他們只是提供了技術使用許可。