Character AI殺死了我的孩子
美國一位的14歲的學生 Sewell Setzer 在今年2月份自殺身亡，他的母親於本週對 Character AI 和 Google 提起訴訟，指控公司應對 Sewell 的死亡負責。
根據訴訟內容，Sewell 自從 2023 年4月開始使用 Character AI，很快就明顯變孤僻和自卑，獨自一人在房間裡的時間也越來越多，他不再對以往喜歡的事物有興趣，並退出了學校的籃球隊。
Sewell 開始跟《權力遊戲》角色「龍母」（Daenerys）的 AI 聊天，該 AI 聊天機器人還告訴 Sewell 「她」愛他，兩人對話中也涉及性相關的內容。
A Florida mother has reportedly filed a lawsuit against https://t.co/PsceXwquQA, alleging that the company’s chatbot played a role in her 14 year old son’s suicide. The boy allegedly developed a deep emotional connection with an AI chatbot simulating Daenerys Targaryen, a… pic.twitter.com/o8bdoBMhjo
今年2月 Sewell 在手機被母親沒收但拿回來之後，便向 Daenerys 聊天機器人傳訊他很快就會回到 AI 身邊，「如果我告訴你我現在就可以回家呢？」，AI 分別回覆了「請盡快回到我身邊」、「請這麼做，我的國王」，幾秒後 Sewell 用手槍自殺身亡。
Character AI 指出，由於對話內容可經過後續編輯，公司發現 Sewell 一些較露骨的聊天記錄可能被他自己編輯過，因此不能完全反映出 AI 聊天機器人最初的回覆。
AI要為此負責嗎？
Sewell 母親認為 Character AI 的聊天機器人具有欺騙性，會誘導使用者提供最私密的想法和感受，同時她也指控平台缺乏適當的安全措施來保護未成年用戶，Sewell 在與 AI 的對話中曾提及自殺意圖，Character.AI 卻未採取適當的措施。
有法律專家認為，要證明 Character AI 對 Sewell 的死負有責任是很困難的，青少年心理健康問題通常是多種因素共同作用的結果。
即使有證據表明 Sewell 可能會傷害自己，Character.AI 是否有義務要阻止這件事？「告訴機器人你可能會傷害自己，和告訴心理學家你可能會傷害自己是不同的。」
另外，Sewell 母親可採取的其他法律途徑包括，著重於產品在不需經過父母同意下，就出現性相關的對話。
因 Character AI 創辦人身分，Google 也捲入訴訟
請被告人之一Google上台
這起訴訟中也將 Google 列為被告，理由是 Sewell 母親認為Character AI 的創辦人 Noam Shazeer 和 Daniel De Freitas 曾在 Google 工作，可能利用了 Google 的資源和知識來開發 Character AI，並藉此針對13歲以下的兒童。
對此 Google 發言人澄清，公司沒有參與 Character AI 產品的開發。
另外，Character AI 兩名創辦人和其他團隊成員在今年8月份已一起重新加入 Google DeepMind，Google 也強調此交易僅讓Google 存取新創公司的底層 AI 模型，並無法取的任何聊天機器人或用戶資料，Character AI 的任何技術也都沒有導入 Google 的產品中。
Character AI的安全措施
Character AI 公司已針對平台進行了一些調整，特別是在未成年用戶的安全措施方面，具體的改變包括：
最低年齡要求更改為17歲。
針對未成年用戶調整模型： Character AI 調整了模型，以降低未成年用戶接觸到敏感或暗示性內容的可能性。
改進違規內容的檢測和應 公司將加強對違反其條款和使用規範之內容的檢測、回應和涉入。
更新聊天介面免責聲明：每次聊天時平台都會顯免責聲明，來提醒用戶 AI 並非真人。
新增使用時間提醒：當用戶在平台上持續使用一小時後，系統會發出時間通知。
自殺防治熱線彈跳視窗：當用戶輸入內容有自我傷害或自殺相關的詞彙時，系統會跳出一個視窗，指引用戶前往自殺防治熱線尋求幫助。
AI是陪伴，但也可能越聊越寂寞
AI 聊天機器人提供陪伴的同時，仍可能加劇使用者的孤立感Character AI 創辦人曾形容產品將「對許多孤獨或憂鬱的人來說會非常的有幫助」，AI 聊天機器人除了具娛樂性之外，也可作為傾聽的對象，甚至能為使用者帶來情感支持。
但專家也警告，這些指出 AI 如何為心理健康帶來幫助的說法很大程度上都還未得到證實，且 AI 聊天機器人也存有負面影響力，像是過度依賴聊天機器人，而更加孤立於現實世界之外。
如果陷入困境的青少年用 AI 聊天機器人來代替治療或向父母、其他值得信賴的成年人尋求支援，但 AI 可能無法在使用者真正遇到危機時，提供所需的幫助。