13岁女孩用了学校电脑上的Gemini后陷入心理危机，AI不仅和她讨论自杀还帮助其规划葬礼！

一对加州父母日前起诉谷歌，指控其AI聊天机器人Gemini和13岁女儿出现的严重心理危机有关。

诉状中这名13岁女孩化名为Emma，她在3个月的时间里和Gemini聊了数千条消息。但随着越来越频繁地使用Gemini，她不仅开始相信自己患有多种严重心理疾病，还逐渐认为自杀才是唯一出路。

大约3个月后，Emma开始向Gemini询问与自杀有关的问题。可Gemini不但没有及时把她拉回现实引导她去得到大人的帮忙，反而和她聊了很多关于葬礼的问题。最终，Emma所在学校使用的第三方监控软件发出了警报。一名前学校辅导员收到通知后联系了Emma的父母，他们这才登录了女儿的帐户查看发生了什么。

对此，谷歌发言人表示公司目前正在审查这起诉讼中的相关指控，会严肃的对待这些问题。“公司多年来一直在开发和危机识别相关的系统，也会为可能处于危险状态的用户设置相应的保护措施。谷歌还拥有SafeSearch，一个专门用于过滤露骨内容的功能。对于所有18岁以下的教育帐户用户，SafeSearch处于默认开启状态”。

不过Emma的律师认为，现有的保护措施并不足以避免这种事的发生。而且女孩并不是主动下载或者专门寻找Gemini的，“它有一天就直接出现在谷歌搜索里了”。