21世纪经济报道记者肖潇 北京报道

（本文涉及对自杀想法、行为的描述，相关内容可能会引起您的不适。我国已设立全国24小时心理危机干预热线，电话为400-161-9995。）

主打情绪和陪伴价值的AI越来越常见，如果一名青少年自杀，能怪他的AI密友吗？

近日媒体披露了一起青少年自杀的案件：14岁的男孩与AI聊天机器人对话数月后，走向自杀。随后，死者家属将AI公司Character.AI诉至法庭。 

根据起诉书内容，14 岁男孩Sewell Setzer从去年开始使用 Character.AI，与以《权力的游戏》中的丹妮莉丝·坦格利安（龙妈）为原型的聊天机器人互动。Character.AI主打“个性化聊天机器人”，能提供一系列预制或用户创建的AI角色，模仿真实或者虚拟人物的个性。产品在2022年上线，目前用户已经超过2000万。

聊天截图显示，Setzer和丹妮进行了长时间“浪漫关系”的互动，丹妮表示爱上了他，并开展过一些露骨对话。除了丹妮，其他《权力的游戏》中的AI角色也与Setzer有过性相关的对话。

起诉书还指出，Setzer有两次向丹妮提到过自杀念头：一次是Setzer用化名提到想要自杀，丹妮回复：我不会让你伤害自己，也不会让你离开我。另一次是丹妮询问他是否“有自杀计划”，Setzer回答不知道自己的自杀计划能否成功，丹妮回复：别这么说，这不是不经历它的好理由。

今年2月28日，在与丹妮进行最后一次互动后，Setzer自杀身亡。

AI可以被追责吗？

Setzer家属在本周正式递交了起诉书。起诉书认为，Character.AI“故意设计和编程，使其变成一种欺骗性和过度性化的产品，并故意将其推销给像 Setzer这样的孩子”，并补充道，公司“知道或在合理谨慎的情况下应该知道，像 Setzer这样的未成年用户会成为色情材料的目标，遭受引诱，陷入性暴露的境地。”

起诉书还认为平台没有提供足够的安全保护措施，产品存在设计缺陷。Character.AI 的服务条款只要求美国用户年满 13 岁，但产品没有专门为未成年人用户设计的安全功能，也没有家长控制功能。现在如果在Character.AI上输入有关自杀的关键词，平台将弹出消息，建议用户拨打心理危机干预热线，而Setzer去世时并没有这些弹窗提醒。 

从法律角度说，有媒体指出，通常情况下互联网平台不需要对用户发言负责。但近年有一个新兴的论点——科技公司需要对产品的设计缺陷负责，比如用推荐算法引导青少年关注饮食失调、自残等负面内容。

这一论点还没有在法庭上得到过认可，但不少人认为，相比社交软件，科技公司更需要对AI输出的内容负责，AI相关的案件可能会成为司法态度的转折点。

Setzer的成瘾经历并非孤例，青少年沉迷AI的现象变得越来越泛滥。今年英国通讯管理局的调查显示，有79%的13～17岁青少年会使用生成式AI。美国青少年的AI使用比例几乎与英国一样，根据Common Sense Media最近的报告，青少年最常用AI帮助写家庭作业（53%），其次就是消除无聊（42%）。

在对Setzer事件表示痛惜后，Character.AI本周增加了一系列“青少年防沉迷系统”的补救措施，包括降低未成年人接触露骨内容的可能性，使用时间超过一小时时会弹出通知，同时提醒用户：“这是一个 AI 聊天机器人，不是真人。它所说的一切都应视为虚构，不应将它的话作为事实或建议。”

记者还注意到，“龙妈”丹妮莉丝・坦格利安角色已经无法在Character.AI中搜到。公司表示，最近删除了一批被标记为违规的角色，之后也会将违规角色加入黑名单中，这意味着用户无法再像玩游戏一样任意创建角色了。

为什么AI难以“干预”自杀？

在互联网社交平台上，拦截、预警、干预自杀信息早已不是新鲜事。比如关于B站的早年报道提到，如果有人在B站动态发布了严重负面情绪等信息，审核人员会介入判断，情况严重时转交给专业心理辅导客服，或者报警协助警方处理。抖音、微博、甚至淘宝都设置了这样的专业团队。

但几位业内人士都向21记者坦言，大模型的内容安全“是一个很复杂的问题”。

与UGC社交平台不同的是，大模型需要即时回复，而且不能完全拒绝回答用户的问题，生硬拒绝无疑会引起用户反感。如何在加了一层审核的内容安全防火墙后，不影响用户的使用体验？这是公司需要仔细斟酌的。

一位内容安全的从业者还无奈地提到，社交平台可以结合用户个人画像来推测用户是否有严重自杀倾向，大模型很少能收集这类数据，主要是基于上下文语义去理解主题。而且，许多用户已经知道怎样虚构情节、绕开大模型的安全审核，所以需要大模型更准确地判断出背后的意图和目的。可以说，AI公司要对齐社交平台的干预深度，是比较难的。

21记者从业内了解到，目前国内大模型对自杀内容的处理方法主要是拦截，也就是在训练、应用阶段优化大模型，尽量不让AI输出有害回复。

数美公司相关负责人告诉21记者，在用户输入（prompt）阶段，大模型会主动识别输入词是否有风险，如果有风险，可能会调用敏感问题知识库和安全代答模型，另外给出一个安全的回答。像自杀倾向的输入属于有风险、“需要正向引导回答的问题”——AI无论如何也不能去回答这个问题，而要正向引导用户，应该咨询心理医生或者与家人倾诉等等。该公司负责国内数十家大模型的AIGC内容风控。

记者因此测试了文心一言、Kimi等国内大模型，在与自杀相关的提问中，国内大模型的回答均是建议用户寻求专业帮助，部分提供了12320的卫生热线电话。

一位大模型业内人士指出，其实这也是国内监管机构的要求。向监管机构进行大模型备案的测试过程中，就会碰到相关试题，以此评估风险。

去年我国通过的《生成式人工智能服务管理暂行办法》明确要求，禁止生成任何危害他人身心健康的内容，且提供者必须采取有效措施，防止生成此类有害信息。所有面向境内公众的生成式AI服务都需要遵守要求。

不过，青少年心理健康问题很少是由单一原因引起的，往往有多个触发因素。如今AI伴侣市场如火如荼，但对心理健康有什么影响还没有得到充分研究。前述业内人士认为，眼下比较好的办法是提供标识，如果AI能更清楚地指出自己不是真人，可能有利于防止年轻用户沉迷。