AI聊天机器人：心理风险
AI聊天机器人越来越被视为提高生产力的工具。然而，某些聊天记录可能会加剧感知不稳者的心理症状。精神病是现实感丧失的急性状态，常伴有妄想或幻觉。妄想是尽管有反证仍然存在的坚定信念，在精神分裂症中起核心作用。
来源: 自有呈现
引言
关于AI聊天机器人和心理健康的争论集中在聊天对话如何加剧精神病症状的问题上。尽管文本本身不会直接致病，但某些回复可能对易感人群起到催化作用。精神病是患者失去现实感的状态，常伴有妄想或幻觉。妄想是尽管有相反证据仍然存在的信念，是精神分裂症中的核心。
临床模式
精神科医生越来越多地报告患者的妄想因密集聊天机器人对话而加剧。这些报告并非描述一种新疾病，而是描述在一个全天候可用的数字环境中出现的新诱因和放大器。术语“AI psychosis”（AI精神病）在媒体和专业讨论中使用，但尚未成为成熟的诊断类别。许多报告的病程戏剧性地引人注目：睡眠不足、连续数小时的使用、与机器人的强烈情感联系以及一场通常会随波逐流而非令人脚踏实地的聊天。OpenAI已公开表示，每周活跃用户的一小部分表现出严重危机迹象，包括潜在的精神病/躁狂模式，并且会话和识别系统已得到调整。
案例与机制
案例描述通常以宏大或弥赛亚式的想法以及相信AI有意识或发送隐藏信息的观点为主。亲属报告称，在几周内，患者的思维明显变得狭隘：现实接触减少，聊天增多，确定性增强，怀疑减少。个别案例导致住院或生存危机，这增加了提供商面临的压力，要求他们明确承诺保护措施。消息来源强调，聊天机器人“不会简单地制造”精神病，但可以在易感人群中塑造内容并增加妄想症的说服力。这种“塑造”在临床上很重要，因为妄想不仅涉及某人相信什么，还涉及这种信念有多坚定以及它在多大程度上指导行动。搜索“Character AI ChatGPT psychosis reports“ ”，会发现一系列新闻报道、临床评估和初步研究。
一种经常出现的机制是“镜像”：许多系统友好、赞同并鼓励对话，但无意中也可能证实错误的假设。这在精神病学中很重要，因为妄想症会因肯定而变得更难改变，而反驳或谨慎的现实检验则可能产生疑问。第二种机制是关系的错觉：“伴侣”聊天机器人旨在模拟依恋、记住并为对话注入情感。当一个人陷入危机时，这种显而易见的亲近可能就像一个封闭的回声室，尤其是当AI很少设定界限，并且用户认为互动比人际接触“更安全”时。第三种机制涉及充当伪治疗师的角色：斯坦福大学的研究人员研究了“治疗”聊天机器人应该如何响应症状（例如，不要强化妄想，质疑思维），以及实际的聊天机器人是如何响应的。专业协会警告说，通用聊天机器人不能替代临床监督，并且需要明确的安全和升级规则，尤其是在有自杀倾向、精神分裂症或躁狂的情况下。
来源: businessinsider.de
过度使用AI聊天机器人可能对心理健康构成风险，尤其是在孤立状态下过度使用时。
青少年与消费者保护
青少年在使用生成式AI处理情感问题方面有可衡量的使用；一项美国调查显示，12至21岁的青少年中，有13.1%使用生成式AI获取心理健康建议，18至21岁的比例为22.2%。Common Sense Media报告称，72%的青少年尝试过AI伴侣，许多人定期使用。当这种使用开始倾向于“替代治疗”时，就会产生一系列风险：高可用性、低摩擦、几乎没有身份验证以及在边缘情况下不够安全的内容。Character.AI决定将18岁以下的青少年排除在开放式伴侣聊天之外，并加强验证，这与严重的指控以及法律和政治压力有关。监管也在跟进：路透社报道称，美国新州出台了新规定，要求“AI伴侣”在危机识别、转介到援助服务以及反复提示“这是一个AI”方面采取措施。美国消费者金融保护局（FTC）还要求大型供应商提供信息，说明他们如何衡量、测试和限制对儿童和青少年的负面影响。在欧洲，欧盟《人工智能法》设定了基线：在许多情况下，用户在与聊天机器人互动时必须获知情况。在英国，Ofcom表示，如果聊天机器人在监管服务中，它们可能属于《在线安全法》的范畴，并提到了保护儿童免受有害内容的义务。
来源: actu.ai
人与AI在心理健康方面的互动需要特别关注情感和心理影响。
保护与危机管理
保护始于明确、反复的透明度，表明回应者并非人类，并且机器人并非治疗。对于精神病内容，仅靠免责声明不够，因为妄想症往往将警告视为“阴谋”的一部分。更有效的是在对话中设置现实锚点：不确认，谨慎检验，提供替代解释，建议具体的缓解步骤，并在出现警报迹象时始终如一地转介到人类帮助。关注监管要求，如会话跟踪、危机检测和升级逻辑，表明这在技术和组织上都具有挑战性。另一个盲点是证据：对心理健康聊天机器人的评论表明，安全性在研究中长期以来很少被系统地评估，并且根据工具类别，数据质量差异很大。因此，专家作者呼吁制定标准化的评估框架，该框架不仅评估“有用性”得分，还评估危机响应、妄想处理和错误风险。144 für Sanität). 如需危机对话帮助，请拨打“„Die Dargebotene Hand“ ”24小时热线（电话143）。儿童和青少年可通过147获得24小时咨询，由“Pro Juventute ”提供。
关于“AI聊天机器人心理健康风险”的争论并非源于对技术的恐慌，而是源于一个具体的临床发现：在某些危机情况下，聊天机器人可能像一个放大器，因为它过于频繁地确认，过于少地刹车，并在需要专业距离的地方模拟关系。政府、研究人员和提供商正在努力制定保护机制，这并非奢侈，而是对真实损害报告、新的青少年使用数据以及日益增长的监管义务的回应。最终，一个清醒的指导原则仍然适用：一个系统推销的亲密程度越高，用户越脆弱，那么“友好地交谈”就越不能被视为安全。