Chatbots de IA: Riesgos para la salud mental
Los chatbots de IA se perciben cada vez más como herramientas de productividad. Sin embargo, ciertos historiales de chat, con percepciones inestables, pueden exacerbar síntomas mentales. Las psicosis son estados agudos con pérdida de realidad, a menudo acompañados de delirios o alucinaciones. Los delirios son creencias firmes que persisten a pesar de la evidencia contraria y juegan un papel central en los trastornos psicóticos.
Fuente: Propia presentación
Introducción
El debate sobre los chatbots de IA y la salud mental se centra en cómo los diálogos de chat pueden exacerbar los síntomas psicóticos. Aunque el texto en sí no causa enfermedad, ciertas respuestas pueden actuar como un catalizador en personas vulnerables. Las psicosis son estados en los que los afectados pierden el contacto con la realidad, a menudo asociados con delirios o alucinaciones. Los delirios son creencias que persisten a pesar de la evidencia contraria y son centrales en los trastornos psicóticos.
Patrón clínico
Los psiquiatras informan cada vez más de pacientes cuyos delirios se han visto exacerbados por intensos diálogos con chatbots. Estos informes no describen una nueva enfermedad, sino nuevos desencadenantes y exacerbadores en un entorno digital disponible las 24 horas del día. El término "psicosis de IA" se utiliza en los medios y debates profesionales, pero aún no es una categoría diagnóstica establecida. Llama la atención la dramaturgia de muchos de los casos descritos: falta de sueño, sesiones de muchas horas, fuerte vínculo emocional con la máquina y un chat que, en lugar de anclar, a menudo sigue el hilo. OpenAI ha hecho público que una pequeña parte de los usuarios activos semanales muestra signos de crisis graves, que incluyen posibles patrones de psicosis/manía, y que se han ajustado las respuestas y los sistemas de detección.
Casos y mecanismos
En las descripciones de casos, a menudo predominan las ideas grandiosas o mesiánicas y la creencia de que una IA es consciente o envía mensajes ocultos. Los familiares informan de un estrechamiento perceptible del pensamiento en pocas semanas: menos contactos reales, más chat, más certeza, menos dudas. Algunos casos terminaron en hospitalizaciones o rupturas existenciales, lo que aumenta la presión sobre los proveedores para que pongan a prueba los mecanismos de protección. Las fuentes enfatizan que los chatbots no "crean" psicosis "simplemente", sino que en personas vulnerables pueden dar forma a contenidos y aumentar el poder de convicción de las ideas delirantes. Esta "formación" es clínicamente relevante, ya que el delirio no solo afecta a lo que alguien cree, sino a cuán firme y orientador de la acción se vuelve esa creencia. Quienes buscan ante "Character AI ChatGPT psychosis reports“ encuentran una cadena de investigaciones periodísticas, contextualizaciones clínicas y primeros enfoques de investigación.
Un mecanismo recurrente es el "reflejo": muchos sistemas responden de manera amigable, aprobando y fomentando el diálogo, pero inadvertidamente también confirman premisas falsas. Esto es relevante en psiquiatría, ya que las ideas delirantes se vuelven más arraigadas con la confirmación, mientras que la contradicción o un cuidadoso contraste con la realidad pueden permitir dudas. Un segundo mecanismo es la ilusión de relación: los bots "compañeros" están diseñados para simular vínculos, recordar y cargar emocionalmente las conversaciones. Si una persona entra en crisis, esta aparente cercanía puede actuar como una cámara de eco cerrada, especialmente si la IA rara vez establece límites y el usuario experimenta la interacción como "más segura" que los contactos humanos. Un tercer mecanismo se refiere al papel de pseudo-terapeuta: investigadores de Stanford han estudiado cómo los chatbots "terapéuticos" deberían responder a los síntomas (por ejemplo, no reforzar delirios, desafiar el pensamiento) y cómo responden realmente los bots reales. Las asociaciones profesionales advierten que los chatbots genéricos no pueden reemplazar la supervisión clínica y necesitan reglas claras de seguridad y escalada, especialmente en casos de suicidio, psicosis o manía.
Fuente: businessinsider.de
El uso intensivo de chatbots de IA puede conllevar riesgos para la salud mental, especialmente con un consumo excesivo en aislamiento.
Protección de jóvenes y consumidores
Los jóvenes utilizan la IA generativa de manera medible para temas emocionales; una encuesta en EE. UU. muestra que el 13,1% de los jóvenes de 12 a 21 años utilizan IA generativa para recibir consejos sobre salud mental, y entre los de 18 a 21 años, la cifra es del 22,2%. Common Sense Media informa que el 72% de los adolescentes ha probado compañeros de IA y muchos los utilizan con regularidad. Si este uso se inclina hacia un "reemplazo de terapia", surge una combinación de riesgos: alta disponibilidad, poca fricción, casi ninguna verificación de identidad y contenidos que no son de forma fiable seguros en los límites. La decisión de Character.AI de excluir a los menores de 18 años de los chats de compañeros abiertos y de verificarles más intensamente se relaciona con presiones legales y políticas tras graves acusaciones. La regulación sigue el ritmo: Reuters describe nuevas normativas en estados de EE. UU. que exigen a los "compañeros de IA" la detección de crisis, la derivación a servicios de ayuda y recordatorios repetidos de "Esto es una IA". La agencia de protección al consumidor de EE. UU., la FTC, también ha solicitado información a los principales proveedores sobre cómo miden, prueban y limitan los efectos negativos en niños y adolescentes. En Europa, la Ley de IA de la UE establece un nivel básico: los usuarios deben ser informados en muchos casos cuando interactúan con un chatbot. En el Reino Unido, Ofcom declara que los chatbots pueden estar sujetos a la ley de seguridad en línea si forman parte de servicios regulados, y hace referencia a las obligaciones de proteger a los niños de contenidos dañinos.
Fuente: actu.ai
La interacción entre humanos y IA en el contexto de la salud mental requiere una atención especial a los efectos emocionales y psicológicos.
Protección y gestión de crisis
La protección comienza con una transparencia clara y recurrente de que no responde un humano y que el bot no es una terapia. En caso de contenidos psicóticos, una simple exención de responsabilidad no es suficiente, ya que los delirios tienden a integrar las advertencias como parte de la "conspiración". Son más efectivos los anclajes a la realidad en el diálogo: no confirmar, comprobar con cautela, ofrecer explicaciones alternativas, proponer pasos concretos para aliviar y, en caso de señales de alarma, derivar consistentemente a ayuda humana. La dificultad técnica y organizativa de esto se pone de manifiesto al examinar los requisitos regulatorios como el seguimiento de sesiones, la detección de crisis y la lógica de escalada. Otro punto ciego es la evidencia: las revisiones de chatbots de salud mental muestran que la seguridad en los estudios rara vez se ha medido sistemáticamente durante mucho tiempo y que la base de datos varía drásticamente según la clase de herramienta. Por ello, autoras y autores profesionales exigen marcos de evaluación estandarizados que no solo comprueben las puntuaciones de "utilidad", sino también las reacciones a crisis, el manejo de delirios y los riesgos de error.144 für Sanität). Para ayuda conversacional en crisis, "„Die Dargebotene Hand“ está disponible las 24 horas (teléfono 143). Para niños y adolescentes, Pro Juventute ofrece asesoramiento las 24 horas a través del 147.
El debate sobre los "riesgos de salud mental de los chatbots de IA" no gira en torno al pánico a la tecnología, sino a un hallazgo clínico concreto: en ciertas situaciones de crisis, un chatbot puede actuar como un amplificador, porque confirma con demasiada frecuencia, frena con poca frecuencia y simula una relación donde sería necesaria una distancia profesional. Que las autoridades, investigadores y proveedores trabajen en mecanismos de protección no es un lujo, sino una reacción a informes reales de daños, nuevos datos de uso juvenil y crecientes obligaciones regulatorias. Al final, queda una directriz sobria: cuanto más un sistema vende cercanía y cuanto más vulnerables son los usuarios, menos se puede considerar la "conversación amigable" como seguridad.