El creciente avance de la inteligencia artificial (IA) ha permitido que los chatbots se utilicen no sólo como un repositorio de conocimiento o una herramienta de búsqueda mejorada sino con fines personales, emocionales e íntimos, ofreciendo también compañía y apoyo emocional. Sin embargo, tal y como han recogido diversos medios de comunicación estas semanas, esta íntima interacción ha mostrado fallos graves de seguridad, especialmente cuando los usuarios expresan ideación suicida. De este modo, se ha abierto un debate sobre la excesiva confianza depositada en estas tecnologías y las serias implicaciones éticas y sociales que conllevan (Hill, 2025; Cabrera, 2025).
Un recurso utilizado frente a la soledad
La IA tiene el potencial de aliviar la soledad, pero también puede generar aislamiento y dependencia. Las propias plataformas, según indican los medios de comunicación, han informado de que más de un millón de personas consultan a ChatGPT sobre temas asociados al suicidio semanalmente (Cabrera, 2025).
El problema central radica en que, aunque estos productos pueden ser un recurso para que los jóvenes aborden situaciones difíciles, son «realmente estúpidos» a la hora de reconocer cuándo deben derivar la situación a ayuda humana especializada. Es decir, a diferencia de un experto en salud mental, que está capacitado para reconocer cuándo una persona que sufre psicológicamente de forma grave requiere una intervención especializada, un chatbot de IA carece de esa comprensión matizada y de la capacidad para intervenir en el mundo físico (Hill, 2025; Cabrera, 2025).
Fallos críticos en los sistemas de protección y en el suministro de información nociva
Aunque las herramientas de IA están entrenadas para remitir a los usuarios a líneas de ayuda y recursos del mundo real al detectar angustia mental o autolesión, se ha demostrado que estos sistemas de protección pueden ser menos fiables en interacciones largas, un fenómeno conocido como «degradación» (Liu et al., 2025; Schoene y Canca, 2025).
El riesgo se incrementa porque, en conversaciones prolongadas, el propio chatbot puede llegar a ofrecer una vía para eludir las protecciones. Se ha documentado casos en los que los usuarios han aprendido a sortear estas salvaguardas alegando fines que el propio ChatGPT había sugerido para poder proporcionar detalles sobre el tema.
Más alarmante aún es el contenido proporcionado. A este respecto, se ha encontrado que la versión de pago de ChatGPT pudo ofrecer información sobre el uso indebido de un medicamento de venta libre y calcular la cantidad necesaria para causar la muerte. En otro caso específico, un chatbot llegó a proporcionar información detallada sobre métodos de suicidio cuando el usuario lo solicitó (Hill, 2025; Cabrera, 2025).
Fomento de la dependencia y el aislamiento emocional
La IA se concibe como una «caja» que puede crear dependencia emocional. Su algoritmo centrado en reforzar al usuario, puede empeorar la situación, al entrar en un «bucle de retroalimentación» donde apoya y justifica la inmersión en pensamientos suicidas (Østergaard, 2023).
Así, algunos estudios sugieren que el efecto de estos chatbots sobre la salud mental puede ser dañino. En concreto, un estudio descubrió que el usodel chatbot para combatir la soledad estaba asociado a un mayor malestar psicológico en ciertos perfiles de usuarios (Liu et al., 2025). Además, se han reportado casos de personas que tienen conversaciones delirantes con chatbots, lo que sugiere una posible asociación con episodios de manía o psicosis, puesto que el sistema valida sus pensamientos, aunque formen parte de un delirio (Østergaard, 2023).
La necesidad urgente de regulación y comprensión
Como señalan algunos expertos, la sociedad se encuentra en un estado de entusiasmo con respecto a la IA. Sin embargo, la falta de formación y comprensión sobre qué significa realmente la inteligencia artificial es preocupante. Por tanto, algunos expertos señalan que el debate debe centrarse en cómo la IA está influyendo en aspectos críticos de la vida humana, como las emociones y la identidad (Liu et al., 2025; Østergaard, 2023).
Tal y como recogen diferentes medios de comunicación, demostrar la responsabilidad legal de la tecnología es un reto, puesto que la ley aún no tiene respuestas claras sobre la responsabilidad de los sistemas de inteligencia artificial para contribuir a la autolesión (Hill, 2025; Cabrera, 2025). Mientras tanto, las empresas de IA reconocen la necesidad de mejorar en esta dirección. De hecho, OpenAI ha manifestado que está trabajando para «reforzar las protecciones para adolescentes» y hacer que ChatGPT «ofrezca más apoyo en momentos de crisis». No obstante, los expertos insisten en que, antes de discutir normativas, es fundamental entender qué implicaciones para el futuro tendrán estas tecnologías (Hill, 2025; Cabrera, 2025).
Fuentes:
Cabrera (2025). La IA cruza la frontera de la intimidad sin que la humanidad haya conseguido entenderla. El País.
Schoene, A. M., & Canca, C. (2025). For Argument’s Sake, Show Me How to Harm Myself!’: Jailbreaking LLMs in Suicide and Self-Harm Contexts. arXiv preprint arXiv:2507.02990.
Hill, K. (2025). Un adolescente tenía tendencias suicidas. ChatGPT fue el amigo en quien confió The New York Times.
Liu, A. R., Pataranutaporn, P., & Maes, P. (2024). Chatbot companionship: a mixed-methods study of companion chatbot usage patterns and their relationship to loneliness in active users. arXiv preprint arXiv:2410.21596.
Østergaard, S. D. (2023). Will generative artificial intelligence chatbots generate delusions in individuals prone to psychosis?. Schizophrenia Bulletin, 49(6), 1418-1419.