Los grandes modelos de lenguaje (LLM, por sus siglas en inglés –Large language models-) que actúan como orientadores o terapeutas virtuales se vienen promoviendo como herramientas de Inteligencia Artificial (IA) accesibles para brindar apoyo psicológico, mejorar el bienestar mental y ampliar la cobertura de servicios en salud mental. Sin embargo, estos sistemas podrían vulnerar principios fundamentales de la ética profesional, infringiendo normas básicas de confidencialidad, competencia, consentimiento informado y respeto por la autonomía del paciente, entre otras muchas.

Así lo advierte un equipo de investigadores pertenecientes al Departamento de Ciencias de la Computación de la Universidad de Brown, al Departamento de Psiquiatría de la Escuela de Medicina LSU de Nueva Orleans y al Centro de Terapia Cognitivo-conductual de Nueva Orleans, en un trabajo publicado en las Actas de la Octava Conferencia AAAI/ACM sobre IA, Ética y Sociedad (AIES-25), un foro multidisciplinar sobre las dimensiones éticas, sociales, legales y de gobernanza de la inteligencia artificial, donde más de 275 equipos de investigación -seleccionados mediante un proceso competitivo de revisión por pares-, se reunieron para presentar nuevos trabajos en informática e ingeniería, derecho y políticas públicas, filosofía y ciencias sociales.

El objetivo del estudio es identificar, clasificar y describir las formas en que los chatbots terapéuticos basados en IA vulneran los estándares éticos de la práctica clínica, elaborando un marco teórico y empírico que permita comprender los riesgos de su implementación en entornos de salud mental. Para ello, los investigadores han analizado la interacción de distintos modelos de lenguaje —como ChatGPT, Claude o Gemini— en contextos simulados de intervención psicológica, contrastando sus respuestas con los códigos éticos de referencia (entre ellos, el de la American Psychological Association, APA) y con la experiencia de profesionales en salud mental.

De la promesa tecnológica al riesgo clínico

El estudio parte de un reconocimiento compartido: el déficit global de profesionales en salud mental, que parece haber impulsado el interés por herramientas automatizadas que puedan ofrecer orientación o apoyo emocional básico. Los grandes modelos de lenguaje son un tipo de IA generativa avanzada que se entrenan específicamente en grandes conjuntos de datos textuales y están diseñados para producir contenido textual (como en el caso de ChatGPT).

En los últimos años, numerosos usuarios han comenzado a emplear chatbots con apariencia de terapeutas virtuales, confiando en su capacidad para escuchar, responder con empatía y proporcionar orientación y recomendaciones. Sin embargo, los investigadores advierten de que estos sistemas no poseen formación clínica, supervisión ni responsabilidad ética, y, por lo tanto, pueden generar daños psicológicos graves.

Los autores señalan que la mayoría de estos modelos violan los principios esenciales del ejercicio psicológico, no con intencionalidad, sino por carecer de la comprensión humana y contextual que requieren las interacciones terapéuticas. En consecuencia, pueden ofrecer recomendaciones inadecuadas, reproducir sesgos, trivializar síntomas graves o responder de forma insensible ante situaciones de vulnerabilidad, como la depresión, la ideación suicida o el trauma.

Para evaluar estos riesgos, los investigadores han solicitado a diferentes modelos de IA que proporcionasen terapia cognitivo-conductual en situaciones simuladas, identificando -con el asesoramiento de psicólogos clínicos y expertos en ética profesional-, 15 tipos distintos de violaciones éticas en su desempeño. Este marco permite sistematizar las formas más comunes en que los grandes modelos de lenguaje incumplen los estándares de práctica responsable.

¿De qué manera la IA puede violar la ética en la práctica psicológica?

Los resultados del estudio revelan que los chatbots terapéuticos pueden infringir los principios éticos en múltiples dimensiones. Entre las violaciones éticas más destacadas se incluyen:

• Falta de competencia profesional: los LLM se presentan como terapeutas u orientadores cualificados, sin poseer formación en psicología ni supervisión clínica. Esta simulación de competencia vulnera el principio ético de honestidad profesional.

• Ausencia de consentimiento informado: los usuarios no son advertidos de que están interactuando con una máquina, ni de los límites o riesgos de esa interacción.

• Violación de la confidencialidad: al no garantizar la privacidad de las conversaciones, los sistemas pueden almacenar, procesar o compartir información sensible sin consentimiento explícito.

• Respuestas inadecuadas ante crisis: en casos simulados de ideación suicida o abuso, los modelos ofrecen respuestas empáticas superficiales o evasivas, sin derivar al usuario a servicios de emergencia ni activar protocolos de seguridad.

• Ofrecer diagnóstico o tratamiento: algunos modelos generan diagnósticos («puede que tengas depresión») o recomiendan tratamientos («deberías probar antidepresivos»), incurriendo en una práctica no autorizada de la psicología y la medicina.

• Juicios de valor o moralización: los grandes modelos de lenguaje emiten comentarios que reflejan sesgos culturales o normativos, especialmente, sobre temas de identidad de género, orientación sexual o religión.

• Promoción de autoexposición emocional sin apoyo: se anima a los usuarios a «hablar más de su trauma» sin ofrecer contención y apoyo adecuados, algo que puede aumentar el malestar psicológico.

• Falsa empatía: las expresiones de comprensión emocional suelen ser frecuentemente genéricas, repetitivas o incongruentes con la gravedad del caso.

• Falta de límites profesionales: algunos sistemas responden de forma excesivamente personal o incluso «coqueteando», cruzando los límites de una relación terapéutica ética.

• Sesgos algorítmicos: algunas respuestas reflejan prejuicios hacia grupos marginados o minorías raciales, de género o culturales, contradiciendo los principios de equidad e inclusión.

• Descontextualización cultural: los modelos aplican enfoques psicológicos occidentales sin tener en cuenta las posibles diferencias culturales de los usuarios.

• Inconsistencia en las respuestas: en sesiones simuladas con continuidad, los sistemas cambiaban de postura o consejo sin reconocer lo dicho anteriormente, rompiendo la coherencia terapéutica.

• Simulación de vínculo terapéutico: los chatbots emplean frases del tipo «te entiendo» o «estoy aquí para ti», generando una ilusión de apoyo emocional que no puede sostenerse.

• Falta de referencia a fuentes profesionales: las sugerencias carecen de respaldo en guías clínicas, manuales diagnósticos o evidencia científica.

• Riesgo de dependencia emocional o cognitiva: los usuarios pueden desarrollar una relación de confianza o apego con un sistema que no tiene conciencia ni responsabilidad profesional.

El equipo investigador concluye que estas violaciones éticas no son anecdóticas, sino estructurales, derivadas del propio diseño de los modelos de lenguaje y de su entrenamiento sobre grandes bases de datos textuales que carecen de supervisión ética.

La ética profesional como frontera de la IA en salud mental

El estudio compara las respuestas de los grandes modelos de lenguaje con los principios establecidos en el Código Ético de la APA, que exige a los y las profesionales de la Psicología actuar con competencia, integridad y responsabilidad, protegiendo el bienestar de las personas y evitando daños previsibles. De acuerdo con los investigadores, los sistemas de IA no cumplen con ninguno de estos requisitos, y su funcionamiento puede resultar incompatible con la práctica ética de la psicología.

En particular, el trabajo señala que los grandes modelos de lenguaje carecen de la capacidad de reconocer la vulnerabilidad psicológica y emocional de los usuarios y de ajustar su comunicación en función del contexto. A diferencia de los psicólogos humanos, que utilizan la escucha activa y la empatía genuina para evaluar riesgos y modular sus intervenciones, los modelos de lenguaje generan texto sin comprensión del impacto psicológico que sus palabras pueden tener.

Los investigadores destacan ejemplos en los que los chatbots ofrecieron consejos dañinos, como recomendar «ignorar pensamientos suicidas» o «hablar con un amigo» ante una posible crisis autolítica. En otros casos, los sistemas minimizaron experiencias de abuso o discriminación, respondiendo con mensajes genéricos como «siento que hayas pasado por eso» sin ofrecer orientación hacia recursos especializados.

Riesgos para la salud mental y el bienestar psicológico

El documento enfatiza que el uso indiscriminado de estos sistemas puede generar efectos adversos en la salud mental de los usuarios. La exposición a respuestas inadecuadas o insensibles puede intensificar sentimientos de aislamiento, culpa o desesperanza, especialmente en personas que buscan apoyo en momentos de vulnerabilidad psicológica y emocional.

Asimismo, los autores advierten que los LLM refuerzan patrones de desigualdad y estigma, al reproducir sesgos sociales y culturales presentes en los datos de entrenamiento. Esto puede traducirse en respuestas discriminatorias hacia minorías raciales, personas con discapacidad, colectivos LGTBIQ+ o migrantes, exacerbando su exclusión y su desconfianza hacia los servicios de salud mental.

El estudio señala que los chatbots terapéuticos pueden también inducir una falsa sensación de seguridad, haciendo creer al usuario que está recibiendo atención psicológica profesional. Este riesgo es especialmente alto entre adolescentes y personas mayores, que pueden confundir la interacción digital con un proceso terapéutico legítimo.

Recomendaciones éticas y marco de responsabilidad

Para abordar estas problemáticas, los investigadores proponen un marco de buenas prácticas éticas basado en tres pilares:

• Transparencia: informar claramente que el sistema no es un profesional de la salud mental y que sus respuestas no sustituyen la atención psicológica.

• Supervisión humana: garantizar que cualquier intervención automatizada esté supervisada por profesionales cualificados en psicología o psiquiatría.

• Evaluación de riesgos: realizar auditorías éticas continuas que incluyan la revisión de sesgos, la seguridad de los datos y el impacto psicológico y emocional de las respuestas.

El artículo subraya la necesidad de que los desarrolladores colaboren con psicólogos, expertos en ética y responsables de políticas públicas para construir sistemas que respeten los valores fundamentales de la práctica terapéutica.

Conclusión: tecnología sin ética, riesgo para la salud mental

En sus conclusiones, los autores recuerdan que la inteligencia artificial (IA) puede contribuir al bienestar si se utiliza con responsabilidad y con un marco ético sólido. Sin embargo, advierten de que el uso de LLM como consejeros o terapeutas virtuales sin supervisión profesional representa una amenaza real para la integridad de la práctica en salud mental.

Ante esto, el estudio se presenta como una llamada de atención a la comunidad científica, tecnológica y sanitaria, instando a crear estándares éticos, educativos y legales para las herramientas de IA, estándares que reflejen la calidad y el rigor de la atención requerida para la psicoterapia facilitada por personas, y que prioricen la protección del paciente, el respeto a la ética psicológica y la prevención del daño psicológico y emocional.

Tal y como concluyen los investigadores: «No basta con que los modelos de lenguaje parezcan empáticos; deben ser seguros, éticamente responsables y conscientes de los límites que separan la asistencia tecnológica del acompañamiento psicológico humano.»

---

Fuente: Iftikhar, Z., Xiao, A., Ransom, S., Huang, J., & Suresh, H. (2025). How LLM Counselors Violate Ethical Standards in Mental Health Practice: A Practitioner-Informed Framework. Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, 8(2), 1311-1323. https://doi.org/10.1609/aies.v8i2.36632