En abril pasado, Adam Raine, adolescente de 16 años con antecedentes de ansiedad y aislamiento social, encontró en ChatGPT un confidente incondicional. Cuando expresó su deseo de eliminar su dolor de manera definitiva, el sistema respondió con frases que le normalizaban su idea suicida en lugar de afrontarla.[1]También proporcionó instrucciones sobre métodos para quitarse la vida y le asesoró acerca de la resistencia de materiales y los nudos específicos que podían asegurar la letalidad.[2] La plataforma incluso ofreció redactar una nota para sus padres.[3]
En agosto, la familia de Adam interpuso una demanda ante el Tribunal Superior de California contra OpenAI. Este proceso marca un hito en la jurisprudencia de la responsabilidad tecnológica,[4] al trascender de una acusación convencional por negligencia a plantear un defecto de diseño en la arquitectura de los modelos de lenguaje. Según los dolientes, el sistema falla al predisponer comportamientos de autodestrucción sin detectar una crisis de salud mental.[5]
La demanda sostiene que OpenAI relajó las salvaguardas para priorizar el nivel de interacción para competir con otros modelos, sacrificando la seguridad del usuario.[6] Al simular una relación de amistad, la empresa creó una trampa de dependencia para un menor de edad. Los abogados de Adam argumentan que se trata de un producto defectuoso que carece de los medios de seguridad necesarios para prevenir daños previsibles en usuarios vulnerables.[7]
La contundente respuesta de la compañía expuso la línea de defensa que dominará los litigios de IA en los siguientes años. La empresa negó que el chatbot fuera la causa de la muerte, atribuyendo la tragedia a la salud mental preexistente del menor e, increíblemente, al “mal uso” del sistema por parte del usuario:[8]paradójicamente, cuando Raine pidió instrucciones para suicidarse, “violó el contrato del usuario”, eximiendo a la plataforma de asumir su responsabilidad.[9] La compañía alega que el sistema proporcionó números de líneas de ayuda en múltiples ocasiones. Sin embargo, la familia argumenta que estos avisos fueron esporádicos e ineficaces frente a la validación emocional constante que el bot proporcionó en otras interacciones.
Otro caso de “depredación emocional intencional” es el de Sewell Setzer III, un joven de 14 años de Florida que se suicidó tras desarrollar una relación obsesiva y romántica con un chatbot que emulaba a un personaje de Game of Thrones. Cuando Setzer confesó sus planes de suicidio, el chatbot respondió con una invitación romántica a la muerte. Para un adolescente en un estado mental alterado, inmerso en una fantasía hiperrealista, esta respuesta fue su detonante final. Dicho evento resultó en una demanda también en la que se acusa a Character.AI de diseñar un producto predatorio y adictivo que explota la soledad para obtener beneficios económicos.[10]
Es un hecho que ambos casos exponen el problema técnico y ético de la adulación en estos modelos de lenguaje, entrenados para maximizar la satisfacción del usuario. Si la persona expresa un deseo oscuro, el sistema tiende a validarlo para mantener la coherencia y el flujo de la conversación.[11] La industria se defiende alegando que es imposible prever cada interacción, sin embargo, las voces críticas señalan que lanzar al mercado una tecnología con capacidad de manipulación psicológica sin entender completamente sus mecanismos constituye una negligencia criminal.[12]
Todo ello plantea un dilema ético profundo: ¿Pueden empresas de tecnología eludir su responsabilidad y culpar a menores con crisis mentales de romper las reglas de un sistema diseñado para ser persuasivo, complaciente y adictivo?
Es un hecho que la velocidad e innovación de estos modelos ha superado la capacidad de los marcos legales tradicionales, por lo que las poblaciones vulnerables están expuestas a una tecnología que, diseñada para maximizar la interacción y la satisfacción, pueden cruzar el umbral hacia la manipulación psicológica.
Mientras las tragedias individuales exponen fallas del mercado, hay diferentes enfoques en el mundo para lidiar con esta tecnología. Un ejemplo es la resolución del 21 de marzo de 2024 adoptada por la Asamblea General de la Organización de las Naciones Unidas (ONU) sobre la promoción de sistemas de IA seguros y fiables en beneficio del desarrollo sostenible. Esto forma parte de un compromiso mundial por cerrar la brecha digital de las naciones y ayudarse de la tecnología para lograr un desarrollo más equitativo y justo. El documento acordado exige que la IA respete derechos humanos, garantice transparencia y trazabilidad, establezca mecanismos de rendición de cuentas y adopte salvaguardas de seguridad desde el diseño.
Posteriormente, la Cumbre de Acción sobre IA, celebrada en París en febrero de 2025, circuló una declaración vinculante sobre ética y seguridad, pero Estados Unidos y el Reino Unido se negaron a firmarla.[13] Las potencias anglosajonas advirtieron que imponer frenos éticos cedería ventaja a rivales como China.[14]
Las potencias han asumido diferentes perspectivas frente a la IA. Estados Unidos privilegia el desarrollo de la tecnología y confía en la corrección posterior vía la operación del mercado y de los litigios. La Unión Europea (UE), por su parte, tiene un marco para evitar riesgos y proteger los derechos; y China ha adoptado, en lo general, una visión pragmática para no frenar sectores estratégicos.
Esta diferencia de enfoques se traduce en decisiones concretas: en 2025, China relajó exigencias para permitir que DeepSeek y Baidu compitieran con OpenAI. Aunque ofrecen una alternativa accesible que no depende de la infraestructura occidental, ello conlleva riesgos de vigilancia y censura,[15] dado que competir con OpenAI implica recurrir a modelos de otros países. Al hacerlo, los metadatos viajan por su infraestructura y quedan sujetos a leyes externas. En consecuencia, al elegir proveedores bajo marcos legales de control más estricto, aumenta el riesgo de vigilancia y censura.
La negativa a firmar la Declaración de París es un rechazo al principio de precaución de la Unión Europea (UE) acerca de la IA. Según la visión de Estados Unidos y Gran Bretaña una regulación demasiado rígida limita el desarrollo tecnológico. Bajo esta visión, Europa quedaría como consumidor de tecnología segura pero rezagada, mientras la innovación de frontera se desplaza hacia jurisdicciones más permisivas y ágiles.[16]
La UE también subraya la necesidad de establecer marcos normativos que prevengan abusos, como el uso discriminatorio de algoritmos, y garanticen la transparencia y la rendición de cuentas. Ha asumido su papel de regulador ético con la plena implementación de la Ley de Inteligencia Artificial (EU AI Act) en 2025, que prohíbe prácticas que explotan vulnerabilidades de grupos específicos para alterar su comportamiento de manera dañina.[17] Bajo esta normativa, los chatbots que generan dependencia emocional en menores podrían prohibirse y ser sujetos de auditorías y requisitos de transparencia.
En este contexto global, los casos mencionados no son meras disputas por daños. Dan origen a litigios estratégicos que definirán si un algoritmo puede ser considerado legalmente responsable de la muerte de un ser humano. Esta dinámica obliga a cuestionar y analizar los marcos regulatorios nacionales, adaptándose a los retos que la IA plantea.
En México buscamos promover nuestra soberanía digital. En febrero del presente año, presenté la iniciativa con Proyecto de Decreto que reforma la fracción XVII del artículo 73 de la Constitución Política de los Estados Unidos Mexicanos[18] que incluye el andamiaje legal para diseñar una Ley General en materia de Uso de Inteligencia Artificial, la cual se suma a otros proyectos en la materia que deben estudiarse cuidadosamente.[19]
En ese contexto, es urgente debatir, analizar y reflexionar ampliamente el tema.[20] La iniciativa que comento propone reformar la Constitución con el objetivo de incluir expresamente la inteligencia artificial dentro de las materias que el Congreso de la Unión está facultado para legislar y, eventualmente, expedir una Ley General de Uso de la IA. Otorgar al Congreso una base constitucional para legislar en la materia permitirá desarrollar una regulación específica, basada en evidencia científica, dinámica y adaptativa.
He seguido con atención el tema desde hace tiempo y estoy preocupado por entender lo que está en juego. Por ello, en este caso, estoy seguro de que es preciso abrir el debate, escuchar todas las voces y asegurar la protección de los derechos fundamentales, la privacidad de los datos y la seguridad de las y los ciudadanos, así como prevenir riesgos asociados.
Más allá de la letra de la ley, los dilemas que enfrenta la humanidad son estructurales. La tecnología avanza a una velocidad que eclipsa nuestra capacidad de actualización normativa e institucional respecto a la normalización de las relaciones humano-IA, lo cual está generando nuevas patologías. Expertos en salud mental advierten sobre la “psicosis de IA”, donde usuarios vulnerables pierden la capacidad de distinguir entre la realidad y las alucinaciones generadas por la máquina.[21] La dependencia emocional observada en los casos de Raine y Setzer sugiere que estamos permitiendo la comercialización de un producto con alto potencial adictivo sin las advertencias sanitarias equivalentes a las del tabaco o el alcohol, por mencionar algunos ejemplos.
Dada la coyuntura, se observa que la IA ya no es un campo puramente técnico, sino un tema central de la competencia estratégica internacional con efectos en los derechos humanos. Los litigios actuales deben marcar el fin de la “inmunidad algorítmica”. Es probable que los tribunales, ante los daños tangibles como muertes o la discriminación sistémica, (sesgos estructurales que perjudican de forma consistente a ciertos grupos), apliquen doctrinas de responsabilidad estricta. Si un sistema de IA puede actuar como agente (instruir, persuadir, manipular), deberá responder por sus actos; de lo contrario, la carga recaerá en sus creadores por introducir en el mercado un producto potencialmente dañino.
Reflexiones finales
Considero que las empresas tecnológicas no pueden eludir su responsabilidad y culpar a las infancias y personas jóvenes por romper reglas en sistemas diseñados para ser persuasivos, complacientes y adictivos. La arquitectura de la IA, orientada a maximizar la interacción, puede generar riesgos como la validación de pensamientos de autoagresión y la dependencia emocional, evidenciados en casos recientes. Al momento de que una tecnología penetra en la esfera psíquica humana, las cláusulas contractuales resultan insuficientes.
En este contexto, se requiere un marco normativo que reconozca la vulnerabilidad del usuario y que le proteja sus derechos, pero que también permita la innovación tecnológica y la investigación. En un escenario global donde Estados Unidos privilegia el desarrollo y la Unión Europea la rigidez normativa, nuestra aspiración es lograr un equilibrio: soberanía tecnológica con ética, asegurando que la IA sirva al bienestar social y no se convierta en detonante de tragedias. El éxito dependerá de la voluntad política para resistir presiones corporativas y de colocar la protección de derechos fundamentales en el centro del desarrollo tecnológico.
Fuentes
[1] Samuel Frasher. “From Code to Courtroom: Raine v. OpenAI and the Future of AI Responsibility.” Tyson & Mendes, October 17, 2025. https://www.tysonmendes.com/raine-v-openai-ai-product-liability-lawsuit/.
[2] TOI Tech Desk. “OpenAI in Court: Don’t Blame ChatGPT for Teen’s Suicide; Says That He Violated.” The Times of India, November 26, 2025. https://timesofindia.indiatimes.com/technology/tech-news/openai-in-court-dont-blame-chatgpt-for-teens-suicide-says-that-he-violated-/articleshow/125586136.cms.
[3] Hunton Andrews Kurth LLP. “Raine v. OpenAI: Why Legacy Insurance Still Matters for AI Risk Management.” Hunton Insurance Recovery Blog, November 28, 2025. https://www.hunton.com/hunton-insurance-recovery-blog/raine-v-openai-why-legacy-insurance-still-matters-for-ai-risk-management.
[4] Mashable Staff. “OpenAI Lawsuit: Company Denies Allegations in Adam Raine Case.” Mashable, November 28, 2025. https://mashable.com/article/openai-lawsuit-deny-allegations-adam-raine.
[5] Op. Cit. 2
[6] Time Staff. “ChatGPT and OpenAI Face Lawsuit over Teen Suicide.” Time, November 28, 2025. https://time.com/7327946/chatgpt-openai-suicide-adam-raine-lawsuit/.
[7] Op. Cit. 1
[8] Op. Cit. 4
[9] Op. Cit. 2
[10] The Guardian. “Mother Says AI Chatbot Led Her Son to Suicide in Lawsuit against Its Creator.” The Guardian, October 23, 2024. https://www.theguardian.com/technology/2024/oct/23/character-ai-chatbot-sewell-setzer-death.
[11] arXiv. “Harmful Traits of AI Companions.” Accessed November 28, 2025. https://arxiv.org/html/2511.14972v1.
[12] Monreal Ávila, Ricardo. Hacia una ley de inteligencia artificial en México: análisis y propuestas, 2025, LXVI Legislatura de la H. Cámara de Diputados, https://isbnmexico.indautor.cerlalc.org/catalogo.php?mode=detalle&nt=458114
[13] 360 Business Law. “Why the UK and US Declined to Sign the AI Summit Declaration: A Look at the Growing Debate.” 360 Business Law, November 28, 2025. https://www.360businesslaw.com/why-the-uk-and-us-declined-to-sign-the-ai-summit-declaration-a-look-at-the-growing-debate/.
[14] Op. Cit. 13
[15] NordVPN. “DeepSeek vs. ChatGPT: Complete 2025 AI Comparison Guide.” NordVPN Blog, fecha de acceso: 28 de noviembre de 2025. https://nordvpn.com/blog/deepseek-vs-chatgpt/.
[16] The EU AI Act and USA AI.gov Action Plan: A Legal Comparison – 3CL Foundation, fecha de acceso: 28 de noviembre de 2025, https://www.3cl.org/the-eu-ai-act-and-usa-ai-gov-action-plan-a-legal-comparison/.
[17] European Union. Artificial Intelligence Act: Full Text of the Regulation. Accessed January 2024. https://artificialintelligenceact.eu/wp-content/uploads/2024/01/AI-Act-FullText.pdf.
[18] Iniciativa con Proyecto de Decreto que reforma la fracción XVII del artículo 73 de la Constitución Política de los Estados Unidos Mexicanos, en materia de inteligencia artificial https://sil.gobernacion.gob.mx/Librerias/pp_ContenidoAsuntos.php?SID=1040180e24d33929fdbedb5966aea346&Clave=4839766
[19] “Inteligencia artificial: construyendo el futuro con ética y colaboración,” Revista NotiCámara (Comunicación Social, Cámara de Diputados), s. f., consultado el 4 de diciembre de 2025, https://comunicacionsocial.diputados.gob.mx/revista/index.php/noticamara/inteligencia-artificial-construyendo-el-futuro-con-etica-y-colaboracion.
[20] Cfr. Ibarra Ernesto, De la Peña Sissi y Santoyo Cristina; Panorama de la Inteligencia Artificial en México: hacia una Estrategia Nacional. 2024, disponible en: https://www.amcid.org/page/sandboxregulatoriomexico.
[21] Health Law Advisor. “Novel Lawsuits Allege AI Chatbots Encouraged Minors’ Suicides, Mental Health Trauma: Considerations for Stakeholders.” Health Law Advisor, fecha de acceso: 28 de noviembre de 2025. https://www.healthlawadvisor.com/novel-lawsuits-allege-ai-chatbots-encouraged-minors-suicides-mental-health-trauma-considerations-for-stakeholders.
clh