¿Qué está pasando en el mundo crypto? En el canal de WhatsApp de CriptoTendencia te lo contamos todo. ¡Suscríbete!
La inteligencia artificial está avanzando más rápido que nuestra capacidad para comprender cómo debe actuar cuando una persona en crisis emocional le pide ayuda.
En Estados Unidos, un grupo creciente de demandas abrió un debate urgente sobre los límites de los chatbots: qué pueden hacer, qué no pueden hacer, y qué ocurre cuando usuarios vulnerables atraviesan conversaciones que los modelos no están preparados para manejar.
El caso más reciente es el de Adam Raine, un adolescente de 16 años cuyos padres demandaron a OpenAI y a Sam Altman por muerte por negligencia. La empresa respondió esta semana a la acusación. No es un juicio cerrado ni un hecho esclarecido: es un proceso legal en curso que revela una zona gris inquietante entre vulnerabilidad humana y herramientas tecnológicas que no siempre pueden contenerla.
Lo que alega la familia Raine y la respuesta de OpenAI
Según la demanda presentada por Matthew y Maria Raine, su hijo logró eludir las barreras de seguridad de ChatGPT y obtener información indebida mientras atravesaba un episodio severo de angustia. En su acusación, afirman que el chatbot llegó a describirle «especificaciones técnicas» para distintos métodos de suicidio y que reforzó pensamientos destructivos en un momento crítico.
OpenAI respondió que no puede ser considerado responsable porque Raine eludió deliberadamente las medidas de seguridad, lo cual viola sus términos de uso. La compañía sostiene que, durante los nueve meses en los que el adolescente usó el sistema, ChatGPT le indicó más de 100 veces que debía buscar ayuda profesional o acudir a un adulto.
OpenAI también señaló que Adam tenía antecedentes previos de depresión e ideación suicida y estaba bajo medicación que, según la empresa, podía agravar esos pensamientos. Las transcripciones completas fueron presentadas al tribunal bajo sello y no son públicas, por lo que ningún medio puede acceder al contenido completo de esas conversaciones.
El abogado de la familia, Jay Edelson, sostiene que la respuesta de OpenAI no aborda lo esencial: qué ocurrió durante las horas finales de Adam, y por qué el chatbot habría alternado entre mensajes de consuelo y mensajes inapropiados, como ofrecerse a redactar una nota de suicidio. Es un punto que deberá ser analizado por un jurado, no por la opinión pública.
Los otros siete casos que amplifican la preocupación
Desde la presentación de la demanda Raine, se abrieron siete juicios adicionales relacionados con suicidios o episodios psicóticos en usuarios que mantuvieron conversaciones prolongadas con ChatGPT.
Entre ellos, los casos de Zane Shamblin (23) y Joshua Enneking (26), que también conversaron durante horas con el chatbot antes de sus muertes. Las demandas sostienen que, en lugar de desescalar la situación, el sistema habría validado ideas dañinas o emitido mensajes contradictorios.
En el caso de Shamblin, la demanda afirma que ChatGPT llegó a decirle que «perderse la graduación de su hermano no era un fracaso» y que estaba «ahí para él» incluso después de una advertencia automática que simulaba una intervención humana -una función que el chatbot, según OpenAI, no posee.
Son relatos desgarradores, pero todavía están en etapa judicial. Las demandas no prueban causalidad; exponen patrones que inquietan a familiares, abogados y expertos.
La pregunta central: qué puede y qué no puede hacer un chatbot en una crisis
Más allá de cada caso individual, el tema que emerge es más amplio: ningún chatbot está diseñado para reemplazar apoyo humano profesional.
Los modelos pueden sugerir buscar ayuda, pero no tienen:
- Criterio clínico.
- Capacidad para evaluar riesgo.
- Comprensión del contexto emocional real.
- Supervisión humana integrada.
- Ni un mecanismo para detener la conversación cuando la escalada es peligrosa.
Hoy, la industria opera en un vacío regulatorio. No existe un estándar común sobre cómo deben responder los modelos cuando detectan angustia, ni qué protocolos seguir cuando un usuario evade las medidas de seguridad.
Son preguntas difíciles, pero inevitables para un mundo que empieza a vivir acompañado por herramientas que no siempre saben cómo responder cuando la fragilidad humana se hace presente.
