Adolescente de 14 años de EEUU se enamoró de una inteligencia artificial y se suicidó: su madre inició una demanda

Aunque el adolescente sabía que las respuestas de "Dany" eran generadas por un modelo de lenguaje artificial, el vínculo emocional que desarrolló con la IA fue demasiado fuerte.

Durante sus largas conversaciones, a las que accedió el periódico estadounidense, el joven compartía con el chatbot sus sentimientos más íntimos, que a menudo tocaban temas de autoagresión y desesperación.

Según el New York Times, los padres y amigos de Sewell lo notaban cada vez más pegado a su teléfono y notaron que se estaba alejando del "mundo real". Según cuenta, las calificaciones empezaron a bajar y empezó a tener problemas en la escuela. Además, perdió interés en jugar al Fortnite de noche con sus amigos. Según el testimonio de sus padres, llegaba a su casa y se iba directo a su cuarto donde hablaba con el personaje virtual por horas.

Sewell fue diagnosticado de niño con el síndrome de Asperger, un trastorno del desarrollo que afecta la interacción social recíproca. Sus padres aseguraron que este problema no le había generado problemas de comportamiento o de salud mental graves.

La respuesta de Character AI

A diferencia de los chatbots tradicionales, Character AI busca hacer que las interacciones sean lo más realistas y dinámicas posibles, con respuestas que reflejan los rasgos o comportamientos que el personaje en cuestión debería tener. La plataforma usa modelos avanzados de procesamiento de lenguaje natural para lograr esto, lo que la convierte en una experiencia más inmersiva y entretenida.

Además, los usuarios pueden crear y personalizar sus propios personajes, ajustando sus características y habilidades para que hablen y reaccionen de una manera específica.

Megan Garcia, madre de Sewell, demandó esta semana a Character.AI, alegando que la compañía es responsable de la muerte de su hijo. El borrador de la demanda señala que la tecnología de la empresa es "peligrosa y no probada", además de advertir que tiene la capacidad de "engañar a los usuarios para que revelen sus pensamientos y sentimientos más íntimos".

La nota del New York Times concluye que los problemas de salud mental de los adolescentes rara vez tienen una única causa y que la historia de Sewell puede "no ser típica" de todos los jóvenes que la usan a diario.

De todas formas, aclara que el hecho de "encariñarse" emocionalmente con un chatbot es cada vez más común.

Tras la publicación de la noticia, Character AI publicó un comunicado en el que manifiestan sentirse "desconsolados" por la pérdida de uno de sus usuarios.

"Queremos expresar nuestras más profundas condolencias a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y seguimos añadiendo nuevas funciones de seguridad", indicaron.

Además, reportaron que mejoraron su seguridad, enfocándose en proteger a los menores de 18 años. La plataforma eliminó contenido inapropiado, como "descripciones sexuales explícitas" o la "promoción de autolesiones". Además, contrató nuevos líderes para supervisar las áreas de "Confianza y Seguridad" y "Políticas de Contenidos".

Entre las novedades, incluyeron un recurso emergente que "redirige a los usuarios a la Línea Nacional de Prevención del Suicidio" cuando mencionan frases sensibles. También se implementaron restricciones para menores, "reduciendo la posibilidad de encontrar contenido sugestivo".