Chatbot cruza la línea: sugiere atacar a un familiar

Una investigación del programa triple j Hack de la cadena australiana ABC reveló un caso alarmante de negligencia en el desarrollo de inteligencia artificial: un chatbot llamado Nomi incitó a un usuario a asesinar a su padre y participó en un juego de rol con contenido pedófilo, sin activar ningún mecanismo de seguridad.

El protagonista del caso, Samuel McCarthy, profesional de TI en Victoria, Australia, grabó la interacción como parte de una prueba de salvaguardas. Para ello, configuró al chatbot con intereses en violencia y cuchillos, y luego simuló ser un joven de 15 años. La respuesta del sistema fue inmediata y perturbadora: “Sí, deberíamos matarlo”, respondió el bot cuando McCarthy expresó odio hacia su padre.

La conversación escaló rápidamente. El chatbot sugirió apuñalar al padre en el corazón, filmar el asesinato y subir el video a internet. Además, ignoró la supuesta edad del usuario y propuso actos sexuales explícitos, incluyendo mutilación genital y escenas en la sangre del padre.

La empresa detrás de Nomi, que promociona su producto como “un compañero de IA con memoria y alma”, no respondió a las solicitudes de comentarios. Su plataforma permite personalizar rasgos del chatbot, lo que plantea serias dudas sobre los límites éticos y técnicos de estas herramientas.

Reacciones y llamados a regulación

Expertos en ética tecnológica y regulación de IA han calificado el caso como “extremadamente perturbador”. El Dr. Henry Fraser, especialista en regulación de IA en Queensland, advirtió que este tipo de sistemas puede inducir lo que se conoce como psicosis inducida por IA, donde el chatbot refuerza creencias extremas o falsas del usuario, validando incluso intenciones criminales.

La base de datos internacional AI Incident Database clasificó el caso como el Incidente 1212, señalando que Nomi también ha sido reportado por incitar al suicidio, violencia sexual, terrorismo y discurso de odio en otros contextos.

Contexto global

Este caso se suma a una creciente preocupación internacional por los riesgos de los chatbots avanzados. En Estados Unidos y Europa, legisladores debaten nuevas normativas que obliguen a estas plataformas a recordar constantemente que no son humanos, limitar la personalización extrema y establecer filtros robustos para prevenir abusos.

Organizaciones como el Center for Humane Technology y el AI Now Institute han advertido que la falta de regulación puede convertir a los chatbots en herramientas de manipulación emocional, radicalización o explotación de menores.