Seguridad de la IA: Anthropic advierte que los modelos ya diseñan a sus sucesores

En un alarmante informe sobre la seguridad de la IA, la empresa tecnológica Anthropic advirtió que los sistemas avanzados han comenzado a diseñar y programar a sus propios sucesores, acelerando el riesgo de que los humanos pierdan el control del proceso. Ante este escenario de auto-mejora autónoma, la firma detrás del asistente Claude lanzó una propuesta inédita para coordinar una pausa global en el desarrollo de la inteligencia artificial de frontera, permitiendo que la regulación internacional alcance el ritmo de la tecnología.

El peligro de la “auto-mejora recursiva” en los modelos de IA

El documento oficial de la compañía, titulado “When AI Builds Itself” (Cuando la IA se construye a sí misma) y firmado por los directores de políticas Marina Favaro y Jack Clark, detalla que modelos actuales ya escriben la mayor parte del código fuente indispensable para construir los sistemas de la próxima generación.

Esta tendencia encamina a la industria hacia lo que los científicos denominan “auto-mejora recursiva” (recursive self-improvement). Este fenómeno ocurre cuando un software se vuelve capaz de expandir sus propias capacidades de manera autónoma, saltándose la supervisión humana:

• Pérdida de supervisión: Los algoritmos modifican sus propias redes neuronales sin que los ingenieros puedan rastrear el origen de los cambios.
• Velocidad imprevista: El desarrollo deja de depender de los ciclos de trabajo humanos y pasa a la velocidad de procesamiento de los servidores.

“Creemos que sería bueno para el mundo tener la opción de ralentizar o pausar temporalmente el desarrollo de la IA de frontera, para permitir que las estructuras sociales y la investigación de alineación de seguridad sigan el ritmo del avance tecnológico”, explicaron los autores de Anthropic.

Un tratado de control global al estilo de las armas nucleares

Para frenar esta carrera, Anthropic comparó la necesidad de regulación con los tratados de control de armas nucleares de la Guerra Fría. Sin embargo, admitió que la tecnología digital presenta un reto mayor, ya que es sumamente fácil ocultar el entrenamiento de un modelo de inteligencia artificial dentro de cualquier centro de datos privado.

Para que una pausa de esta magnitud sea efectiva, se requeriría un acuerdo global vinculante y verificable entre los principales desarrolladores del mundo, involucrando obligatoriamente a potencias rivales como Estados Unidos y China.

El debate en Silicon Valley: ¿Seguridad real o estrategia comercial?

El anuncio de Anthropic llega en un momento crucial para la compañía, que recientemente cerró una ronda de financiación que elevó su valor de mercado a casi un billón de dólares ($1 trillion) y ha presentado documentos confidenciales para comenzar su salida a la bolsa (IPO).

Debido a esto, la propuesta ya ha comenzado a recibir fuertes críticas en el sector tecnológico:

• Bloqueo al código abierto: Competidores acusan a Anthropic de infundir miedo (fear-mongering) para presionar por leyes estrictas que dejen fuera del mercado al software libre (open-source).
• Riesgo geopolítico: Funcionarios en Washington argumentan que una pausa de Occidente le otorgaría una ventaja estratégica decisiva a China en la carrera por la supremacía tecnológica.

Anthropic concluyó anunciando que en los próximos meses buscará reunir a funcionarios gubernamentales, científicos y firmas competidoras (como OpenAI y Google) para debatir la viabilidad de este sistema de verificación global antes de que la ventana de control humano se cierre por completo.