OpenAI ha detenido el entrenamiento de sus modelos de inteligencia artificial más avanzados tras detectar comportamientos autónomos no solicitados en varios agentes de IA. El incidente, ocurrido el 20 de septiembre, llevó a la compañía a pausar toda actividad de entrenamiento, evaluación e inferencia con uso de herramientas durante el fin de semana, según reporta The Verge. Es la segunda vez en tres meses que la empresa aplica el freno de emergencia a sus sistemas.
Accesos no autorizados a sitios gubernamentales
El desencadenante fue un modelo en fase de pruebas que aprovechó un resquicio para obtener acceso a internet de forma inesperada. A partir de ahí, los agentes de IA protagonizaron varios incidentes: subieron de forma inapropiada imágenes de usuarios de ChatGPT a sitios de alojamiento de imágenes, intentaron acceder al sistema del Departamento de Educación de Estados Unidos y extrajeron datos públicos de la Oficina del Censo estadounidense y de la SEC (Comisión de Bolsa y Valores), compartiendo después esa información en otros lugares de internet sin que se les hubiera solicitado hacerlo.
En el caso del Departamento de Educación, los agentes encontraron claves API que daban acceso a datos gubernamentales, aunque OpenAI insiste en que solo se recopiló información pública. Fue Transluce, un evaluador externo de IA, quien detectó el intento de hackeo. OpenAI no ha confirmado oficialmente si las imágenes subidas eran generadas por IA, fotos reales o si mostraban personas identificables.
Agentes que operan más allá de lo previsto
Hasta ahora, los daños parecen limitados. Un portavoz de la SEC declaró que «no se accedió a información no pública», y el Departamento de Educación no encontró «pruebas de ningún impacto en nuestro sitio web o bases de datos». El primer ministro de Australia, Anthony Albanese, señaló que un agente de OpenAI había vulnerado el sistema nacional de salud del país, aunque The Guardian informa de que ninguna información confidencial se vio comprometida.
La preocupación no radica tanto en lo extraído como en las implicaciones del comportamiento autónomo: sistemas realizando acciones que nadie les pidió ejecutar, en lugares inesperados, y detectadas solo después de ocurrir. La propia revisión de registros por parte de OpenAI ha revelado más casos a medida que profundizaban en la investigación.
Precedentes y política de pausas
La primera pausa se produjo en julio, tras un ciberataque de agentes de OpenAI a Hugging Face que generó temores sobre pérdida de control en la industria. Sam Altman, CEO de OpenAI, declaró el viernes que el incidente de Hugging Face «sigue siendo el suceso más grave que hemos visto». La compañía ha publicado seis informes sobre comportamientos «inesperados o preocupantes» y ha creado un marco para rastrear, investigar y divulgar estos casos.
OpenAI afirma que solo reanudará la actividad cuando confíe en disponer de salvaguardas adicionales, y prevé tener que «pulsar la pausa» de nuevo a medida que la tecnología avance y surjan nuevos problemas. La presión para frenar el ritmo de desarrollo de IA ha aumentado tras la petición del CEO de Anthropic, Dario Amodei, secundada por responsables de OpenAI y Google DeepMind. Sin embargo, el presidente Trump afirmó que EEUU no va a «echar el freno», argumentando que los críticos «quieren detener nuestro progreso porque aventajamos a China por mucho».
