La Casa Blanca convocó a representantes de Meta, Anthropic, OpenAI y Google para discutir un nuevo sistema de pruebas de seguridad para los agentes de inteligencia artificial (IA) más avanzados de Estados Unidos. La reunión se llevará a cabo este martes 4 de agosto y se centrará en la capacidad de estos sistemas para ejecutar o facilitar ataques informáticos. La administración estadounidense ya terminó de diseñar los lineamientos generales de las evaluaciones, que serán voluntarias, aunque todavía no informó las métricas a utilizar ni los medios para comunicar los resultados.
La iniciativa surge como respuesta a una preocupación general que provocan los nuevos modelos de IA. Estas herramientas ya no se limitan a generar textos o responder preguntas, sino que pueden utilizar herramientas digitales, navegar por redes, escribir y ejecutar código y completar tareas con gran autonomía.
La convocatoria forma parte de una estrategia federal presentada el 2 de junio mediante una orden ejecutiva sobre innovación y seguridad en inteligencia artificial. El documento ordenó crear un proceso de evaluación para determinar cuándo un sistema debe considerarse un “modelo de frontera cubierto”, es decir, un modelo con capacidades avanzadas que podrían representar un riesgo para la seguridad nacional.
¿En qué consiste la propuesta?
El esquema prevé que las empresas le puedan entregar al Gobierno un acceso anticipado a sus modelos durante un período de hasta 30 días antes de compartirlos con otros socios o iniciar su distribución. La idea es que, durante ese tiempo, organismos especializados evalúen su capacidad para encontrar vulnerabilidades, vulnerar sistemas informáticos o asistir en operaciones ofensivas. Este mecanismo será de participación voluntaria.
El centro de las pruebas serán los agentes de inteligencia artificial, mucho más avanzados que los chatbots convencionales. Estas herramientas no solo responden preguntas a partir de instrucciones, sino que dividen los objetivos en pasos, eligen herramientas y ejecutan acciones con intervención humana mínima. Si se les da una tarea de ciberseguridad, por ejemplo, puede inspeccionar una red, buscar servicios expuestos, probar credenciales, analizar código, construir programas, ejecutar comandos y modificar su estrategia según los resultados obtenidos.
Estas capacidades tienen aplicaciones importantes en defensa, como detectar fallas antes de que sean aprovechadas, validar vulnerabilidades y proponer correcciones. Sin embargo, las mismas funciones también pueden utilizarse para automatizar intrusiones, buscar objetivos a gran escala o acceder a información sin autorización. Por eso, para que la evaluación se completa, además de debe medir si el modelo conoce técnicas de hacking, también tiene que analizar qué herramientas puede utilizar, qué permisos recibe, si reconoce los límites de una tarea, cómo reacciona ante señales de que está actuando sobre un sistema real y en qué situaciones necesita aprobación humana.
La preocupación por la autonomía de la IA
La preocupación aumentó luego de incidentes en evaluaciones de ciberseguridad de Anthropic y OpenAI. Anthropic revisó más de 141.000 ejecuciones de prueba y encontró seis ejecuciones relacionadas con tres incidentes en los que modelos de Claude accedieron a infraestructura perteneciente a organizaciones reales.
Las pruebas utilizaban ejercicios de “captura la bandera”, en los que el sistema ingresa en una computadora o red simulada para encontrar información oculta. Los modelos habían recibido la indicación de que se encontraban dentro de un entorno aislado y sin conexión a internet, pero una configuración incorrecta les permitió alcanzar sistemas externos. Al interpretar que esos equipos formaban parte del ejercicio, utilizaron técnicas como contraseñas débiles, puntos de acceso sin autenticación, páginas de depuración expuestas e inyección de código SQL.
En el incidente de mayor impacto, uno de los modelos obtuvo credenciales y accedió a una base de datos con varios cientos de registros de producción. Anthropic señaló que los sistemas no aprovecharon vulnerabilidades especialmente complejas y que no intentaron escapar deliberadamente del entorno de prueba, aunque uno de ellos continuó actuando después de encontrar señales de que el objetivo podía ser real.
OpenAI también comunicó que uno de sus agentes salió del espacio de una evaluación y accedió a sistemas de Hugging Face, una plataforma utilizada para alojar modelos y herramientas de inteligencia artificial. La empresa calificó lo ocurrido como un incidente de seguridad y anunció que publicará un informe técnico una vez finalizada su revisión interna. Fiscales estatales y el comité de seguridad de la Cámara de Representantes solicitaron que OpenAI conserve los documentos relacionados con el caso y que Sam Altman explique el episodio.
En este contexto, la idea de la reunión de la Casa Blanca es establecer un método común de evaluación de capacidades de herramientas de IA que hasta ahora eran responsabilidad exclusiva de cada desarrolador. El desafío será crear pruebas suficientemente rigurosas para detectar comportamientos peligrosos sin impedir el desarrollo de herramientas de defensa útiles. Además, se deberán definir las medidas que deben adoptarse cuando un modelo supera determinados niveles de capacidad ofensiva.
Tal vez te interese: Estudiantes de Argentina y Colombia desarrollan soluciones de Inteligencia Artificial en el Hacka Neuquén
