Una actualización tumbó 8,5 millones de máquinas. El WEF dice que la seguridad de la IA se decide «después del laboratorio», y para un equipo pequeño eso es una especificación de ingeniería
El 19 de julio de 2024, a las 04:09 UTC, un proveedor de seguridad distribuyó un único archivo de configuración a los equipos Windows de sus clientes y se cayeron 8,5 millones de máquinas. No había ningún modelo de por medio. Aun así, es el ejemplo más claro que conozco de lo que el Foro Económico Mundial quiere decir cuando sitúa la seguridad de la IA «después del laboratorio».
El 3 de noviembre de 2026 el Foro publicó Why AI safety depends on what happens after the lab, firmado por Audrey Duet, del WEF, y por Philippe Cordier e Ines Bedar, de Capgemini. La tesis cabe en una frase: el daño de un fallo depende de lo que el sistema puede hacer, de la autoridad que tiene, del número de sitios donde se ejecuta y de lo rápido que alguien consigue contenerlo. El texto alude a la caída de CrowdStrike sin nombrarla y aclara que no fue un fallo de IA.
Yo lo leo desde el lado de quien despliega. Una buena parte de nuestro trabajo consiste en conectar agentes al CRM, a la cola de tickets o a la API de facturación de otra empresa. Si tu empresa tiene entre 2 y 15 personas y va a acercar su primer agente a datos de clientes, el «responsable del despliegue» al que se dirige el WEF eres tú, y detrás no tienes ningún departamento de cumplimiento. Leída desde ahí, la propuesta del WEF funciona como una especificación de ingeniería.
La seguridad es una propiedad del sistema que despliegas, no del modelo que has comprado
Un modelo puede superar todas las pruebas de laboratorio y comportarse de otra manera en cuanto lo conectas a herramientas, datos e infraestructura reales, porque un entorno aislado rara vez reproduce un despliegue. Por eso el WEF toma como unidad de seguridad el sistema desplegado, y como medida, su radio de impacto.
Microsoft cifró la caída en su publicación del 20 de julio de 2024 en 8,5 millones de dispositivos Windows, menos del 1 % de todas las máquinas Windows, y vinculó el impacto económico y social a las empresas que usan CrowdStrike para prestar servicios críticos. El radio de impacto se mueve con cuatro variables, y el número de dispositivos es solo una de ellas:
- Capacidad: lo que puede hacer el componente. El sensor tenía privilegios suficientes para impedir el arranque.
- Autoridad: si alguien tenía que aprobar la acción. La actualización salió sin pasar por un despliegue canario; en su revisión posterior al incidente, CrowdStrike se comprometió a hacer despliegues escalonados que empiecen por uno.
- Alcance: cuántos sistemas reciben el cambio a la vez. Todos los equipos Windows con el sensor que estaban encendidos en esa franja.
- Tiempo de contención y recuperación: CrowdStrike corrigió el archivo a las 05:27 UTC, 78 minutos después de publicarlo. Las máquinas que ya lo habían cargado hubo que arreglarlas a mano, una a una.
Las cuatro se fijan en el código que rodea al modelo. Llevo tiempo defendiendo que el modelo es la mercancía y que el andamiaje que lo rodea es el foso. Ahora el WEF coloca la seguridad en ese mismo sitio. Es la lección sobre la dependencia de proveedores que dejó la caída, con un agente ocupando el lugar del proveedor.
El artículo del WEF no trae ni una cifra, y dos de sus tres autores trabajan para un integrador
No hay estadísticas ni recuento de incidentes. Los incidentes «se multiplican», pero el texto no dice cuánto. En un texto que pide medir, es un punto débil.
El único contador global que menciona ayuda a entender por qué. El Monitor de Incidentes de IA de la OCDE se alimenta de noticias, y el 8 de noviembre de 2026 recogía «unos 18.873» incidentes y riesgos. Un monitor que lee la prensa solo ve los fallos que llegan a la prensa, y casi ningún periódico cuenta que un agente escribió la fila equivocada en un libro contable.
Luego está la cuestión de quién habla. Capgemini vende integración, y el instrumento que cita el artículo, el Agent Capability and Authorization Profile, sale de la guía que el WEF publicó en mayo de 2026, AI Agents in Action, elaborada «en colaboración con Capgemini». Conectia también vende integración, y yo cobro por construir el andamiaje que recomienda este post. Aplícanos a los dos el descuento que corresponda. El argumento, en cambio, lo puedes comprobar contra tus propios sistemas.
Un manifiesto de permisos por agente es la versión para equipos pequeños del perfil de autorización del WEF
La guía define el perfil como «la autorización que la organización concede a un agente de IA para actuar en un flujo de trabajo concreto, con sus permisos, puntos de control, responsables y evidencias». Dos de sus reglas se pueden adoptar tal cual. La primera: inventariar cada conexión MCP con su alcance y las condiciones en que se revoca. La segunda: que un agente al que llama otro solo pueda actuar con la intersección de sus permisos y los de quien lo invoca. La guía también reconoce que el perfil todavía no lo puede leer una máquina y que «debería evolucionar» hacia la política como código.
En un equipo de ocho personas, eso se traduce en un archivo versionado en el repositorio, uno por agente y por flujo, que una pasarela lee en tiempo de ejecución:
- Herramientas y alcances: cada herramienta, con el alcance más estrecho que funcione. Lectura sobre contactos, escritura solo sobre notas en borrador.
- Identidad: con la autoridad de quién se hace la llamada. Un token delegado por un usuario y una cuenta de servicio compartida no dan la misma respuesta cuando alguien pregunta de quién era la petición.
- Límites: frecuencia, gasto y registros afectados por acción.
- Puntos de control: las acciones que esperan a una persona con nombre y apellidos.
- Responsable y revocación: una persona que responde del agente, y el comando exacto que le retira el acceso.
Si todas las llamadas a herramientas pasan por una pasarela que lee el manifiesto, el manifiesto describe el sistema. Si vive en una wiki, describe tus intenciones. Es la regla del mínimo privilegio por herramienta que aplico para proteger agentes que usan herramientas, ahora con nombre de gobernanza.
Un registro de auditoría se amortiza el día en que separa un fallo del modelo de un error de integración
El WEF pide registros de auditoría de lo que hizo el sistema, qué herramientas usó, cuándo y con qué autoridad, porque sin ellos nadie sabe si el problema fue del modelo, de la integración, de una salvaguarda que no aguantó o de una mala decisión de despliegue. En los peores postmortems que he vivido en grandes empresas, los logs estaban. Lo que faltaba era una foto de ese minuto: qué versión de la configuración estaba activa, qué credencial usó la llamada, qué despliegue había entrado diez minutos antes.
Por eso el registro de cada acción del agente lleva una marca de tiempo tomada de una sola fuente de reloj, un ID de traza que recorre todos los saltos, las versiones del modelo y del prompt, la versión del manifiesto vigente y la identidad que actúa. Lleva también la herramienta, sus argumentos (enmascarados cuando contienen datos personales) y la respuesta, y la decisión que se tomó (permitida, denegada o derivada a una persona) con el nombre de quien la aprobó. Con todo eso, la pregunta «¿se inventó el modelo un reembolso o nuestra API aceptó uno mal formado?» se responde con una consulta.
La llamada denegada es tu cuasi incidente. El WEF recurre a la aviación, donde la notificación confidencial y sin culpables de los cuasi incidentes contribuyó a que volar sea seguro. Los equipos de SRE aplican la misma idea con el postmortem sin culpables. Cada vez que la pasarela rechaza una llamada fuera de alcance, recoges el dato de seguridad más barato que existe. Cuenta los rechazos y revísalos cada semana, sin el nombre de nadie en el orden del día.
Si te hace falta un plazo, toma prestado el europeo. El artículo 73 de la Ley de IA da a los proveedores de sistemas de alto riesgo 15 días desde que tienen conocimiento de un incidente grave para notificarlo, dos si se trata de una infracción generalizada o de una perturbación grave e irreversible de una infraestructura crítica, y diez si ha muerto una persona. El artículo 26 obliga a quienes despliegan esos sistemas a conservar durante al menos seis meses los registros que estén bajo su control. Casi todos los agentes de los equipos pequeños quedan fuera de su ámbito, pero la prueba sigue sirviendo: ¿podrías escribir en dos días un relato de los hechos de la mala tarde de tu agente?
Un botón de parada tiene que frenar las acciones que ya están en marcha, y la recuperación tiene que existir antes del incidente
Según el WEF, contener y recuperarse importa tanto como prevenir. La caída de 2024 lo demuestra: el archivo se retiró a los 78 minutos y la recuperación se alargó mucho más.
En un agente, el botón de parada es un único control que revoca sus credenciales en la pasarela, vacía su cola y pasa el trabajo pendiente a una persona. Los motivos de suspensión se escriben antes del lanzamiento: llamadas denegadas por encima de un umbral, gasto por encima del presupuesto, un ritmo de acciones muy superior al habitual y cualquier escritura fuera del alcance del manifiesto. Esta última no debería poder ocurrir, así que detiene el agente de forma automática. La recuperación se diseña a la vez que la ruta de escritura: claves de idempotencia para que un reintento no pueda pagar dos veces, una acción compensatoria para cada escritura y borrado lógico allí donde los datos lo permitan. El punto de control antes de cualquier acción irreversible es este mismo control aplicado dentro de un solo bucle.
Ajusta el caso de seguridad al radio de impacto, o «exigir evidencias» acabará siendo un impuesto de papeleo
La objeción de más peso a la tercera prioridad del WEF tiene fundamento. Un caso de seguridad como los de la aviación o la industria nuclear es desproporcionado para la mayoría de los despliegues pequeños, y «exigir evidencias» sin un estándar común acaba significando lo que pida el siguiente auditor. Bruegel calculó que cumplir la Ley de IA cuesta entre el 9 y el 17 % de un desarrollo de 170.000 €, como conté al hablar de regular la IA después del lanzamiento. Una empresa de diez personas no va a pagar eso por cada agente.
El propio WEF responde a la objeción: el escrutinio debería seguir al radio de impacto, la reversibilidad, la autonomía y el acceso, y va desde una autoevaluación para un agente que resume documentos hasta pruebas independientes para uno que mueve dinero. Yo lo escalono así:
| Qué hace el agente | ¿Reversible? | Evidencias antes del lanzamiento | Quién lo aprueba |
|---|---|---|---|
| Resume documentos para el equipo | Sí | Autoevaluación de una página y un conjunto de evals sobre tus documentos | El ingeniero que lo construyó |
| Redacta respuestas que envía una persona | Sí | Conjunto de evals y aprobaciones en el registro | El responsable de producto |
| Escribe en los sistemas de referencia | Con borrado lógico | Manifiesto, registro de auditoría, botón de parada ensayado, rollback probado | El CTO |
| Mueve dinero o cambia accesos | No | Todo lo anterior, más pruebas independientes antes del lanzamiento y después de cada cambio relevante | Alguien ajeno al equipo que lo construyó |
Con diez personas, «independiente» quiere decir un colaborador externo o una empresa amiga con la que os intercambiáis revisiones. Casi todo lo que hay en esta tabla lo acabarías construyendo igualmente la primera vez que un cliente te preguntara por qué tu agente hizo algo.
Cinco cosas que pondría en marcha este trimestre antes de dar a un agente permiso de escritura
- Escribir un manifiesto para cada agente en cada flujo, con herramientas, alcances, identidad, límites, puntos de control y un responsable con nombre.
- Hacer pasar todas las llamadas a herramientas por una sola pasarela que aplique el manifiesto y escriba el registro. Un único punto de paso es mejor que cinco integraciones que registran cada una a su manera.
- Revisar cada semana las llamadas denegadas como cuasi incidentes, sin buscar culpables y en treinta minutos.
- Ensayar el botón de parada cada mes y cronometrarlo, desde que salta el disparador hasta que se detiene la última acción.
- Clasificar cada agente según su radio de impacto y adjuntarle las evidencias que pide su nivel, y repetir el ejercicio cada vez que cambien el modelo, el prompt o los permisos.
Una actualización llegó a 8,5 millones de máquinas porque tenía la capacidad, la autoridad y el alcance al máximo, y para dar marcha atrás hubo que tocar cada equipo a mano. El modelo es la mercancía y el andamiaje es el foso; desde el 3 de noviembre de 2026 el WEF también sitúa ahí la seguridad, de modo que responde de ella quien construye el andamiaje. Si estás a punto de dar permiso de escritura a un agente y quieres que alguien más revise su manifiesto, hablemos.
