Una sola actualització va tombar 8,5 milions de màquines. El WEF diu que la seguretat de la IA es juga «després del laboratori», i per a un equip petit això és una especificació d'enginyeria
El 19 de juliol del 2024, a les 4.09 UTC, un proveïdor de seguretat va enviar un sol fitxer de configuració als ordinadors Windows, i van caure 8,5 milions de màquines Windows. No hi havia cap model pel mig. Encara avui és la imatge més clara que conec del que vol dir el Fòrum Econòmic Mundial quan parla de la seguretat de la IA «després del laboratori».
El 3 de novembre del 2026 el Fòrum va publicar Why AI safety depends on what happens after the lab, signat per Audrey Duet, del WEF, i per Philippe Cordier i Ines Bedar, de Capgemini. La tesi és aquesta: el mal que fa una fallada depèn del que el sistema pot fer, de l'autoritat que té, de fins on s'estén i de la rapidesa amb què algú el pot contenir. L'article fa referència a la caiguda de CrowdStrike sense anomenar-la, i deixa clar que no va ser una fallada d'IA.
Jo el llegeixo des de la cadira de qui desplega. Una bona part de la feina que fem consisteix a connectar agents al CRM, a la cua de tiquets o a l'API de facturació d'una altra empresa. Si tens una empresa de 2 a 15 persones i estàs acostant el teu primer agent a les dades dels clients, el «responsable del desplegament» a qui s'adreça el WEF ets tu, i no tens cap departament de compliment normatiu al darrere. Vistes des d'aquí, les propostes de política del WEF es llegeixen com una especificació d'enginyeria.
La seguretat és una propietat del sistema que despleges, no del model que has comprat
Un model pot superar totes les proves de laboratori i comportar-se d'una altra manera quan el connectes a eines, dades i infraestructura reals, perquè els entorns aïllats gairebé mai no reprodueixen un desplegament. Per això el WEF pren el sistema desplegat com a unitat de seguretat, i el radi d'impacte com a mesura.
En el seu article del 20 de juliol del 2024, Microsoft va xifrar la caiguda en 8,5 milions de dispositius Windows, menys de l'1 % de totes les màquines Windows, i va explicar que l'impacte econòmic i social venia de les empreses que tenien serveis crítics sobre CrowdStrike. El radi d'impacte depèn de quatre variables, i el nombre de dispositius només n'és una:
- Capacitat: què pot fer el component. El sensor s'executava amb prou privilegis per tombar l'arrencada.
- Autoritat: si algú havia d'aprovar aquella acció. L'actualització va sortir sense passar per cap canari; després, en la seva revisió posterior a l'incident, CrowdStrike es va comprometre a fer desplegaments esglaonats que comencen per un canari.
- Abast: quants sistemes reben el canvi alhora. Tots els ordinadors Windows amb el sensor que estaven en línia en aquella finestra.
- Temps per contenir i recuperar: CrowdStrike va corregir el fitxer a les 5.27 UTC, 78 minuts després de publicar-lo. Les màquines que ja l'havien carregat es van haver d'arreglar a mà, una per una.
Totes quatre es decideixen al codi que envolta el model. No em canso de repetir que el model és la mercaderia i que la bastida que l'envolta és el fossat. Ara el WEF hi situa també la seguretat. És la lliçó de la caiguda sobre la dependència dels proveïdors, amb un agent al lloc del proveïdor.
L'article del WEF no porta cap xifra, i dos dels seus tres autors treballen per a un integrador
No hi ha cap estadística ni cap recompte d'incidents. Diu que els incidents «es multipliquen», però no diu quant. Per a un text que demana mesurar, és un punt feble.
L'únic comptador global que cita ajuda a entendre per què. L'OECD AI Incidents Monitor s'alimenta de la cobertura periodística, i el 8 de novembre del 2026 hi constaven «uns 18.873» incidents i riscos. Un monitor que llegeix la premsa només veu les fallades que han sortit als diaris, i un agent que escriu una fila equivocada en un llibre comptable rarament hi surt.
Cal mirar també qui parla. Capgemini ven integració, i l'instrument que cita l'article, l'Agent Capability and Authorization Profile, prové de la guia que el WEF va publicar el maig del 2026, AI Agents in Action, redactada «en col·laboració amb Capgemini». Conectia també ven integració, i jo guanyo diners construint la bastida que recomana aquest article. Dona'ns a tots dos el pes que ens toca; l'argument, el pots contrastar amb els teus sistemes.
Un manifest de permisos per agent és la versió per a equips petits del perfil d'autorització del WEF
La guia defineix el perfil com «l'autorització que l'organització dona a un agent d'IA per actuar en un flux de treball concret, amb els seus permisos, punts de control, responsables i evidències». Dues de les seves regles es poden adoptar tal com estan: inventariar cada connexió MCP amb el seu abast i les condicions per revocar-la, i fer que un agent cridat per un altre només pugui actuar amb la intersecció dels seus permisos i els de qui el crida. La mateixa guia admet que el perfil encara no el pot llegir una màquina i que «hauria d'evolucionar» cap a polítiques escrites com a codi.
En un equip de vuit persones, això és un fitxer versionat al repositori, un per agent i per flux de treball, que un gateway llegeix en temps d'execució:
- Eines i abasts: cada eina, amb l'abast més estret que funcioni. Lectura sobre els contactes, escriptura només sobre les notes en esborrany.
- Identitat: en nom de qui actua la crida. Quan algú pregunta de qui era la petició, un token delegat per un usuari i un compte de servei compartit no donen la mateixa resposta.
- Límits: freqüència de crides, despesa i registres afectats per acció.
- Punts de control: les accions que esperen el vistiplau d'una persona amb nom i cognoms.
- Responsable i revocació: una persona que en respon, i l'ordre exacta que retira l'accés.
Si totes les crides a eines passen per un gateway que llegeix el manifest, el manifest descriu el sistema. Si viu en una wiki, només descriu les teves intencions. És la regla del mínim privilegi per a cada eina que vaig descriure per protegir els agents que fan servir eines, ara amb nom de governança.
Un registre d'auditoria s'amortitza el dia que permet distingir una fallada del model d'un error d'integració
El WEF demana registres d'auditoria del que ha fet el sistema: quines eines ha fet servir, quan i amb l'autoritat de qui. Sense això, ningú no pot saber si el problema ha estat del model, d'una integració, d'una salvaguarda feble o d'una mala decisió de desplegament. Als postmortems més durs que he viscut en grans empreses, les línies de log hi eren. El que faltava era l'estat del món en aquell minut: quina versió de la configuració estava activa, quina credencial havia fet servir la crida, quin desplegament havia entrat deu minuts abans.
Per això cada acció de l'agent deixa un registre amb aquests camps: una marca de temps presa d'un sol rellotge de referència; un identificador de traça que la segueix per tots els salts; les versions del model i del prompt; la versió vigent del manifest; la identitat en nom de qui actua; l'eina, els arguments (emmascarats si contenen dades personals) i la resposta; i la decisió (permesa, denegada o derivada a una persona), amb el nom de qui l'ha aprovada. Amb tot això, la pregunta «el model s'ha inventat un reemborsament o és la nostra API, que n'ha acceptat un de mal format?» es respon amb una consulta.
La crida denegada és el teu quasi incident. El WEF posa l'exemple de l'aviació, on la notificació confidencial i sense culpables dels quasi incidents va contribuir a fer de l'avió un mitjà de transport segur. Els equips d'SRE apliquen la mateixa idea amb el postmortem sense culpables. Cada vegada que un gateway rebutja una crida fora d'abast, et dona la dada de seguretat més barata que pots recollir. Compta els rebuigs i llegeix-los cada setmana, sense el nom de ningú a l'ordre del dia.
Si et cal un termini, agafa el de la UE. L'article 73 de l'AI Act dona als proveïdors de sistemes d'alt risc 15 dies des que en tenen coneixement per notificar un incident greu, dos dies si es tracta d'una infracció generalitzada o d'una pertorbació greu i irreversible d'una infraestructura crítica, i deu dies si ha mort una persona. L'article 26 obliga els qui despleguen aquests sistemes a conservar durant sis mesos com a mínim els logs que tinguin sota el seu control. La majoria d'agents d'equips petits queden fora de l'àmbit del reglament, però la prova continua servint: series capaç d'escriure en dos dies un relat dels fets de la tarda en què el teu agent va fer de les seves?
L'interruptor d'aturada ha de frenar també les accions que ja estan en marxa, i la recuperació s'ha de tenir a punt abans de l'incident
El WEF diu que contenir i recuperar compta tant com prevenir. La caiguda ho il·lustra bé: el fitxer es va retirar al cap de 78 minuts, i la recuperació es va allargar molt més.
En un agent, l'interruptor d'aturada és un únic control que li revoca les credencials al gateway, li buida la cua i passa la feina pendent a una persona. Les condicions que el suspenen s'escriuen abans del llançament: crides denegades per sobre d'un llindar, despesa per sobre del pressupost, un ritme d'accions molt per sobre del normal, i qualsevol escriptura fora de l'abast del manifest. Aquesta última hauria de ser impossible, i per això atura l'agent automàticament. La recuperació es dissenya al mateix temps que el camí d'escriptura: claus d'idempotència perquè un reintent no pugui pagar dues vegades, una acció compensatòria per a cada escriptura i esborrat lògic allà on les dades ho permetin. El punt de control abans de qualsevol acció irreversible és el mateix control, aplicat dins d'un sol loop.
Ajusta el dossier de seguretat al radi d'impacte, o «exigir evidències» acabarà en paperassa
La crítica més seriosa a la tercera prioritat del WEF té raó: un dossier de seguretat com els de l'aviació o el sector nuclear és desproporcionat per a la majoria de desplegaments petits, i «exigir evidències» sense un estàndard compartit acaba volent dir el que demani el pròxim auditor. Bruegel ha calculat que complir l'AI Act costa entre el 9 i el 17 % d'un projecte de 170.000 €, com vaig explicar a regular la IA després del llançament. Una empresa de deu persones no pagarà això per cada agent.
El mateix WEF respon l'objecció: l'escrutini ha d'anar en funció del radi d'impacte, la reversibilitat, l'autonomia i l'accés, des d'una autoavaluació per a un agent que resumeix documents fins a proves independents per a un que mou diners. Jo ho esglaono així:
| Què fa l'agent | Reversible | Evidències abans del llançament | Qui ho aprova |
|---|---|---|---|
| Resumeix documents per a l'equip | Sí | Autoavaluació d'una pàgina, joc d'evals sobre els teus documents | L'enginyer que l'ha construït |
| Redacta respostes que envia una persona | Sí | Joc d'evals, aprovacions al registre | El product owner |
| Escriu als sistemes de referència | Amb esborrat lògic | Manifest, registre d'auditoria, interruptor d'aturada assajat, rollback provat | El CTO |
| Mou diners o canvia accessos | No | Tot l'anterior, més proves independents abans del llançament i després de cada canvi rellevant | Algú de fora de l'equip que l'ha construït |
En una empresa de deu persones, «independent» vol dir un col·laborador extern o una empresa amiga amb qui us intercanvieu revisions. La majoria d'aquestes peces les acabaries construint igualment el primer dia que un client et preguntés per què el teu agent ha fet el que ha fet.
Cinc coses que posaria en marxa aquest trimestre abans de donar permís d'escriptura a un agent
- Escriure un manifest per a cada agent i cada flux de treball, amb eines, abasts, identitat, límits, punts de control i un responsable amb nom.
- Fer passar totes les crides a eines per un sol gateway que apliqui el manifest i escrigui el registre. Un únic punt de pas val més que cinc integracions que registren cadascuna a la seva manera.
- Revisar cada setmana les crides denegades com a quasi incidents, sense buscar culpables, en trenta minuts.
- Assajar l'interruptor d'aturada cada mes i cronometrar-lo, des que salta fins que s'atura l'última acció.
- Classificar cada agent pel seu radi d'impacte i adjuntar-hi les evidències que demana el seu nivell, i tornar-ho a fer cada cop que canviïn el model, el prompt o els permisos.
Una sola actualització va arribar a 8,5 milions de màquines perquè tenia la capacitat, l'autoritat i l'abast al màxim, i per tornar enrere calia posar les mans a cada màquina. El model és la mercaderia i la bastida és el fossat; des del 3 de novembre del 2026, el WEF també hi ha posat la seguretat, i per tant en respon qui construeix la bastida. Si estàs a punt de donar permís d'escriptura a un agent i vols que algú més en revisi el manifest, parlem-ne.
