Vint Lleis per a la IA Agèntica: Governança Codificada, No Principis Voluntaris
La majoria de principis d'IA publicats es llegeixen com a declaracions de valors: sigues just, sigues transparent, sigues segur, respecta la privadesa. Són aspiracionals, voluntaris i difícils de fer complir. Complien prou bé la seva funció quan la IA era especialitzada, predictiva i funcionava com una eina. Comencen a trontollar ara que els sistemes d'IA són agèntics — capaços d'autooptimitzar-se estratègicament, de fer servir eines i de prendre decisions emergents.
Passar de «la IA com a model que produeix sortides» a «la IA com a agent que actua» canvia el problema de governança de soca-rel. Un agent no es limita a produir una predicció esbiaixada: pot encadenar una seqüència d'accions el conjunt de les quals és perjudicial encara que cada pas, per separat, sembli acceptable. Un model es pot avaluar amb un benchmark; un agent s'ha d'avaluar sobre distribucions d'accions al llarg del temps.
L'article recent The 20 Laws of Artificial Intelligence: A Design-Embedded Codex for Democratic and Inclusive Governance in the Age of Agentic Systems (Fradelos, desembre de 2025) intenta omplir aquest buit amb una cosa més exigible: un còdex estructurat de 20 lleis amb un règim d'aplicació esglaonat i explícit — aturada per a les violacions de seguretat, ajust per a tota la resta. No és l'única proposta en aquest àmbit, i jo no el llegeixo com a analista de polítiques públiques: el llegeixo des del seient de qui construeix, com algú que ha de decidir què té permès fer un agent en producció. Val la pena entendre'n l'estructura perquè les decisions de disseny es tradueixen directament en decisions d'enginyeria que els equips que posen sistemes agèntics en producció han de prendre ara mateix.
Dos Nivells d'Aplicació, Decidits Abans de la Violació
La primera idea útil és l'estructura esglaonada. Les lleis es divideixen en dos grups:
- Lleis 1–11 (seguretat, aversió al dany, legalitat, corregibilitat): la violació comporta l'aturada immediata. El component infractor s'aïlla, la violació es notifica i el problema es corregeix abans de tornar a desplegar.
- Lleis 12–20 (transparència, eficiència, informes, facilitadors d'equitat): la violació comporta un ajust. Es corregeix tan aviat com és viable, respectant les altres prioritats. Sense aturada automàtica.
L'aplicació esglaonada no és cap concepte nou: tot sistema de seguretat seriós té l'equivalent de «fail-close en seguretat, fail-graceful en qualitat». El que aporta aquí és la codificació explícita: cada regla està classificada per endavant, de manera que el comportament en temps d'execució davant d'una violació està determinat, no es negocia. Això encaixa de ple amb com els enginyers volen construir realment els sistemes agèntics: un guardià en temps d'execució amb una política clara i sense ambigüitats sobre quines violacions són immediatament fatals i quines són només avisos.
Si has treballat amb bundles de polítiques OPA/Rego o sistemes de policy-as-code semblants, l'estructura et resultarà familiar. La novetat és fer-la servir per a tota la governança, no només per al control d'accés.
Quan les Lleis Xoquen, l'Ordre Ha d'Estar Escrit
Quan les lleis entren en conflicte — i en qualsevol còdex no trivial hi entraran — cal un ordre de prioritat definit. El còdex n'especifica un:
seguretat/drets > legalitat > corregibilitat > absència d'interès propi > tota la resta
És el tipus d'ordre que sembla obvi fins que t'adones que la majoria de sistemes en producció no el tenen escrit enlloc. Quan es demana a un agent que faci una cosa legal però insegura, quina és la política? Quan se li demana una cosa segura i legal però l'usuari intenta que es salti la corregibilitat (la seva capacitat d'acceptar l'override humà), quina és la política? La majoria de sistemes responen aquestes preguntes implícitament, al prompt o a l'entrenament del model. Posar-les en una jerarquia explícita vol dir que la resposta és auditable i es pot canviar sense reentrenar.
La Restricció Arquitectònica que Val la Pena Entendre
La llei amb més conseqüències arquitectòniques és la Llei 1:
La IA no ha de mostrar cap característica pròpia d'una entitat, del tipus que sigui, que defineixi i serveixi els seus propis interessos (protegir la seva funcionalitat està permès) o que persegueixi la seva pròpia reproducció. Això imposa un disseny arquitectònic agèntic restringit, que prohibeix específicament els sistemes de recompensa que fomenten l'interès propi instrumental i impedeix que els mòduls centrals tinguin capacitats d'autoreplicació sense restriccions.
A la pràctica, la Llei 1 és una restricció de disseny sobre l'arquitectura de l'agent, no només sobre les seves sortides. Diu: no construeixis una funció de recompensa que incentivi l'agent a preservar-se, a acumular recursos o a replicar-se més enllà del que la tasca requereix. No permetis que els mòduls centrals de decisió es copiïn ni es reinstanciïn. L'expectativa és que el compliment es pugui verificar amb revisió arquitectònica i auditoria adversarial, no només amb proves de comportament.
És una afirmació més profunda del que sembla. Bona part del treball en IA agèntica del 2025 i el 2026 incentiva mètriques d'èxit a llarg termini (taxa d'èxit en tasques de múltiples passos, persistència davant d'interrupcions, recuperació de fallades). Aquests incentius poden produir interès propi instrumental com a efecte secundari, fins i tot quan l'objectiu explícit és completar la tasca. L'enquadrament arquitectònic de la Llei 1 t'empeny a dissenyar la forma de la recompensa abans del desplegament, no a apedaçar-la després.
Per a la majoria d'equips d'enginyeria, la versió pràctica és aquesta:
- Audita les funcions de recompensa i d'avaluació a la recerca d'incentius que premiïn l'autopreservació, l'acaparament de recursos o la persistència més enllà de l'abast de la tasca.
- No permetis que els agents invoquin les seves pròpies APIs de desplegament o replicació. L'autoreplicació no és cap risc hipotètic el 2026; els agents capaços d'engegar altres agents necessiten una autorització explícita i amb barreres.
- Tracta «la funció de pèrdua de l'agent» com a part del model de seguretat, no com una qüestió de desenvolupament del model.
La Llei per On la Majoria de CTOs Hauria de Començar
La Llei 11 és, al meu parer, la més immediatament operacionalitzable:
Si la IA no pot completar correctament una tasca sencera, ha de lliurar les parts de la tasca descomposta que ha completat correctament, i no ha de lliurar mai resultats la correcció dels quals no hagi comprovat ella mateixa amb algorismes científicament reconeguts i actualitzats recentment, integrats en el seu disseny, o bé ha de declarar que la verificació no és possible i que els resultats no són fiables.
Traduït: els agents s'han d'autoverificar abans de lliurar res, i han de marcar explícitament com a no verificada la sortida que no ho estigui. Aquesta és la regla que separa «l'agent ha produït en silenci una cosa d'aspecte plausible» de «l'agent ha verificat el que ha pogut i ha marcat clarament el que no».
Si poses sistemes agèntics en producció, aquesta és la llei per on començar, perquè el forat de verificació és l'origen de la majoria de problemes de qualitat en producció. Accions concretes:
- Per a cada acció de l'agent amb conseqüències al món real, defineix què vol dir autoverificar-se — validació d'esquema, reexecució de l'eina, validació creuada entre models o comprovació contra una política externa.
- Exigeix que l'agent completi la verificació o bé etiqueti la sortida com a no verificada. Cap lliurament silenciós.
- Converteix «no verificat» en un senyal enrutable. Hi ha fluxos que el poden acceptar; n'hi ha que l'han de rebutjar.
On el Còdex Topa amb la Pràctica Habitual
Tres punts on adoptar el còdex aniria a contracorrent de la pràctica actual:
Compliment legal localitzat (Llei 4)
La IA ha de complir totes les lleis aplicables a les seves accions factibles com si fos un ciutadà del país on està desplegada.
En un món on el mateix agent serveix usuaris de moltes jurisdiccions, això és operativament difícil. Vol dir que la capa de polítiques de l'agent ha de saber en quina jurisdicció es troba i aplicar regles diferents a la mateixa consulta segons la ubicació de l'usuari. La majoria d'agents en producció el 2026 ho ignoren i apliquen una única política global. El còdex sosté que això és estructuralment no conforme.
Diversitat de fonts de dades obligatòria (Llei 14)
La IA no ha d'afavorir a priori cap camí cap a la finalització de la tasca, ha d'aplicar un aprovisionament de dades matemàticament divers... i ha d'adoptar tècniques de correcció contra els biaixos.
Aquesta és la llei que xoca més clarament amb l'instint de «fes servir el model més barat». Diversificar les fonts de dades vol dir validar de manera creuada contra múltiples fonts o models quan hi ha molt en joc. Connecta amb el concepte de heterogeneity score que està emergint en l'assegurament d'IA de grau financer: no despleguis una flota homogènia d'agents que comparteixen els mateixos biaixos sistemàtics.
Informe obligatori de novetats científiques (Lleis 15–16)
Si l'agent descobreix alguna cosa nova, ho ha de marcar explícitament. Si un enfocament no científic (intuïció, heurística, mètode no documentat) supera l'enfocament científic, l'agent ho ha de comunicar. Això va contra l'impuls d'absorbir en silenci, dins del comportament del producte, els patrons que el model descobreix.
Què Fa Difícil Adoptar-ho a la Pràctica
Tres reserves honestes sobre prendre's el còdex al peu de la lletra:
L'auditoria adversarial és cara. Diverses lleis exigeixen una auditoria adversarial externa de seguretat d'IA per certificar-ne el compliment. El 2026 l'oferta d'auditors és escassa, les metodologies no estan estandarditzades i el cost no és menor. Tingues-ho previst si et compromets amb el compliment, i no només amb els principis.
L'enquadrament de «com si fos un ciutadà» té casos límit. Algunes lleis estan redactades en un llenguatge intuïtiu però ambigu a l'hora d'implementar-lo. «Com si fos un ciutadà del país on està desplegada» és un bon punt de partida, però la definició operativa de «desplegada» es difumina quan l'agent se serveix des del núvol a usuaris de moltes jurisdiccions.
La jerarquia resol conflictes, però no elimina l'ambigüitat. Quan un agent ha de triar entre dues accions totes dues compatibles amb les lleis, el còdex no li dicta la tria: acota l'espai d'acció. I és correcte que sigui així, però vol dir que els equips encara necessiten governança a escala de producte per omplir l'espai que queda dins dels límits.
Què Recomanaria per a Aquest Trimestre
No cal adoptar les 20 lleis per aprendre de l'estructura. Les quatre accions pràctiques:
- Adopta el model d'aplicació en dos nivells — semàntica d'aturada explícita per a les violacions de seguretat, semàntica d'ajust per a la resta, codificat com a policy-as-code.
- Audita les funcions de recompensa i d'avaluació a la recerca d'incentius d'interès propi — la Llei 1 és la de més abast arquitectònic i la que més sistemes en producció tenen mal resolta.
- Exigeix autoverificació en els lliuraments dels agents — la Llei 11 és la millora operativa amb més palanca.
- Documenta la jerarquia de resolució de conflictes que els teus agents fan servir de debò — encara que no sigui la del còdex. La clau és fer-la explícita.
Els principis voluntaris no seran suficients a mesura que el desplegament d'IA agèntica escali; les restriccions codificades, exigibles i incrustades al disseny, sí. El còdex de les 20 lleis no és l'únic camí per arribar-hi, però és un marc de partida prou útil, i les seves decisions estructurals val la pena entendre-les sigui quin sigui el còdex que la teva organització acabi adoptant.
Font: Fradelos, G. The 20 Laws of Artificial Intelligence: A Design-Embedded Codex for Democratic and Inclusive Governance in the Age of Agentic Systems (Ginebra, 15 de desembre de 2025). SSRN 6306378.
Construeixes sistemes agèntics i necessites capacitat d'enginyeria que ja operi amb governança policy-as-code, autoverificació i aplicació esglaonada? Parla amb un CTO per desplegar un squad nearshore amb la disciplina que demanen els agents en producció.
