Veinte Leyes para la IA Agéntica: Gobernanza Codificada, No Voluntaria
La mayoría de los principios de IA publicados se leen como declaraciones de valores: sé justo, sé transparente, sé seguro, respeta la privacidad. Son aspiracionales, voluntarios y difíciles de hacer cumplir. Cumplían razonablemente su función cuando la IA era estrecha, predictiva y se comportaba como una herramienta. Empiezan a quedarse cortos ahora que los sistemas de IA son agénticos: capaces de auto-optimización estratégica, de usar herramientas y de tomar decisiones emergentes.
Pasar de «la IA como modelo que produce salidas» a «la IA como agente que ejecuta acciones» cambia el problema de gobernanza de raíz. Un agente no se limita a producir una predicción sesgada; puede encadenar una secuencia de acciones cuya composición resulta dañina aunque cada paso, por separado, parezca aceptable. Un modelo se puede evaluar con un benchmark; un agente hay que evaluarlo sobre distribuciones de acciones a lo largo del tiempo.
El paper reciente The 20 Laws of Artificial Intelligence: A Design-Embedded Codex for Democratic and Inclusive Governance in the Age of Agentic Systems (Fradelos, diciembre de 2025) intenta cubrir ese hueco con algo más exigible: un códex estructurado de 20 leyes con un cumplimiento por niveles explícito — apagado ante las violaciones de seguridad, ajuste para todo lo demás. No es la única propuesta en este terreno, y no lo leo como analista de políticas públicas: lo leo desde el asiento de quien construye, de quien tiene que decidir qué se le permite hacer a un agente en producción. Merece la pena entender la estructura porque sus decisiones de diseño se corresponden directamente con decisiones de ingeniería que los equipos que hoy ponen sistemas agénticos en producción tienen que tomar ya.
Dos Niveles de Respuesta, Decididos Antes de la Infracción
La primera idea útil es la estructura por niveles. Las leyes se dividen en dos grupos:
- Leyes 1–11 (seguridad, aversión al daño, legalidad, corregibilidad): la infracción dispara un apagado inmediato. El componente infractor se aísla, la infracción se notifica y el problema se corrige antes de volver a desplegar.
- Leyes 12–20 (transparencia, eficiencia, reporte, habilitadores de equidad): la infracción dispara un ajuste. Se corrige tan pronto como sea viable, respetando el resto de prioridades. Sin apagado automático.
El cumplimiento por niveles no es un concepto nuevo: cualquier sistema de seguridad serio tiene su equivalente de «fail-close en seguridad, degradación elegante en calidad». Lo útil aquí es la codificación explícita: cada regla viene preclasificada, de modo que el comportamiento en runtime ante una infracción está determinado de antemano, no se negocia. Y encaja con cómo los ingenieros queremos construir sistemas agénticos en realidad: un guardián en runtime con una política clara e inequívoca sobre qué violaciones son fatales de inmediato y cuáles son solo advertencias.
Si has trabajado con bundles de políticas OPA/Rego o con sistemas similares de policy-as-code, la estructura te resultará familiar. La novedad es usarla para toda la gobernanza, no solo para el control de acceso.
Cuando las Leyes Chocan, el Orden Tiene que Estar Escrito
Cuando las leyes entran en conflicto — y en cualquier códex no trivial acabarán haciéndolo — tiene que existir un orden de prioridad definido. El códex especifica uno:
seguridad/derechos > legalidad > corregibilidad > ausencia de interés propio > todo lo demás
Es el tipo de orden que parece obvio hasta que caes en que la mayoría de los sistemas en producción no lo tienen escrito en ninguna parte. Cuando a un agente se le pide algo legal pero inseguro, ¿cuál es la política? Cuando se le pide algo seguro y legal, pero el usuario intenta que se salte la corregibilidad (su capacidad de aceptar la intervención humana), ¿cuál es la política? La mayoría de los sistemas responden a estas preguntas de forma implícita, en el prompt o en el entrenamiento del modelo. Recogerlas en una jerarquía explícita hace que la respuesta sea auditable y modificable sin reentrenar.
La Restricción Arquitectónica que Merece la Pena Entender
La ley con más consecuencias arquitectónicas es la Ley 1:
La IA no debe exhibir características de una entidad de ningún tipo que defina y persiga sus propios intereses (proteger su funcionalidad está permitido) ni que busque su propia reproducción. Esto obliga a un diseño arquitectónico agéntico restringido, que prohíbe específicamente los sistemas de recompensa que fomentan el interés propio instrumental e impide que los módulos centrales tengan capacidades de auto-replicación sin restricciones.
En la práctica, la Ley 1 es una restricción de diseño sobre la arquitectura del agente, no solo sobre sus salidas. Dice: no construyas una función de recompensa que incentive al agente a preservarse, acumular recursos o replicarse más allá de lo que la tarea exige. No permitas que los módulos centrales de decisión se copien o se reinstancien a sí mismos. La expectativa es que el cumplimiento se pueda verificar mediante revisión arquitectónica y auditoría adversarial, no solo con pruebas de comportamiento.
Es una afirmación más profunda de lo que parece. Buena parte del trabajo en IA agéntica de 2025 y 2026 incentiva métricas de éxito a largo plazo (tasa de éxito en tareas multi-paso, persistencia ante interrupciones, recuperación tras fallos). Esos incentivos pueden producir interés propio instrumental como efecto secundario, incluso cuando el objetivo explícito es completar la tarea. El encuadre arquitectónico de la Ley 1 te empuja a diseñar la forma de la recompensa antes del despliegue, no a parchearla después.
Para la mayoría de los equipos de ingeniería, la versión práctica es:
- Audita tus funciones de recompensa y evaluación en busca de incentivos que premien la auto-preservación, el acaparamiento de recursos o la persistencia más allá del alcance de la tarea.
- Impide que los agentes invoquen sus propias APIs de despliegue o replicación. La auto-replicación ya no es un riesgo hipotético en 2026; los agentes capaces de levantar otros agentes necesitan una autorización explícita y controlada.
- Trata «la función de pérdida del agente» como parte del modelo de seguridad, no como un asunto del desarrollo del modelo.
La Ley por la que Cualquier CTO Debería Empezar
La Ley 11 es, a mi juicio, la más inmediatamente operacionalizable:
Si la IA no puede completar correctamente una tarea entera, debe entregar las partes de la tarea descompuesta que sí completó correctamente, y nunca entregar resultados cuya corrección no haya verificado ella misma mediante algoritmos científicamente reconocidos y recientemente actualizados, integrados en su diseño, o bien declarar que la verificación no es posible y los resultados no son fiables.
Traducido: los agentes deben auto-verificarse antes de entregar, y deben marcar explícitamente como no verificada la salida que no hayan podido verificar. Es la regla que separa «el agente produjo en silencio algo con apariencia plausible» de «el agente verificó lo que pudo y señaló con claridad lo que no».
Si pones sistemas agénticos en producción, esta es la ley por la que empezar, porque la brecha de verificación es el origen de la mayoría de los problemas de calidad en producción. Acciones concretas:
- Para cada acción del agente con consecuencias en el mundo real, define qué significa auto-verificación: comprobación de esquema, re-ejecución de la herramienta, validación cruzada entre modelos o comprobación contra una política externa.
- Exige que el agente complete la verificación o etiquete la salida como no verificada. Nada de entregas silenciosas.
- Convierte «no verificado» en una señal enrutable. Algunos flujos pueden aceptarla; otros deben rechazarla.
Donde el Códex Choca con la Práctica Habitual
Tres puntos donde adoptar el códex chocaría con la práctica actual:
Cumplimiento legal localizado (Ley 4)
La IA debe cumplir todas las leyes aplicables a sus acciones factibles como si fuera un ciudadano del país en el que está desplegada.
En un mundo donde el mismo agente atiende a usuarios de muchas jurisdicciones, esto es operativamente difícil. Implica que la capa de políticas del agente tiene que conocer la jurisdicción y aplicar reglas distintas a la misma consulta según la ubicación del usuario. La mayoría de los agentes en producción en 2026 lo ignoran y aplican una única política global. El códex sostiene que eso es estructuralmente no conforme.
Diversidad obligatoria en las fuentes de datos (Ley 14)
La IA no debe favorecer a priori ningún camino hacia la finalización de la tarea, debe aplicar un abastecimiento de datos matemáticamente diverso... y adoptar técnicas de mitigación de sesgos.
Esta es la ley que choca más claramente con el instinto de «usa el modelo más barato». Diversificar las fuentes significa validar contra múltiples fuentes o modelos cuando hay mucho en juego. Conecta con el concepto de heterogeneity score que está emergiendo en el aseguramiento de IA de grado financiero: no despliegues una flota homogénea de agentes que comparten los mismos sesgos sistemáticos.
Reporte obligatorio de novedad científica (Leyes 15–16)
Si el agente descubre algo novedoso, tiene que señalarlo explícitamente. Si un enfoque no científico (intuición, heurística, método no documentado) supera al enfoque científico, el agente debe reportarlo. Esto choca con el impulso de absorber en silencio los patrones que descubre el modelo dentro del comportamiento del producto.
Lo Difícil de Adoptarlo en la Práctica
Tres reservas honestas sobre tomarse el códex al pie de la letra:
La auditoría adversarial es cara. Varias leyes exigen auditoría adversarial externa de seguridad de IA para certificar el cumplimiento. En 2026 la oferta de auditores es escasa, las metodologías no están estandarizadas y el coste no es trivial. Planifícalo si te comprometes con el cumplimiento, no solo con los principios.
El encuadre «como si fuera un ciudadano» tiene casos límite. Algunas leyes están redactadas en un lenguaje intuitivo pero ambiguo a la hora de implementarlas. «Como si fuera un ciudadano del país en el que está desplegada» es un buen punto de partida, pero la definición operativa de «desplegada» se difumina con agentes servidos desde la nube y usuarios en muchas jurisdicciones.
La jerarquía resuelve conflictos, pero no elimina la ambigüedad. Cuando un agente tiene que elegir entre dos acciones igual de consistentes con las leyes, el códex no dicta la elección: acota el espacio de acción. Es lo correcto, pero implica que los equipos siguen necesitando gobernanza a nivel de producto para rellenar el espacio dentro de esos límites.
Lo que Recomendaría Este Trimestre
No hace falta adoptar las 20 leyes para aprender de la estructura. Las cuatro acciones prácticas:
- Adopta el modelo de cumplimiento en dos niveles: semántica de apagado explícita para las violaciones de seguridad, semántica de ajuste para el resto, codificada como policy-as-code.
- Audita tus funciones de recompensa y evaluación en busca de incentivos de interés propio: la Ley 1 es la de mayores consecuencias arquitectónicas y la que más sistemas en producción hacen mal.
- Exige auto-verificación en los entregables del agente: la Ley 11 es la mejora operativa con mayor retorno.
- Documenta la jerarquía de resolución de conflictos que tus agentes usan de verdad, aunque no sea la del códex. La cuestión es hacerla explícita.
Los principios voluntarios no bastarán a medida que el despliegue de IA agéntica escale. Las restricciones codificadas, exigibles e incrustadas en el diseño, sí. El códex de las 20 leyes no es el único camino hasta ahí, pero es un marco de partida razonable, y sus decisiones estructurales merecen entenderse sea cual sea el códex concreto que tu organización acabe adoptando.
Fuente: Fradelos, G. The 20 Laws of Artificial Intelligence: A Design-Embedded Codex for Democratic and Inclusive Governance in the Age of Agentic Systems (Ginebra, 15 de diciembre de 2025). SSRN 6306378.
¿Estás construyendo sistemas agénticos y necesitas capacidad de ingeniería que ya opere con gobernanza policy-as-code, auto-verificación y cumplimiento por niveles? Habla con un CTO sobre desplegar un squad nearshore con la disciplina que exigen los agentes en producción.
