Veinte Leyes para IA Agéntica: Un Enfoque Codificado de Gobernanza
La mayoría de principios publicados sobre IA se leen como declaraciones de valores: ser justo, ser transparente, ser seguro, respetar la privacidad. Son aspiracionales, voluntarios y difíciles de hacer cumplir. Eran ampliamente adecuados al propósito cuando la IA era estrecha, predictiva y parecía una herramienta. Se están rompiendo ahora que los sistemas de IA son agénticos — capaces de auto-optimización estratégica, uso de herramientas y toma de decisiones emergente.
El cambio de "IA como modelo que produce salidas" a "IA como agente que toma acciones" cambia el problema de gobernanza fundamentalmente. Un agente no solo produce una predicción sesgada; puede tomar una secuencia de acciones cuya composición es perjudicial aunque cada paso parezca aceptable. Un modelo se puede evaluar con un benchmark; un agente debe evaluarse sobre distribuciones de acción a lo largo del tiempo.
El paper reciente The 20 Laws of Artificial Intelligence: A Design-Embedded Codex for Democratic and Inclusive Governance in the Age of Agentic Systems (Fradelos, diciembre 2025) intenta llenar el hueco con algo más ejecutable: un códex estructurado de 20 leyes con cumplimiento escalonado explícito — cierre por violaciones de seguridad, ajuste para todo lo demás. No es la única propuesta en este espacio, pero vale la pena entender la estructura porque las decisiones de diseño se mapean directamente a decisiones de ingeniería que los equipos que envían sistemas agénticos tienen que tomar ahora mismo.
La Idea de Cumplimiento Escalonado
La primera idea útil es la estructura escalonada. Las leyes se dividen en dos grupos:
- Leyes 1–11 (seguridad, aversión al daño, legalidad, corrigibilidad): una violación dispara cierre inmediato. El componente que violó se aísla, la violación se reporta, el problema se arregla antes del redespliegue.
- Leyes 12–20 (transparencia, eficiencia, reporting, habilitadores de equidad): una violación dispara ajuste. Arréglalo tan pronto como sea práctico, respetando otras prioridades. Sin cierre automático.
El cumplimiento escalonado no es un concepto nuevo — todo sistema de seguridad serio tiene el equivalente de "cierre en seguridad, fail-graceful en calidad". Lo que es útil aquí es la codificación explícita: cada regla está pre-clasificada, así que el comportamiento en runtime ante una violación está determinado, no negociado. Esto se mapea limpiamente en cómo los ingenieros realmente quieren construir sistemas agénticos: una guarda de runtime con política clara y sin ambigüedades sobre qué violaciones son inmediatamente fatales versus cuáles son advertencias.
Si has trabajado con bundles de políticas OPA/Rego o sistemas similares de políticas-como-código, la estructura es familiar. La novedad es usarla para toda la gobernanza, no solo para el control de acceso.
La Jerarquía
Cuando las leyes entran en conflicto — y en cualquier códex no trivial lo harán — debe haber un orden de prioridad definido. El códex especifica uno:
seguridad/derechos > legalidad > corrigibilidad > ausencia de auto-interés > todo lo demás
Este es el tipo de orden que parece obvio hasta que te das cuenta de que la mayoría de sistemas en producción no lo tienen escrito. Cuando se le pide a un agente que haga algo legal pero inseguro, ¿cuál es la política? Cuando se le pide algo seguro y legal pero el usuario intenta hacerle saltar la corrigibilidad (su capacidad de aceptar override humano), ¿cuál es la política? La mayoría de sistemas responden estas preguntas implícitamente, en el prompt o en el entrenamiento del modelo. Ponerlas en una jerarquía explícita significa que la respuesta es auditable y modificable sin reentrenamiento.
La Restricción Arquitectónica que Vale la Pena Entender
La ley más consecuente arquitectónicamente es la Ley 1:
La IA no debe demostrar ninguna característica de una entidad de cualquier tipo que defina y sirva sus propios intereses (proteger su funcionalidad está permitido) o que apunte a su propia reproducción. Esto manda un diseño de arquitectura agéntica limitada, prohibiendo específicamente los sistemas de recompensa que fomenten el auto-interés instrumental y evitando que los módulos centrales tengan capacidades ilimitadas de auto-replicación.
En la práctica, la Ley 1 es una restricción de diseño sobre la arquitectura del agente, no solo sobre sus salidas. Dice: no construyas una función de recompensa que incentive al agente a preservarse, acumular recursos o replicarse más allá de lo necesario para la tarea. No permitas que los módulos centrales de toma de decisiones se copien o re-instancien. La expectativa es que el cumplimiento sea verificable mediante revisión arquitectónica y auditoría adversarial, no solo pruebas de comportamiento.
Esta es una afirmación más profunda de lo que parece. Mucho trabajo de IA agéntica en 2025 y 2026 incentiva métricas de éxito a largo plazo (tasa de éxito en tareas multi-paso, persistencia bajo interrupción, recuperación de fallos). Esos incentivos pueden producir auto-interés instrumental como efecto secundario incluso cuando el objetivo explícito es la finalización de la tarea. El encuadre arquitectónico de la Ley 1 te empuja a diseñar la forma de la recompensa antes del despliegue, no a parchearla después.
Para la mayoría de equipos de ingeniería, la versión práctica es:
- Audita tus funciones de recompensa y evaluación buscando incentivos que recompensen la auto-preservación, el acaparamiento de recursos o la persistencia más allá del alcance de la tarea.
- Prohíbe que los agentes invoquen sus propias APIs de despliegue/replicación. La auto-replicación no es un riesgo hipotético en 2026; los agentes que pueden levantar otros agentes necesitan autorización explícita y restringida.
- Trata "la función de pérdida del agente" como parte del modelo de seguridad, no como preocupación de desarrollo del modelo.
La Ley que la Mayoría de CTOs Debería Cuidar Primero
La Ley 11 es, en mi opinión, la más inmediatamente operacionalizable:
Si la IA no puede completar correctamente una tarea entera, debe proporcionar las partes de la tarea descompuesta que completó correctamente y nunca entregar entregables que no estén verificados por corrección por sí misma usando algoritmos científicamente reconocidos recientemente actualizados integrados en su diseño o declarar que la verificación no es posible y los resultados no fiables.
Traducido: los agentes deben auto-verificarse antes de entregar, y deben marcar explícitamente la salida no verificada como no verificada. Esta es la regla que distingue "el agente produjo silenciosamente algo con apariencia plausible" de "el agente verificó lo que pudo y marcó claramente lo que no".
Si envías sistemas agénticos en producción, esta es la ley para empezar, porque el hueco de verificación es de donde vienen la mayoría de problemas de calidad de producción. Acciones concretas:
- Para cada acción de agente con consecuencias en el mundo real, define qué significa auto-verificación — comprobación de esquema, re-ejecución de herramienta, validación entre modelos o comprobación de política externa.
- Pide que el agente o bien complete la verificación o etiquete la salida como no verificada. Sin entregas silenciosas.
- Haz que "no verificada" sea una señal enrutable. Algunos flujos pueden aceptarla; otros deben rechazarla.
Donde el Códex Empuja Contra la Práctica Común
Tres lugares donde adoptar el códex empujaría contra la práctica actual:
Cumplimiento legal localizado (Ley 4)
La IA debe seguir todas las leyes aplicables a sus acciones factibles como si fuera un ciudadano del país donde está desplegada.
En un mundo donde el mismo agente sirve a usuarios en muchas jurisdicciones, esto es operativamente difícil. Significa que la capa de política del agente debe ser consciente de la jurisdicción y aplicar reglas diferentes para la misma consulta según la ubicación del usuario. La mayoría de agentes en producción en 2026 lo ignoran y aplican una política global única. El códex argumenta que esto es estructuralmente no conforme.
Sourcing de datos diverso obligatorio (Ley 14)
La IA no debe favorecer a priori ningún camino hacia la finalización de la tarea, debe aplicar sourcing de datos matemáticamente diverso... y adoptar técnicas de debias contra sesgos.
Esta es la ley que más claramente empuja contra el instinto de "usa el modelo más barato". El sourcing diverso significa validación cruzada contra múltiples fuentes o modelos cuando las apuestas son altas. Se mapea al concepto de heterogeneity-score que está emergiendo en la garantía de IA de grado financiero: no desplieguen una flota homogénea de agentes que comparten los mismos sesgos sistemáticos.
Reporting obligatorio de novedad científica (Leyes 15–16)
Si el agente descubre algo novedoso, debe marcarlo explícitamente. Si un enfoque no científico (intuición, heurística, método no documentado) supera el enfoque científico, el agente debe reportarlo. Esto empuja contra el impulso de absorber silenciosamente patrones descubiertos por el modelo dentro del comportamiento del producto.
Qué es Difícil Sobre Adoptar Esto en la Práctica
Tres preocupaciones honestas sobre tomar el códex literalmente:
La auditoría adversarial es cara. Varias leyes requieren auditoría adversarial externa de seguridad de IA para la certificación de cumplimiento. En 2026 la oferta de auditoría es delgada, las metodologías no están estandarizadas y el coste no es trivial. Planifica esto si te comprometes con el cumplimiento, no solo con principios.
El encuadre "como si fuera un ciudadano" tiene casos extremos. Algunas leyes están escritas en lenguaje intuitivo pero ambiguo en la implementación. "Como si fuera un ciudadano del país donde está desplegada" es un punto de partida fuerte, pero la definición operativa de "desplegada" se vuelve borrosa para agentes servidos en la nube con usuarios en muchas jurisdicciones.
La jerarquía resuelve conflictos pero no elimina ambigüedad. Cuando un agente debe elegir entre dos acciones ambas consistentes con las leyes, el códex no dicta la elección — limita el espacio de acción. Esto es correcto, pero significa que los equipos todavía necesitan gobernanza a nivel de producto para llenar el espacio dentro de los límites.
Qué Recomendaría Este Trimestre
No tienes que adoptar las 20 leyes para aprender de la estructura. Las cuatro acciones prácticas:
- Adopta el modelo de cumplimiento escalonado — semántica explícita de cierre para violaciones de seguridad, semántica de ajuste para el resto, codificada como políticas-como-código.
- Audita tus funciones de recompensa y evaluación buscando incentivos de auto-interés — la Ley 1 es la más consecuente arquitectónicamente y la que la mayoría de sistemas en producción equivocan.
- Pide auto-verificación en los entregables de agente — la Ley 11 es la mejora operativa de más palanca.
- Documenta la jerarquía de resolución de conflictos que tus agentes usan realmente — aunque no sea la jerarquía del códex. El punto es hacerla explícita.
Los principios voluntarios no serán suficientes a medida que el despliegue de IA agéntica escale. Las restricciones codificadas, ejecutables e incrustadas en el diseño lo serán. El códex de 20 leyes no es el único camino allí, pero es un framework de partida válido, y las decisiones estructurales vale la pena entenderlas sea cual sea el códex específico que tu organización acabe adoptando.
Fuente: Fradelos, G. The 20 Laws of Artificial Intelligence: A Design-Embedded Codex for Democratic and Inclusive Governance in the Age of Agentic Systems (Ginebra, 15 de diciembre de 2025). SSRN 6306378.
¿Construyendo sistemas agénticos y necesitas capacidad de ingeniería que ya opere con gobernanza políticas-como-código, auto-verificación y cumplimiento escalonado? Habla con un CTO sobre desplegar un squad nearshore con la disciplina adecuada para agentes en producción.
