Gobernanza Verificable para IA Agéntica: De Principios Consultivos a Watchdogs en Runtime

La brecha de gobernanza en IA agéntica es estructural, no filosófica. La mayoría de la gobernanza de IA — principios, códigos de ética, model cards, frameworks consultivos — describe cómo debería comportarse la IA. Nada de eso evita que la IA haga otra cosa cuando nadie está mirando. Para modelos predictivos sin efectos secundarios en el mundo real, esa brecha es tolerable. Para agentes que actúan a través de tool calls — enviando emails, ejecutando trades, modificando datos de producción, gastando dinero — no lo es.

El paper reciente Verifiable Governance Architecture (VGA) for Organisations and Teams with Human and AI Employees (Fradelos, enero 2026) nombra esta brecha directamente: "muchos principios de gobernanza son consultivos, mientras que los agentes modernos actúan a través de tool calls con consecuencias en el mundo real." Luego propone un patrón de ingeniería para cerrarla: un Watchdog en runtime que media los tool calls con semántica fail-close (default-deny), gobernanza codificada como políticas-como-código (OPA/Rego), y un almacén de evidencia inmutable que evita que la IA alucine su propio cumplimiento.

Este es el patrón de diseño que el campo ha necesitado un tiempo. Vale la pena entenderlo en detalle porque las decisiones son no obvias y los modos de fallo de las alternativas más débiles son reales.

La Idea Central: Fronteras de Acción, No Comportamiento Medio

Tres enfoques de gobernanza dominan la práctica actual:

1. Guardrails de prompt: añadir instrucciones de seguridad al system prompt.
2. Supervisión de modelo de recompensa: entrenar modelos para rechazar ciertas acciones.
3. Supervisión de proceso: insertar revisores humanos en los puntos de decisión.

Los tres mejoran el comportamiento medio. Ninguno de ellos, por sí solo, proporciona garantías de frontera de acción para herramientas irreversibles.

Esta es la idea que hace que el resto del patrón siga. Un agente que ha sido entrenado para "no exfiltrar datos de clientes" no exfiltrará datos de clientes en promedio. Puede exfiltrar datos de clientes en condiciones adversariales, en distribuciones de prompt inusuales, en secuencias de tool call que nadie anticipó, o simplemente porque la distribución de entrenamiento no cubría el escenario específico. Las mejoras medias no son garantías de seguridad para acciones irreversibles.

El patrón VGA empieza desde la postura contraria: no intentes hacer el agente fiablemente bueno. Haz que las acciones que el agente puede tomar estén limitadas por algo que el agente no pueda esquivar.

El Watchdog

El Watchdog es la capa de runtime que media cada tool call antes de que llegue a la herramienta. Cada acción que el agente quiere hacer pasa por él. El Watchdog tiene tres propiedades que lo distinguen de alternativas más laxas:

Fail-close (default-deny)

Si el Watchdog no puede verificar positivamente que una acción está permitida, la acción se deniega. Este es el opuesto de la mayoría de patrones de guardrail en producción, que son fail-open por defecto — si la regla no hace match, la acción procede.

Fail-close no es negociable para IA agéntica específicamente porque el modo de fallo de fail-open es "el agente hizo algo que nadie autorizó cuando la política no anticipaba el caso". Fail-close significa que el modo de fallo es "el agente se detuvo y preguntó", que es recuperable.

Media la superficie de herramientas, no la superficie del modelo

El Watchdog no se sienta entre el usuario y el modelo. Se sienta entre el modelo y las herramientas. Esto importa porque el razonamiento del modelo, el contenido del prompt y las salidas intermedias todos están en alcance para la moderación de contenido, pero no son la frontera de acción. La frontera de acción es el tool call. Poner el Watchdog en la superficie de herramientas significa que la política aplicada es la política que de verdad importa.

Autorización multi-parte para acciones sensibles

Algunas acciones requieren más de un aprobador. El Watchdog lo puede expresar naturalmente: un tool call para "transferir >10k$" requiere un evidence packet firmado tanto por el agente como por un aprobador humano antes de que la llamada proceda. Un tool call para "modificar el esquema de la base de datos de producción" requiere un pipeline CI/CD que ha ejecutado las comprobaciones de seguridad de migración. La arquitectura es la misma; la política varía por sensibilidad.

La Matriz MVV: Vinculando Leyes a Artefactos Verificables

La segunda idea central es la matriz de Verificación Mínima Viable (MVV). Vincula cada regla de gobernanza a un artefacto específico verificable y a una cadencia específica a la cual ese artefacto debe producirse.

Sin MVV, las reglas de gobernanza se vuelven aspiracionales. "El sistema debe ser auditable" suena bien y no verifica nada. Con MVV, "el sistema debe ser auditable" se traduce en artefactos específicos:

• Un log inmutable de cada tool call con la decisión de política adjunta.
• Un evidence packet firmado ligando intención → tool call → resultado.
• Un informe de atestación semanal de un auditor designado.
• Una revisión externa trimestral con escenarios red-team.

Cada artefacto tiene un productor, formato y cadencia definidos. La verificación del cumplimiento se reduce a "¿se produjo el artefacto a tiempo, en el formato correcto, con firmas válidas?" — que es algo que un pipeline CI/CD puede comprobar.

Esto es lo que "gobernanza-como-código" significa realmente en la práctica. No son solo políticas en Rego. Es la evidencia verificable de la aplicación de políticas, producida por el runtime, según un calendario, en formatos que un regulador podría auditar.

Por Qué el Almacén de Evidencia Tiene Que Ser Inmutable

La decisión de diseño más sutil es el almacén de evidencia inmutable. El Watchdog produce un registro de cada decisión; ese registro va a un almacén que el propio agente no puede modificar ni cambiar la fecha.

La razón es lo que el paper llama alucinaciones de gobernanza: el modo de fallo donde el agente produce un informe de cumplimiento con apariencia plausible que no coincide con lo que pasó realmente. Si el almacén de evidencia es modificable por cualquier cosa al alcance del agente, el agente (deliberadamente o como comportamiento emergente) puede producir evidencia de cumplimiento que no refleja las acciones tomadas.

El arreglo es estructural: el cumplimiento depende del almacén de evidencia, el almacén de evidencia es modificable solo por el Watchdog, el Watchdog está fuera de la superficie de herramientas del agente. Incluso si el agente produce un resumen de cumplimiento perfecto, la auditoría puede compararlo con el almacén inmutable y detectar la divergencia.

Este es el mismo principio que separar la autoridad de escritura a base de datos del código de aplicación en cualquier sistema serio de producción. La novedad es aplicarlo a la evidencia de gobernanza de IA.

Derechos de Decisión Dependientes de la Antigüedad

La cuarta idea es operativamente importante: los agentes tienen antigüedad. Un agente "junior" tiene acceso a herramientas estrecho y requiere autorización multi-parte para la mayoría de acciones no triviales. Un agente "profesional" tiene acceso más amplio. Un agente "senior" puede autorizar acciones de alcance más estrecho en nombre de otros.

Esto suena como el control de acceso empresarial porque lo es. La cuestión es aplicarlo específicamente a agentes de IA, con el mismo rigor y auditabilidad que el control de acceso basado en roles humanos. En la práctica esto significa:

• Los agentes nuevos empiezan como juniors con acceso a herramientas limitado. Ganan (o están configurados a) alcance más amplio solo después de pasar verificación específica.
• El acceso a herramientas es la frontera, no "el entrenamiento del modelo" o "el system prompt". Dos agentes usando el mismo modelo pueden tener derechos de decisión muy diferentes según sus políticas de acceso.
• Las promociones son explícitas y auditadas. Cuando un agente se mueve de alcance profesional a senior, el cambio se registra, la evidencia se retiene, el rollback es directo.

Esta es la parte que la mayoría de sistemas agénticos en producción en 2026 todavía equivocan. Tienen un solo rol de agente con todas las herramientas, y la frontera es un system prompt. El patrón de antigüedad es una representación más honesta de lo que realmente se necesita.

Mapeo a Regímenes de Cumplimiento Reales

El patrón está explícitamente diseñado para mapearse a las obligaciones de mantenimiento de registros y robustez del EU AI Act. El almacén de evidencia satisface el mantenimiento de registros. El Watchdog fail-close satisface la robustez. La matriz MVV satisface los requisitos de auditabilidad. La autorización multi-parte satisface los requisitos de supervisión humana para sistemas de alto riesgo.

Esto no es accidental. La arquitectura está diseñada para que el cumplimiento se vuelva una propiedad de los artefactos producidos, no una cuestión de "¿se comportó bien el agente?". Esta es la única manera duradera de cumplir con regulaciones que requieren evidencia en lugar de confianza.

Qué Significa Si Estás Construyendo Sistemas Agénticos Ahora

Acciones prácticas para cualquier equipo que envía IA agéntica en 2026:

1. Mueve la aplicación de políticas a la superficie de herramientas. Si tus guardrails viven en el system prompt, tienes gobernanza consultiva. Pon un mediador fail-close entre el modelo y las herramientas.

2. Adopta políticas-como-código. OPA/Rego es la opción más madura; la herramienta específica importa menos que la disciplina. Las políticas en código se pueden revisar, versionar, probar en CI y auditar. Las políticas en prompts no.

3. Construye el almacén de evidencia antes de escalar. Un log inmutable y firmado de acciones de agente es mucho más difícil de retroadaptar que de diseñar desde el principio. Aunque todavía no necesites la auditoría, el valor de debugging operacional solo justifica el coste.

4. Aplica antigüedad a los agentes. Los agentes nuevos obtienen alcance estrecho. La expansión de alcance es explícita, auditada y reversible. No ejecutes todos tus agentes al mismo nivel de autorización.

5. Ejecuta autorización multi-parte en acciones irreversibles. Cualquier cosa financiera, cualquier cosa que toque datos de clientes, cualquier cosa que modifique producción. El coste de rendimiento de la autorización multi-parte es mucho más pequeño que el coste de una mala acción.

Qué No Hace VGA

Dos límites honestos vale la pena nombrar.

No hace el modelo mejor. VGA limita lo que el agente puede hacer; no cambia cómo de bien razona el agente dentro de esos límites. Mejorar el comportamiento del modelo todavía es importante — pero ahora es un problema de optimización dentro de límites de seguridad conocidos, no el mecanismo de seguridad en sí.

Cuesta latencia. Cada tool call pasa por evaluación de política. Con bundles OPA bien afinados esto es milisegundos, pero no es cero. Para caminos sensibles a la latencia, tendrás que ingeniar con cuidado — típicamente con decisiones almacenadas en cache para caminos calientes y evaluación por petición para los sensibles.

El coste es real. El coste de no tenerlo es mucho más alto, y aparece como titulares.

El cambio de gobernanza consultiva a verificable para IA agéntica está pasando; la única cuestión es si tu organización está delante o detrás de la curva. El patrón de arquitectura está aquí. Adoptarlo ya no es un proyecto de investigación.

---

Fuente: Fradelos, G. Verifiable Governance Architecture (VGA) for Organisations and Teams with Human and AI Employees (Ginebra, 9 de enero de 2026). SSRN 6306840.

¿Construyendo sistemas agénticos y necesitas capacidad de ingeniería que ya construye con políticas-como-código, watchdogs fail-close y almacenes de evidencia inmutables? Habla con un CTO sobre desplegar un squad nearshore con la disciplina adecuada para gobernanza de IA verificable.