Distingue workflow, asistente y agente
Un workflow ejecuta pasos predeterminados. Un asistente genera o recupera información para una persona. Un agente selecciona acciones y utiliza herramientas según el contexto para perseguir un objetivo.
Cuanto mayor es la capacidad de elegir y actuar, mayor debe ser la inversión en permisos, evaluación, observabilidad y recuperación.
Asigna autonomía por niveles
No existe una única configuración de autonomía. Diseña una progresión que pueda ampliarse solo cuando exista evidencia suficiente.
- Observar: recopila y organiza información sin proponer acciones.
- Recomendar: prepara una opción que una persona revisa.
- Ejecutar con aprobación: realiza una acción explícitamente autorizada.
- Ejecutar y reportar: actúa en tareas acotadas, reversibles y monitoreadas.
Convierte herramientas en contratos seguros
Cada herramienta debe declarar entradas, salidas, permisos, límites y errores posibles. Evita entregar acceso genérico a bases de datos, correo, archivos o sistemas transaccionales.
Las acciones sensibles necesitan validación independiente del texto generado por el modelo.
Diseña la intervención humana
La supervisión no consiste en pedir aprobación para todo. Define umbrales de impacto, ambigüedad, costo y confianza que determinen cuándo continuar, detenerse o escalar.
- Acciones irreversibles o que afectan derechos.
- Solicitudes fuera del dominio autorizado.
- Conflicto entre fuentes o ausencia de evidencia.
- Repetición de errores, costo anormal o fallo de herramientas.
Evalúa trayectorias, no solo respuestas
Revisa si el agente eligió las herramientas correctas, respetó permisos, manejó errores y produjo evidencia suficiente. Una respuesta correcta por un camino inseguro sigue siendo un fallo.