RAG, supervisión humana y riesgos de los agentes

RAG y agentes no son lo mismo

RAG (Retrieval-Augmented Generation) es una técnica: ante una pregunta, el sistema busca fragmentos relevantes en tus documentos y se los pasa al modelo como contexto para que responda basado en ellos. Reduce invenciones y da fuentes.

Un agente, en cambio, es una arquitectura de acción autónoma. Se combinan de maravilla (el agente usa RAG como una de sus herramientas para consultar conocimiento), pero son ideas independientes: podés tener RAG sin agentes (un buscador que responde) y agentes sin RAG (que actúan con APIs y código).

Confundirlos lleva a diseños pobres: un RAG no necesita planificar ni pedir permisos de escritura; un agente sí.

Human-in-the-loop: autonomía con freno

Human-in-the-loop significa que una persona revisa y aprueba las acciones importantes del agente antes de ejecutarse: enviar un mail, borrar datos, gastar dinero, publicar contenido. No es desconfianza romántica: es ingeniería.

El criterio es proporcional al daño: lectura y borradores pueden ser automáticos; acciones irreversibles o externas siempre piden confirmación. Los agentes serios distinguen modos (sugerir, pedir aprobación, actuar) y registran todo para auditar después.

Los siete riesgos y cómo mitigarlos

1. Acciones incorrectas: el agente hace lo pedido pero mal (borra de más, reserva mal). Mitigación: permisos mínimos y confirmación en lo irreversible.
2. Permisos excesivos: darle al agente la llave maestra. Mitigación: credenciales acotadas por herramienta.
3. Fuga de datos: el agente pega datos sensibles donde no debe (logs, herramientas externas). Mitigación: clasificar datos y restringir herramientas por sensibilidad.
4. Loops infinitos: reintenta sin avanzar y quema presupuesto. Mitigación: máximo de pasos y criterio de parada.
5. Costos descontrolados: cada paso son tokens. Mitigación: presupuesto por tarea y alertas.
6. Prompt injection: instrucciones maliciosas escondidas en páginas o documentos que el agente lee y obedece como si fueran órdenes tuyas. Mitigación: separar instrucciones de datos y desconfiar del contenido externo.
7. Herramientas externas comprometidas: una API que devuelve datos manipulados. Mitigación: validar salidas y auditar.

Fuentes

• OWASP Top 10 for LLM Applications (riesgos, incl. prompt injection) (especificacion) · consultado 20/09/2026