¿Cómo filtran información sensible las aplicaciones LLM y cómo se previene?
Respuesta breve
Las apps LLM filtran datos de varias formas: el modelo memoriza y regurgita datos sensibles de entrenamiento o fine-tuning, el system prompt (que puede guardar secretos o lógica) se extrae, los documentos RAG recuperados exponen datos que el usuario no debería ver, y el contexto de un usuario o sesión se mezcla con otro. La prevención implica minimización de datos antes del entrenamiento, nunca poner secretos en los prompts, aplicar autorización por usuario en la recuperación, filtrado de salidas y redacción de PII, y aislamiento por inquilino.
La divulgación de información sensible es de forma consistente uno de los principales riesgos de LLM porque los modelos tocan muchos datos y tienen varias vías de fuga distintas.
Cómo ocurren las fugas
- Memorización de datos de entrenamiento. Los modelos pueden memorizar y regurgitar fragmentos textuales de sus datos de entrenamiento o fine-tuning —PII, credenciales, documentos internos— cuando se les solicita de la forma adecuada. Es un riesgo a nivel de modelo, difícil de deshacer tras el entrenamiento.
- Fuga de system prompt. Las apps a menudo meten instrucciones, lógica de negocio y a veces secretos en el system prompt. Los atacantes lo extraen mediante inyección. Considera el system prompt como legible por los usuarios.
- Recuperación sobreprivilegiada. En RAG, si el almacén de vectores devuelve documentos sin comprobar la autorización del usuario solicitante, el modelo resumirá encantado datos que nunca tuvo permitido ver.
- Mezcla entre sesiones / entre inquilinos. Un aislamiento pobre, cachés compartidas o contexto reutilizado pueden filtrar los datos de un usuario en la respuesta de otro.
Prevención
- Minimización de datos antes del entrenamiento y el fine-tuning; depura PII y secretos de los corpus.
- Nunca pongas secretos en los prompts. Guarda claves y credenciales en un gestor de secretos, obtenidas del lado del servidor con mínimo privilegio.
- Autorización en el momento de la recuperación. Filtra el almacén de vectores según los permisos del usuario solicitante, no a posteriori.
- Filtrado de salidas y redacción de PII en las respuestas.
- Aislamiento por inquilino del contexto, la memoria y las cachés.
Qué buscan los entrevistadores
Un candidato que enumere múltiples vías de fuga —no solo «el modelo dice cosas secretas»— y empareje cada una con un control concreto, especialmente la autorización por usuario en RAG y mantener los secretos fuera de los prompts.
Posibles preguntas de seguimiento
- ¿Por qué poner una clave API en el system prompt es una mala idea?
- ¿Cómo permite la memorización de datos de entrenamiento que un atacante extraiga PII?
- ¿Cómo aplicas la autorización en un pipeline RAG para que los usuarios solo recuperen documentos que están autorizados a ver?