¿Qué es el envenenamiento de datos de entrenamiento y cómo se defiende uno de él?
Respuesta breve
El envenenamiento de datos de entrenamiento es cuando un atacante manipula los datos usados para preentrenar, hacer fine-tuning o generar los embeddings de un modelo, de modo que el modelo resultante se comporte de forma maliciosa: incrustando un disparador de backdoor, inyectando sesgo o degradando la precisión. Explota el hecho de que los modelos rastrean y confían en datasets enormes, a menudo de origen web. Las defensas incluyen curar y firmar las fuentes de datos, verificaciones de procedencia e integridad, detección de anomalías en los datos de entrenamiento, versionado de datasets, y limitar quién puede contribuir a los corpus de entrenamiento y RAG.
El envenenamiento de datos de entrenamiento es un ataque de integridad sobre los datos de los que un modelo aprende. Como los modelos modernos ingieren corpus enormes, en gran parte rastreados de la web —más conjuntos de fine-tuning y bases de conocimiento RAG—, un atacante capaz de influir incluso en una pequeña porción de esos datos puede llegar a moldear el comportamiento del modelo.
Qué intenta hacer el atacante
- Backdoors. Plantar muestras para que el modelo se comporte con normalidad hasta que vea una frase disparadora secreta, y entonces se comporte mal —por ejemplo, clasificando malware como benigno o emitiendo texto elegido por el atacante—. Las backdoors son sigilosas porque la precisión global en los benchmarks parece correcta.
- Inyección de sesgo. Sesgar las salidas sobre temas, marcas o personas específicas.
- Degradación de disponibilidad/calidad. Inyectar ruido para reducir la precisión.
El envenenamiento puede golpear cualquier etapa: datos de preentrenamiento, datos de fine-tuning, embeddings o —lo más accesible— un corpus RAG del que el modelo recupera en tiempo de ejecución. Los datasets públicos y las contribuciones colaborativas hacen que la cadena de suministro esté especialmente expuesta.
Defensas
No hay un arreglo único; superpón controles:
- Curación y procedencia de las fuentes. Sabe de dónde vienen los datos; prefiere datasets verificados y firmados, y verifica la integridad con hashes.
- Control de acceso sobre la contribución. Limita quién puede añadir a los conjuntos de entrenamiento y a los corpus RAG; revisa las contribuciones externas.
- Detección de anomalías y valores atípicos. Filtra estadísticamente los datos de entrenamiento en busca de clústeres y duplicados sospechosos.
- Versionado y reproducibilidad de datasets para poder auditar y revertir.
- Evaluación y red-teaming, incluyendo la búsqueda de disparadores y pruebas de comportamiento tras el entrenamiento.
Qué buscan los entrevistadores
El reconocimiento de que el envenenamiento es un problema de integridad de la cadena de suministro, la conciencia de que las backdoors evaden las métricas agregadas, y que las bases de conocimiento RAG son un objetivo más blando y común que los datos de preentrenamiento.
Posibles preguntas de seguimiento
- ¿En qué se diferencia un disparador de backdoor de una degradación general de la precisión?
- ¿Por qué el envenenamiento de una base de conocimiento RAG suele ser más fácil que el de los datos de preentrenamiento?
- ¿Cómo ayudarían aquí la procedencia y la firma de datos?