Qu'est-ce que l'empoisonnement des données d'entraînement et comment s'en défendre ?

L'empoisonnement des données d'entraînement est une attaque d'intégrité sur les données dont un modèle apprend. Parce que les modèles modernes ingèrent d'énormes corpus largement aspirés du web — plus des ensembles de fine-tuning et des bases de connaissances RAG — un attaquant capable d'influencer même une petite tranche de ces données peut être en mesure de façonner le comportement du modèle.

Ce que l'attaquant cherche à faire

• Backdoors. Implanter des échantillons pour que le modèle se comporte normalement jusqu'à voir une phrase de déclenchement secrète, puis dérape — par exemple en classant un malware comme bénin ou en émettant un texte choisi par l'attaquant. Les backdoors sont furtives car la précision globale aux benchmarks paraît correcte.
• Injection de biais. Fausser les sorties sur des sujets, marques ou personnes spécifiques.
• Dégradation de disponibilité/qualité. Injecter du bruit pour réduire la précision.

L'empoisonnement peut frapper n'importe quelle étape : données de pré-entraînement, données de fine-tuning, embeddings, ou — le plus accessible — un corpus RAG dont le modèle récupère au moment de l'exécution. Les jeux de données publics et les contributions participatives rendent la chaîne d'approvisionnement particulièrement exposée.

Défenses

Il n'y a pas de correctif unique ; superposez les contrôles :

• Curation et provenance des sources. Sachez d'où viennent les données ; préférez des jeux de données vérifiés et signés, et vérifiez l'intégrité avec des hachages.
• Contrôle d'accès sur la contribution. Limitez qui peut ajouter aux ensembles d'entraînement et aux corpus RAG ; revoyez les contributions externes.
• Détection d'anomalies et de valeurs aberrantes. Filtrez statistiquement les données d'entraînement à la recherche de clusters et de doublons suspects.
• Versionnage et reproductibilité des jeux de données pour pouvoir auditer et revenir en arrière.
• Évaluation et red-teaming, y compris la recherche de déclencheurs et les tests comportementaux post-entraînement.

Ce que recherchent les recruteurs

La reconnaissance que l'empoisonnement est un problème d'intégrité de la chaîne d'approvisionnement, la conscience que les backdoors échappent aux métriques agrégées, et que les bases de connaissances RAG sont une cible plus tendre et plus courante que les données de pré-entraînement.