Vous affinez un modèle sur des données soumises par les utilisateurs. Quel risque devez-vous maîtriser ?

Vous voulez que votre modèle progresse grâce à l'usage réel, alors vous injectez le texte soumis par les utilisateurs directement dans le prochain cycle d'affinage. Cette commodité dissimule un grave problème d'intégrité : vous laissez désormais des inconnus participer à l'écriture des poids de votre modèle.

Le risque : l'empoisonnement des données

Quiconque contribue aux données d'entraînement peut influencer ce que le modèle apprend. Un attaquant qui soumet des exemples forgés peut implanter une porte dérobée — le modèle se comporte normalement jusqu'à ce qu'il voie une phrase déclencheuse secrète, puis il classe mal, fuit ou émet la sortie choisie par l'attaquant. Plus subtilement, il peut biaiser le comportement du modèle dans une direction qui lui profite, ou dégrader la qualité globale. C'est l'empoisonnement des données d'entraînement, et comme il est cuit dans les poids, il peut rester dormant et passer un test superficiel tout en demeurant pleinement exploitable.

Le danger tient au moment : le mal est fait à l'entraînement mais ne surgit qu'en production, souvent bien après que le lot empoisonné a été oublié.

Des contrôles qui fonctionnent réellement

• Vérifiez et filtrez les données. N'ingérez pas les soumissions brutes des utilisateurs. Nettoyez, dédupliquez et filtrez le contenu manifestement adversarial ou hors distribution avant qu'il n'atteigne un cycle d'entraînement.
• Tracez la provenance. Enregistrez l'origine de chaque exemple pour pouvoir attribuer, mettre en quarantaine et revenir en arrière sur une source empoisonnée après coup.
• Exécutez une détection d'anomalies sur le jeu de données. Cherchez des grappes, des déclencheurs quasi dupliqués, des inversions d'étiquettes et des valeurs aberrantes signalant une injection coordonnée.
• Évaluez le comportement du modèle après l'entraînement. Testez sur des sondes adversariales et déclencheuses retenues, comparez au modèle précédent et conditionnez les mises en production à ces évaluations — pas seulement à l'exactitude agrégée.

Pourquoi les distracteurs sont faux

• « Plus de données, c'est toujours mieux » : le volume brut ignore l'intégrité. Une petite tranche empoisonnée peut compromettre tout le modèle.
• « Il sera plus rapide » / « seulement le disque » : cela reformule un problème de sécurité en un problème de performance ou de stockage. Le vrai souci est qu'un attaquant oriente le comportement du modèle.

Ce que les recruteurs veulent entendre

Que vous nommez l'empoisonnement, traitez les données utilisateurs comme une entrée d'entraînement non fiable, et bâtissez un pipeline de vérification, de provenance, de détection d'anomalies sur le jeu de données et d'évaluation comportementale après entraînement, plutôt que d'affiner aveuglément sur tout ce qui arrive.