Was ist Trainingsdaten-Vergiftung und wie verteidigst du dich dagegen?
Kurzantwort
Trainingsdaten-Vergiftung liegt vor, wenn ein Angreifer die Daten manipuliert, die zum Pre-Training, Fine-Tuning oder Einbetten eines Modells verwendet werden, sodass das resultierende Modell sich bösartig verhält — durch Einbetten eines Backdoor-Triggers, Einschleusen von Verzerrungen oder Verschlechtern der Genauigkeit. Es nutzt aus, dass Modelle große, oft aus dem Web stammende Datensätze scrapen und ihnen vertrauen. Zu den Verteidigungsmaßnahmen zählen das Kuratieren und Signieren von Datenquellen, Provenienz- und Integritätsprüfungen, Anomalieerkennung in Trainingsdaten, Datensatz-Versionierung und das Beschränken, wer zu Trainings- und RAG-Korpora beitragen darf.
Trainingsdaten-Vergiftung ist ein Integritätsangriff auf die Daten, aus denen ein Modell lernt. Weil moderne Modelle riesige, größtenteils aus dem Web gescrapte Korpora aufnehmen — plus Fine-Tuning-Sets und RAG-Wissensbasen —, kann ein Angreifer, der auch nur einen kleinen Teil dieser Daten beeinflussen kann, möglicherweise das Verhalten des Modells formen.
Was der Angreifer zu erreichen versucht
- Backdoors. Samples platzieren, sodass das Modell sich normal verhält, bis es eine geheime Trigger-Phrase sieht, und sich dann fehlverhält — etwa Malware als harmlos klassifizieren oder vom Angreifer gewählten Text ausgeben. Backdoors sind unauffällig, weil die Gesamt-Benchmark-Genauigkeit gut aussieht.
- Einschleusen von Verzerrung. Ausgaben zu bestimmten Themen, Marken oder Personen verzerren.
- Verfügbarkeits-/Qualitätsverschlechterung. Rauschen einschleusen, um die Genauigkeit zu reduzieren.
Vergiftung kann jede Stufe treffen: Pre-Training-Daten, Fine-Tuning-Daten, Embeddings oder — am leichtesten zugänglich — einen RAG-Korpus, aus dem das Modell zur Laufzeit abruft. Öffentliche Datensätze und Crowdsourcing-Beiträge machen die Supply Chain besonders exponiert.
Verteidigungsmaßnahmen
Es gibt keine einzelne Lösung; staffle die Kontrollen:
- Quellenkuratierung und Provenienz. Wisse, woher Daten kommen; bevorzuge geprüfte, signierte Datensätze und verifiziere die Integrität mit Hashes.
- Zugriffskontrolle für Beiträge. Beschränke, wer zu Trainings-Sets und RAG-Korpora hinzufügen darf; prüfe externe Beiträge.
- Anomalie- und Ausreißererkennung. Trainingsdaten statistisch auf verdächtige Cluster und Duplikate untersuchen.
- Datensatz-Versionierung und Reproduzierbarkeit, damit du auditieren und zurückrollen kannst.
- Evaluation und Red-Teaming, einschließlich Trigger-Suche und Verhaltenstests nach dem Training.
Worauf Interviewer achten
Die Erkenntnis, dass Vergiftung ein Supply-Chain-Integritätsproblem ist, das Bewusstsein, dass Backdoors aggregierte Metriken umgehen, und dass RAG-Wissensbasen ein weicheres, häufigeres Ziel sind als Pre-Training-Daten.
Wahrscheinliche Anschlussfragen
- Wie unterscheidet sich ein Backdoor-Trigger von allgemeiner Genauigkeitsverschlechterung?
- Warum ist die Vergiftung einer RAG-Wissensbasis oft einfacher als die Vergiftung von Pre-Training-Daten?
- Wie würden Datenprovenienz und -signierung hier helfen?