Sie feintunen ein Modell auf von Nutzern eingereichten Daten. Welches Risiko müssen Sie beherrschen?

Sie möchten, dass Ihr Modell aus der realen Nutzung lernt, also leiten Sie den von Nutzern eingereichten Text direkt in den nächsten Feintuning-Lauf. Die Bequemlichkeit verbirgt ein ernstes Integritätsproblem: Sie lassen nun Fremde an den Gewichten Ihres Modells mitschreiben.

Das Risiko: Datenvergiftung

Wer Trainingsdaten beisteuert, kann beeinflussen, was das Modell lernt. Ein Angreifer, der präparierte Beispiele einreicht, kann eine Hintertür implantieren — das Modell verhält sich normal, bis es eine geheime Trigger-Phrase sieht, und klassifiziert dann falsch, leakt oder gibt die vom Angreifer gewählte Ausgabe aus. Subtiler kann er das Verhalten verzerren und das Modell in eine ihm nützliche Richtung lenken oder die Qualität insgesamt verschlechtern. Das ist Trainingsdatenvergiftung, und da sie in die Gewichte eingebacken ist, kann sie schlummern und einen oberflächlichen Test bestehen, während sie voll ausnutzbar bleibt.

Das Gefährliche ist das Timing: Der Schaden entsteht beim Training, taucht aber erst in der Produktion auf, oft lange nachdem die vergiftete Charge vergessen wurde.

Kontrollen, die tatsächlich wirken

• Daten prüfen und filtern. Übernehmen Sie keine rohen Nutzereinreichungen. Bereinigen, deduplizieren und filtern Sie offensichtlich adversariale oder verteilungsfremde Inhalte, bevor sie überhaupt in einen Trainingslauf gelangen.
• Herkunft verfolgen. Erfassen Sie, woher jedes Beispiel stammt, damit Sie eine vergiftete Quelle im Nachhinein zuordnen, in Quarantäne setzen und zurückrollen können.
• Anomalieerkennung auf dem Datensatz ausführen. Suchen Sie nach Clustern, nahezu doppelten Triggern, Label-Vertauschungen und statistischen Ausreißern, die auf koordinierte Injektion hindeuten.
• Modellverhalten nach dem Training evaluieren. Testen Sie gegen zurückgehaltene adversariale und Trigger-Sonden, vergleichen Sie mit dem Vorgängermodell und machen Sie Releases von diesen Evals abhängig — nicht nur von der aggregierten Genauigkeit.

Warum die Distraktoren falsch sind

• „Mehr Daten ist immer besser”: Rohes Volumen ignoriert die Integrität. Ein kleiner vergifteter Anteil kann das gesamte Modell kompromittieren.
• „Es wird schneller” / „nur Speicherplatz”: Das macht aus einem Sicherheitsproblem ein Performance- oder Speicherproblem. Das eigentliche Problem ist, dass ein Angreifer das Modellverhalten steuert.

Was Interviewer hören wollen

Dass Sie die Vergiftung benennen, Nutzerdaten als nicht vertrauenswürdige Trainingseingabe behandeln und eine Pipeline aus Prüfung, Herkunft, Datensatz-Anomalieerkennung und verhaltensbezogener Evaluierung nach dem Training aufbauen, statt blind auf allem zu feintunen, was eintrifft.