Wie geben LLM-Anwendungen sensible Informationen preis, und wie verhinderst du es?

Offenlegung sensibler Informationen ist durchweg eines der größten LLM-Risiken, weil Modelle mit vielen Daten in Berührung kommen und mehrere unterschiedliche Abflusspfade haben.

Wie Datenabflüsse entstehen

• Memorisierung von Trainingsdaten. Modelle können wortwörtliche Ausschnitte ihrer Trainings- oder Fine-Tuning-Daten memorieren und wiedergeben — PII, Anmeldedaten, interne Dokumente —, wenn sie auf die richtige Weise geprompted werden. Das ist ein Risiko auf Modellebene, das nach dem Training schwer rückgängig zu machen ist.
• Leakage des System-Prompts. Apps stopfen oft Anweisungen, Geschäftslogik und manchmal Geheimnisse in den System-Prompt. Angreifer extrahieren ihn per Injektion. Behandle den System-Prompt als von Benutzern lesbar.
• Überberechtigtes Retrieval. Gibt die Vektordatenbank im RAG Dokumente zurück, ohne die Autorisierung des anfragenden Benutzers zu prüfen, fasst das Modell bereitwillig Daten zusammen, die dieser nie sehen durfte.
• Bleed zwischen Sitzungen / Mandanten. Mangelhafte Isolierung, geteilte Caches oder wiederverwendeter Kontext können die Daten eines Benutzers in die Antwort eines anderen abfließen lassen.

Vorbeugung

• Datenminimierung vor Training und Fine-Tuning; PII und Geheimnisse aus Korpora entfernen.
• Niemals Geheimnisse in Prompts. Schlüssel und Anmeldedaten in einem Secrets-Manager halten, serverseitig mit Least Privilege abgerufen.
• Autorisierung zur Retrieval-Zeit. Die Vektordatenbank nach den Berechtigungen des anfragenden Benutzers filtern, nicht im Nachhinein.
• Ausgabefilterung und PII-Redaktion auf den Antworten.
• Mandantenisolierung für Kontext, Memory und Caches.

Worauf Interviewer achten

Ein Kandidat, der mehrere Abflusspfade aufzählt — nicht nur "das Modell sagt geheime Dinge" — und jeden einer konkreten Kontrolle zuordnet, besonders benutzerbezogene Autorisierung beim RAG und das Heraushalten von Geheimnissen aus Prompts.