Ein LLM-Assistent kann Datensätze löschen und autonom E-Mails versenden. Wie reduzieren Sie das Risiko?

Der Assistent ist wirklich nützlich: Er kann Tickets lösen, indem er veraltete Datensätze löscht und Kunden E-Mails sendet, ganz allein. Das Problem ist, dass „ganz allein" plus „zerstörerisch" plus „ein manipulierbares Modell" ein Rezept für einen schnellen, automatisierten Fehler ist.

Das Risiko: exzessive Handlungsmacht

OWASP nennt das exzessive Handlungsmacht — einem LLM zu viel Funktionalität, Autonomie oder Berechtigung relativ zur Vertrauenswürdigkeit seiner Entscheidungen einzuräumen. Ein Modell kann sich irren oder durch eine in einem Ticket, einer E-Mail oder einem abgerufenen Dokument versteckte Prompt-Injection gesteuert werden. Wenn diese Fehlentscheidung mit echten Tools verdrahtet ist (löschen, senden, bezahlen, bereitstellen), wird das Modell zum automatisierten Akteur, der die böse Absicht des Angreifers oder seine eigene mit Maschinengeschwindigkeit ausführt. Der Wirkungsradius ist alles, was die Tools berühren können.

Wie man es reduziert

• Least-Privilege-Tools. Geben Sie dem Agenten die kleinste Menge eng begrenzter Tools, die er braucht — Lesen, wo Lesen genügt, kein pauschales Löschen, kein breites Admin-Token.
• Human-in-the-Loop für unumkehrbare Aktionen. Zerstörerische oder schwer rückgängig zu machende Operationen (Massenlöschung, Versand externer E-Mails, Zahlungen) sollten eine explizite menschliche Bestätigung erfordern, keine stille Auto-Ausführung.
• Begrenzte, auditierbare Berechtigungen. Beschränken Sie jedes Tool nach Geltungsbereich, Rate und Ziel; protokollieren Sie jeden Aufruf mit Eingaben und Identität, damit Aktionen überprüf- und umkehrbar sind.
• Fail-Safe. Bevorzugen Sie Soft-Delete/Warteschlangen und umkehrbare Operationen, damit ein Fehler zurückgerollt werden kann.

Warum die Distraktoren gefährlich sind

• „Vertrauen Sie ihm": Absicht ist keine Kontrolle. Ein hilfreiches Design ohne Leitplanken ist genau das, was ausgenutzt wird.
• „Geben Sie ihm Admin": Maximale Rechte maximieren den Wirkungsradius — das Gegenteil dessen, was man für einen nicht-deterministischen, manipulierbaren Akteur will.
• „Verstecken Sie den Löschen-Button": Die Gefahr ist die Fähigkeit des Modells, die Aktion aufzurufen, nicht ein UI-Element. Das Verstecken des Buttons lässt das zugrunde liegende Tool voll aufrufbar.

Was Interviewer hören wollen

Dass Sie exzessive Handlungsmacht benennen, sie mit Prompt-Injection verknüpfen und den Agenten mit Least-Privilege-Tool-Geltungsbereichen, menschlicher Bestätigung für unumkehrbare Aktionen und auditierten, umkehrbaren Berechtigungen begrenzen — statt auf gute Absichten zu vertrauen oder die UI zu verstecken.