Un assistant LLM peut supprimer des enregistrements et envoyer des e-mails de façon autonome. Comment réduire le risque ?
Réponse courte
Une autonomie sans limites associée à l'accès aux outils, c'est l'« agence excessive » d'OWASP LLM : un modèle manipulé ou en erreur peut entreprendre des actions destructrices. Encadrez-le avec des outils au moindre privilège, exigez une confirmation humaine pour les opérations irréversibles, et gardez des permissions restreintes et auditées. Lui faire confiance ou lui donner les droits admin élargit le rayon d'impact, et masquer un bouton dans l'interface ne change rien à la capacité sous-jacente du modèle à appeler l'action.
L'assistant est réellement utile : il peut résoudre des tickets en supprimant des enregistrements obsolètes et en envoyant des e-mails aux clients, tout seul. Le problème, c'est que « tout seul » plus « destructeur » plus « un modèle manipulable » est une recette pour une erreur rapide et automatisée.
Le risque : l'agence excessive
OWASP appelle cela l'agence excessive — accorder à un LLM trop de fonctionnalités, d'autonomie ou de permissions par rapport à la fiabilité de ses décisions. Un modèle peut se tromper, ou être orienté par une injection de prompt cachée dans un ticket, un e-mail ou un document récupéré. Quand cette mauvaise décision est reliée à de vrais outils (supprimer, envoyer, payer, provisionner), le modèle devient un acteur automatisé exécutant l'intention malveillante de l'attaquant ou la sienne, à la vitesse de la machine. Le rayon d'impact correspond à tout ce que les outils peuvent toucher.
Comment le réduire
- Outils au moindre privilège. Donnez à l'agent le plus petit ensemble d'outils étroitement délimités dont il a besoin — lecture là où la lecture suffit, pas de suppression générale, pas de jeton admin large.
- Humain dans la boucle pour les actions irréversibles. Les opérations destructrices ou difficiles à annuler (suppression en masse, envoi d'e-mails externes, paiements) doivent exiger une confirmation humaine explicite, pas une auto-exécution silencieuse.
- Permissions restreintes et auditables. Bornez chaque outil par portée, débit et cible ; journalisez chaque invocation avec ses entrées et son identité, pour que les actions soient révisables et réversibles.
- Échec sûr. Privilégiez la suppression douce/les files d'attente et les opérations réversibles, pour qu'une erreur puisse être annulée.
Pourquoi les distracteurs sont dangereux
- « Faites-lui confiance » : l'intention n'est pas un contrôle. Une conception utile sans garde-fous est exactement ce qui se fait exploiter.
- « Donnez-lui les droits admin » : maximiser les privilèges maximise le rayon d'impact — l'inverse de ce que vous voulez pour un acteur non déterministe et manipulable.
- « Masquez le bouton de suppression » : le danger est la capacité du modèle à appeler l'action, pas un élément d'interface. Masquer le bouton laisse l'outil sous-jacent pleinement appelable.
Ce que les recruteurs veulent entendre
Que vous nommez l'agence excessive, la reliez à l'injection de prompt, et encadrez l'agent par des outils au moindre privilège, une confirmation humaine pour les actions irréversibles, et des permissions auditées et réversibles — plutôt que de compter sur de bonnes intentions ou de masquer l'interface.
Questions de suivi probables
- Quelles actions précises placeriez-vous derrière une confirmation humaine, et pourquoi celles-là ?
- Comment l'agence excessive se combine-t-elle à l'injection de prompt pour causer de réels dégâts ?
- Que journaliseriez-vous pour qu'une mauvaise action autonome soit reconstituable après coup ?