Un avocat qui confie les pièces d’un dossier à Claude peut suivre deux chemins. Le premier masque large : il change aussi les mots qui ne désignent personne, les juridictions, les lois, les codes, les articles cités. Le second masque ciblé : il ne touche que ce qui identifie une personne ou une société, et laisse le droit intact. RAGbase Shield suit ce second chemin. Il remplace les noms et les numéros par des codes, comme PERSONNE_A, avant l’envoi.
Tout masquer est facile, mais Claude ne peut plus travailler. Shield masque les données de vos clients et garde le droit lisible. Cet article montre ce que cela change, avec les résultats de Shield 0.4.1, comparé à Hexagone 0.3.9 et à Presidio 2.2.364.
Pourquoi un terme juridique modifié coûte cher
Quand un outil change à tort le nom d’une juridiction ou le numéro d’un article, le texte envoyé à l’IA ne dit plus ce que dit le dossier. L’IA peut alors répondre sur un mauvais texte de loi, ou mal situer l’affaire dans la hiérarchie des juridictions. L’avocat doit ensuite tout vérifier, ou tout refaire.
Un texte où le droit reste lisible donne un terrain plus solide au raisonnement de l’IA. C’est aussi un texte que l’avocat relit plus vite : il y retrouve ses articles, ses dates et ses montants.
Ce que montrent les chiffres
Trois des quatre benchmarks contiennent des termes juridiques : des noms de juridictions, des lois, des codes et des articles. Le tableau donne la part de ces termes que chaque outil modifie. Plus bas = mieux.
| Benchmark | Shield | Hexagone | Presidio |
|---|---|---|---|
| MAPA, décisions de la Cour de cassation | 0,0 % | 43,1 % (Rapide), 47,6 % (Précis) | 18,0 % |
| REF, droit du travail | 4,1 % | 17,8 % (Rapide), 47,1 % (Précis) | 15,3 % |
| Max, dossiers d’avocat | 2,1 % (Rapide), 4,2 % (Précis) | 47,2 % (Rapide), 58,3 % (Précis) | 55,6 % |
Sur MAPA, Shield ne modifie aucun des 1 344 termes juridiques. Hexagone en modifie 579 en mode Rapide et 640 en mode Précis.
Le score global : masquer les données et garder le droit
Un outil utile fait deux choses à la fois : il masque les données des clients, et il ne touche pas au reste. Le score global (F1) mesure les deux. Il baisse quand un outil laisse des données lisibles. Il baisse aussi quand il masque du texte à tort.
Shield a le score global le plus haut sur les quatre benchmarks en français : 96,9 sur FR-PII-Bench, 82,2 sur MAPA, 97,1 sur REF et 95,3 sur Max. Hexagone obtient entre 37,9 et 80,7.
Shield répond aussi tout de suite. En mode Rapide (par défaut), il traite un document de dix pages en 0,61 s, sans carte graphique. Hexagone met 26,93 s en mode Rapide et 9 min en mode Précis.
Ce qui reste à la charge de l’avocat
Le masquage ne fait pas tout. La détection n’est jamais complète : relisez les passages sensibles, car un nom seul peut être manqué. Relisez aussi le document final. Shield masque l’identité, pas le secret lui-même : un fait couvert par le secret professionnel reste couvert après masquage. Pour l’avocat, des données pseudonymisées restent des données personnelles. Et un texte déjà envoyé ne peut pas être rappelé.
Pour essayer, ajoutez Shield à l’application Claude depuis la page Installer, sur Mac ou sur Windows. Tous les résultats sont sur la page Résultats. Les limites de Shield sont sur la page Limites et conformité.
Sources
- Méthode et résultats détaillés de RAGbase Shield 0.4.1 : https://github.com/ragbase/ragbase-shield/blob/main/evaluation/laptop/RESULTS_PUBLIC.md
- https://ragbase.ai