Résultats
Masquer les données, garder le droit.
Un outil qui masque tout ne laisse rien fuir, mais Claude ne peut plus rien faire du document. Le bon outil masque les données de vos clients et laisse le droit intact. C'est ce que nous mesurons.
Shield face à Hexagone et à Presidio
Deux benchmarks publics et deux benchmarks RAGbase, tous en français · mise à jour du
| Mesure | Jeu de données | Shield 0.4.4 | Hexagone 0.3.9 | Presidio 2.2.364 | ||
|---|---|---|---|---|---|---|
| Rapidepar défaut | Précisavec modèle IA | Rapide | Précis | |||
| Score global note 1 F1 par mot, plus haut = mieux | ||||||
| Score global note 1 F1 par mot, plus haut = mieux | FR-PII-Bench public · textes français | 96,9 (F1 le plus haut de la ligne)Pprécision 95,0R, rappel 98,9 | 96,2Pprécision 93,6R, rappel 99,1 | 80,7Pprécision 68,4R, rappel 98,4 | 80,7Pprécision 67,7R, rappel 99,9 | 66,5Pprécision 69,2R, rappel 64,1 |
| MAPA note 2 public · Cour de cassation | 81,1Pprécision 83,1R, rappel 79,1 | 82,8 (F1 le plus haut de la ligne)Pprécision 78,7R, rappel 87,3 | 43,8Pprécision 28,5R, rappel 95,3 | 37,9Pprécision 23,8R, rappel 93,9 | 63,5Pprécision 51,0R, rappel 84,1 | |
| REF RAGbase · droit du travail | 97,3 (F1 le plus haut de la ligne)Pprécision 97,9R, rappel 96,7 | 97,3 (F1 le plus haut de la ligne)Pprécision 97,9R, rappel 96,7 | 66,7Pprécision 50,6R, rappel 97,6 | 61,1Pprécision 44,0R, rappel 99,9 | 79,2Pprécision 82,5R, rappel 76,1 | |
| Max note 2 RAGbase · dossiers d'avocat | 94,9 (F1 le plus haut de la ligne)Pprécision 95,2R, rappel 94,7 | 91,5Pprécision 87,9R, rappel 95,3 | 54,0Pprécision 38,1R, rappel 92,4 | 48,9Pprécision 32,7R, rappel 96,2 | 47,4Pprécision 38,0R, rappel 63,0 | |
| Termes juridiques modifiés articles, juridictions, lois · plus bas = mieux | ||||||
| Termes juridiques modifiés articles, juridictions, lois · plus bas = mieux | MAPA public · Cour de cassation | 0,0 % (valeur la plus basse de la ligne) | 0,0 % (valeur la plus basse de la ligne) | 43,1 % | 47,6 % | 18,0 % |
| REF RAGbase · droit du travail | 4,1 % (valeur la plus basse de la ligne) | 4,1 % (valeur la plus basse de la ligne) | 17,8 % | 47,1 % | 15,3 % | |
| Max RAGbase · dossiers d'avocat | 2,1 % (valeur la plus basse de la ligne) | 4,2 % | 47,2 % | 58,3 % | 55,6 % | |
| Vitesse et mémoire note 3 sans carte graphique, plus bas = mieux | ||||||
| Vitesse et mémoire note 3 sans carte graphique, plus bas = mieux | Temps par document de 10 pages | 0,63 s (valeur la plus basse de la ligne) | 17,7 s | 26,93 s | 9 min | 1,59 s |
| Mémoire pic, même document | 79 Mo à 80 Mo (valeur la plus basse de la ligne) | 3,7 Go à 3,8 Go | 1,6 Go à 1,7 Go | 3,8 Go à 5,4 Go | 0,57 Go | |
En gras : le score global le plus haut de chaque ligne ; ailleurs, la valeur la plus basse.
- 1 Score global = F1, calculé par mot. Il baisse quand l'outil laisse des données lisibles (rappel, R) et quand il masque du texte à tort (précision, P).
- 2 MAPA et Max : la précision est une limite basse.
- 3 Machine de test : 6 cœurs, 16 Go, sans carte graphique.
Source : méthode et résultats détaillés, publics sur GitHub.
Ce que montrent les chiffres
Le droit reste lisible
Sur MAPA, des décisions de la Cour de cassation, Shield modifie 0,0 % des termes juridiques. Hexagone en modifie 43,1 % en mode Rapide et 47,6 % en mode Précis.
Le score global le plus haut
Le score global baisse quand un outil laisse des données lisibles, et aussi quand il masque du texte à tort. Shield a le score le plus haut sur les quatre benchmarks.
Une réponse immédiate
Shield traite un document en 0,63 s. Hexagone met 26,93 s en mode Rapide et 9 min en mode Précis.
La méthode, en bref
- Les outils : Shield 0.4.4, Hexagone 0.3.9 et Presidio 2.2.364.
- Quatre benchmarks en français : deux publics (FR-PII-Bench, MAPA) et deux construits par RAGbase (REF, Max).
- Chaque outil reçoit les mêmes fichiers. Le même programme note toutes les sorties.
- Machine de test : 6 cœurs, 16 Go, sans carte graphique.
Pour aller plus loin
La méthode, les scripts et les résultats détaillés sont publics sur GitHub.
Les deux jeux construits par RAGbase, REF et Max, sont publics, avec leurs réponses attendues et une commande pour refaire la mesure.