Prüfen statt glauben · Nº 002 · versendet am 16. August 2026

„Nimm halt Presidio" — nachgemessen

Die Behauptung

„PII-Erkennung ist doch gelöst — Microsoft Presidio ist Open Source, das nehmen alle. Einmal aufsetzen, fertig."

Der Satz fällt in fast jedem Gespräch über KI und personenbezogene Daten, meist von Leuten, die es ernst meinen: Bevor Kundendaten im Prompt landen, soll eine Erkennungsschicht sie herausfiltern. Die Werkzeuge dafür gibt es gratis. Die Frage ist nur: Wie viel finden sie wirklich — auf deutschen Dokumenten?

Die Prüfung

Angekündigt hatte ich vier Engines, geworden sind es fünf. Der Aufbau: ein Testkorpus aus 48 synthetischen deutschen Geschäftsdokumenten — Mandantenschreiben, Bewerbungen, Arztbriefe, Verträge — mit 489 von Hand markierten Gold-Werten: Namen, IBANs, Steuer-IDs, Aktenzeichen, Versichertennummern. Jede Engine bekommt dieselben Dokumente; gezählt wird hart: Ein Wert gilt nur dann als geschützt, wenn er im Ausgabetext nicht mehr auftaucht. Teilweise maskiert = durchgefallen.

Die Kandidaten: Microsoft Presidio mit dem großen deutschen spaCy-Modell (der DIY-Standard aus der Behauptung), GLiNER2 (ein auf PII trainiertes NER-Modell), der offene Privacy-Filter von OpenAI, Kiji (Dataiku) — und unser eigenes Werkzeug, dazu unten mehr.

Das Ergebnis:

• Presidio + deutsches Sprachmodell: 345 von 489 — 70,6 %
• GLiNER2: 348 von 489 — 71,2 %
• OpenAI Privacy-Filter: 399 von 489 — 81,6 %
• Kiji: 222 von 489 — 45,4 %

Interessanter als die Gesamtzahlen ist, was durchrutscht — denn alle vier scheitern an derselben Stelle: der deutschen Struktur-Realität. Presidio in der Standardkonfiguration erkennt deutsche Steuer-IDs in 20 % der Fälle, Versichertennummern, Mandanten- und Kundennummern gar nicht. GLiNER2 hat trotz passendem Label alle 17 IBANs im Korpus durchgelassen, erkennt dafür Adressen am besten von allen (98 %). Aktenzeichen, Gerichtsbezeichnungen, Grundbuchdaten: bei allen Engines Lücken. Namen und E-Mail-Adressen dagegen können alle ordentlich — nur besteht ein deutscher Geschäftsbrief eben nicht nur aus Namen und E-Mail-Adressen.

Der Befund

„Nimm halt Presidio" heißt auf deutschen Dokumenten: Rund drei von zehn schützenswerten Werten bleiben stehen — und zwar bevorzugt die spezifisch deutschen. Wer das schließen will, schreibt eigene Erkenner für Steuer-ID, Aktenzeichen, Versichertennummer und pflegt sie dauerhaft. Das ist kein Aufsetzen, das ist ein Projekt. Genau die Arbeit, die man sich mit dem Gratis-Werkzeug sparen wollte.

Dabei ist keins der Werkzeuge Schrott, und keins ist fertig — sie sind stark bei Verschiedenem und gemeinsam blind für deutsche Strukturen. Wer eins davon einsetzt, sollte es vorher an den eigenen Dokumenten messen. Nicht glauben. Prüfen.

Selbst nachprüfen

• Alle vier fremden Engines sind frei verfügbar und in unter einer Stunde ausprobiert — am aussagekräftigsten mit einem eigenen anonymisierten Musterdokument statt mit Demo-Sätzen: Presidio, GLiNER2 (PII-Modell), OpenAI-Filter, Kiji.
• Die Methode zum Nachbauen: eigene Dokumente nehmen, schützenswerte Werte von Hand markieren, Engine laufen lassen, dann pro Wert prüfen, ob er im Ergebnis noch als Zeichenkette vorkommt. Mehr braucht es nicht — das Kriterium ist bewusst simpel und unbestechlich.
• Was ein Sprachmodell aus einem deutschen Dokument liest, bevor irgendein Filter greift: was-sieht-die-ki.de — zwei Minuten, keine Anmeldung.

In eigener Sache

Zur Transparenz, die Sie von diesem Newsletter erwarten dürfen: Der Benchmark stammt von uns, und unser eigenes Werkzeug (Saklam Bridge) lief mit — 467 von 489, 95,5 %. Wir verdienen Geld damit, der Vergleich ist also nicht neutral. Deshalb steht oben die Methode offen, und deshalb gehört auch das hierher: Im ersten Messlauf schlug der OpenAI-Filter uns bei Personennamen, GLiNER2 gewinnt bei Adressen bis heute, und 22 Werte lässt auch unsere Engine durch. Der Abstand bei den Gesamtzahlen hat einen unspektakulären Grund: Wir haben die Erkenner für deutsche Strukturen geschrieben und pflegen sie — das „Projekt" aus dem Befund, nur eben als Produkt. Alle Messläufe mit Datum, Methodik und dem, was die anderen besser können: saklam.com/benchmarks.

Stefan