Zwei Werkzeuge am selben Dokument erzeugen noch keine unabhängige Prüfung. Sie erzeugen zwei Noten, denen keiner traut. Beobachtungen zu einer Praxis, die niemand bestellt hat und alle schon anwenden.
Drei Oberflächen, dasselbe Muster darunter: Die Prüfung eines Dokuments wird an eine KI delegiert, die ihrerseits an niemanden delegiert. Was dabei herauskommt, hat eine Form, aber keine Verantwortung.
Im Juli 2025 liefert ein grosses Beratungshaus einen Prüfbericht an das australische Ministerium für Beschäftigung. Der Bericht untersucht ein algorithmisches Compliance-System in der Sozialverwaltung. Das Honorar liegt knapp unter einer halben Million australischer Dollar3.
Wenige Wochen später entdeckt ein Rechtswissenschaftler in Sydney, dass der Bericht einer Kollegin Publikationen zuschreibt, die es nicht gibt, und ein Urteil des Bundesgerichts mit einem erfundenen Zitat wiedergibt. Die Vorwürfe werden öffentlich. Das Beratungshaus räumt ein, dass bei der Erstellung eine generative KI eingesetzt wurde. Am 3. Oktober 2025 erscheint eine korrigierte Fassung, und das Beratungshaus erstattet die letzte Zahlungstranche3.
Entscheidend ist nicht der Fehler. Entscheidend ist, dass er durch jede Instanz im Prozess ging, bevor ein Aussenstehender ihn fand. Das Dokument hatte eine Deckseite mit einem bekannten Logo, Fussnoten, ein Literaturverzeichnis und eine ordentliche Typografie. Es ging durch die Hände von Verfasser und Besteller. Die erfundenen Belege blieben trotzdem stehen.
Es sah geprüft aus. Die erfundenen Belege deckte ein Aussenstehender auf.
Der Fall ist ungewöhnlich öffentlich. Das Muster ist es nicht. Die folgenden Abschnitte beschreiben, warum die Mechanik, die hier aufflog, inzwischen fester Bestandteil der Dokumentenpraxis zwischen Organisationen geworden ist.
Nehmen wir einen beliebigen Vorgang zwischen zwei Organisationen. Ein Investment-Memo, ein Pitch, ein Markteintrittsbericht, eine Vertragsvorlage. Die absendende Seite erstellt es mit einer KI. Der Empfänger gibt es einer KI zur Überprüfung. In vielen Teilen von Finanzen und Beratung ist das bereits heute die Praxis.
Die schreibende KI legt ihren Weg nicht offen. Sie markiert nicht zuverlässig, welche Quellen sie genutzt, welche sie verworfen und wo sie geraten hat. Was unsicher war, verschwindet im sprachlichen Rhythmus. Was fehlt, wird nicht markiert. Das Dokument liest sich wie ein fertiges Dokument.
Die prüfende KI sieht nur das fertige Dokument. Was nicht darin steht, existiert für sie nicht. Sie hat keinen Zugriff auf die Quellen, die der Absender geprüft hat, keinen Zugriff auf die, die er nicht geprüft hat, und keinen Zugriff auf den Verwerfungspfad. Ohne zusätzliche Belege beruht ihr Urteil auf der Form.
Beide KIs bewerten dasselbe Dokument. Ihre Noten weichen voneinander ab, weil die Antwort davon abhängt, mit welcher Frage und welchem Prompt die KI konfiguriert ist. Beide Noten wirken fundiert. Beide tragen nicht.
Das Ergebnis ist eine Fassade, in der die Form der Prüfung ohne den Vorgang der Prüfung existiert. Höflichkeit war immer ein Nebenprodukt von Sprache. Bei generativen KIs ist sie das Produkt.
Die Praxis ist keine Zukunftsannahme. Sie wird gemessen, in verschiedenen Teilen des Marktes.
Vierunddreissig Prozent der Investoren, die Ende 2025 auf dem Web Summit befragt wurden, lassen Due-Diligence-Unterlagen bereits von einer KI zusammenfassen1. Die Umfrage lief über 116 Beteiligte und ist nicht repräsentativ für den gesamten Markt, aber sie misst, was auf einer Konferenz der Branche nicht mehr tabu ist.
Vierundvierzig Prozent der von McKinsey im Sommer 2026 Befragten geben an, dass KI in ihrem Unternehmen skaliert wird. Im Vorjahr waren es achtunddreissig Prozent4. Die Zuwachsrate ist nicht spektakulär, aber der Ausgangsbestand ist bereits hoch. Was Mitte 2025 noch Pilot war, ist Mitte 2026 Produktion.
Die laufend geführte Datenbank des Rechtsforschers Damien Charlotin verzeichnet per 18. Juni 2026 1'624 dokumentierte Fälle, in denen Gerichte weltweit KI-Halluzinationen in eingereichten Schriftsätzen festgestellt haben2. Der Zähler steigt wöchentlich. Die Fehler gelangten bis zur gerichtlichen Einreichung.
GPTZero wies im Januar 2026 in 53 angenommenen Papers der NeurIPS 2025 insgesamt über hundert erfundene Literaturangaben nach5. Angenommen heisst: Peer Review hat sie passieren lassen. Die Gutachter waren nicht nachlässig im klassischen Sinn. Die Begutachtung verhinderte nicht, dass erfundene Literaturangaben in angenommenen Papers stehen blieben. Das hätte vorausgesetzt, dass jemand den Zitationen folgt.
Die vier Datenpunkte messen Verschiedenes. Zusammen zeigen sie, wie breit KI in Wissensarbeit hineinwächst und wie wenig ein formaler Prüfprozess über die Verlässlichkeit seines Ergebnisses sagt.
Die KI wurde angeschafft, um Zeit zu sparen. Die gesparte Zeit wird in einen zweiten Durchlauf investiert, bei dem eine andere KI dasselbe Dokument gegen dieselbe Art von Wissen prüft. Eine ehrliche Buchung dieser Zeit steht noch aus.
Die Qualität steigt dabei nicht zuverlässig, aus einem einfachen Grund. Eine Prüfung, die auf demselben Modelltyp beruht wie die Erstellung, teilt die blinden Flecken der Erstellung. Gemeinsame blinde Flecken überstehen auch einen zweiten Durchlauf. Die zweite KI urteilt dann entweder gleich falsch oder gleich unsicher. Ein Widerspruch zwischen den Noten zeigt an, dass eine der beiden KIs von etwas abhängt, das nicht im Dokument steht. Die Richtigkeit ist damit nicht gesichert, nur die Verschiedenheit.
Ironischer Nebenbefund: Je sicherer die KI klingt, desto weniger wird nachgelesen. Zweifel verursacht Arbeit, Höflichkeit entbindet. Nach unserer Beobachtung bekommen Dokumente, die kleine Unsicherheiten offenlegen, tendenziell schlechtere Noten als Dokumente, die ihre Unsicherheit sprachlich glätten. Eine Prämie auf Selbstüberschätzung ist in den Markt eingebaut.
Zweifel macht Arbeit. Höflichkeit entbindet.
Keiner der Beteiligten handelt dabei falsch. Jeder einzelne Schritt in der Kette ist nachvollziehbar und wird mit guten Gründen gewählt. Die Lücke entsteht erst in der Addition. Niemand liest, weil jeder davon ausgeht, dass jemand anderes lesen wird.
Die blosse Vervielfachung von Prüfinstanzen hat schon einmal nicht funktioniert. Zweimal, in Systemen, deren Prüfkultur deutlich reifer war als die, die im Umgang mit KIs gerade entsteht.
Verbriefte Subprime-Pakete trugen 2007 häufig drei AAA-Bewertungen gleichzeitig, von Moody's, S&P und Fitch6. Die drei Agenturen waren organisatorisch unabhängig, aber methodisch nicht: ähnliche Modelle, ähnliche Annahmen, dieselbe Marktphase. Die Zahl der Prüfungen stieg, die Prüfung selbst nicht. Als die Annahmen fielen, fielen alle drei Noten gleichzeitig.
Richard Smith, langjähriger Chefredaktor des BMJ, veröffentlichte 2006 eine viel zitierte Bilanz des Peer-Review-Verfahrens7. Zwei bis drei unabhängige Gutachter prüfen dasselbe Paper, teilen aber Methoden und Blind Spots des Fachgebiets. Was alle übersehen, bleibt im System. Replikationsstudien ab 2015 bestätigten die Diagnose empirisch8.
Zwei KIs an einem Dokument sind strukturell näher beieinander als zwei Ratingagenturen oder zwei Reviewer. Sie können ähnliche Trainingsgrundlagen, Fehlermuster und Optimierungsanreize teilen. Ihre Urteile sind deshalb nicht automatisch unabhängige Evidenz.
Die Lehre aus beiden historischen Fällen ist dieselbe. Unabhängigkeit entsteht nicht durch die Anzahl der Prüfer, sondern durch die Verschiedenheit ihrer Prüfbasis. Zwei Instanzen, die aus demselben Material schöpfen, erzeugen keine unabhängige Prüfung. Sie erzeugen zwei Rechnungen, deren Übereinstimmung allein noch keinen unabhängigen Nachweis liefert.
Zwei strukturelle Reaktionen zeichnen sich ab, keine davon abgeschlossen.
Die grossen Anbieter integrieren Zitationen und Herkunftsangaben zunehmend in ihre Outputs. OpenAI reicht mit dem Web-Search-Tool und ChatGPT die zitierten Passagen inline mit. Anthropic liefert mit dem Research-Tool strukturierte Quellenlisten pro Antwort. Perplexity ist als Produktkategorie um die Zitation herum gebaut10. Das verschiebt das Problem näher an die Entstehungsstelle.
Was die Konvergenz nicht löst: ein Dokument, das die Werkzeugkette verlässt, verliert meist seine Belege. Der Empfänger, der es im eigenen Werkzeug prüft, sieht nur den fertigen Text. Die Herkunftsangabe ist im Chat geblieben, nicht im Dokument.
Eine kleine Zahl von Anbietern versucht, das Belegwesen aus der Werkzeugkette zu lösen und an das Dokument selbst zu heften. Jede Kernaussage bekommt eine Quelle und einen Status (belegt, teilweise belegt, nicht belegbar), die Prüfung archiviert die Quellen mit Zeitstempel, eine Prüfsumme ordnet das Belegpaket dem konkreten Dokument zu. Ziel ist, dass der Empfänger seine KI nicht gegen den Absender, sondern gegen die Belege prüfen lässt.
Der Ansatz ist jung. Die Nachweise, dass er die Prüfung auf Empfängerseite tatsächlich präziser macht, stehen aus. Die Preisbereitschaft ist unerforscht. Die regulatorische Rückenwindkomponente ist zweifelhaft: EU AI Act Artikel 50 verlangt seit August 2026 Transparenz bei synthetischen Inhalten9, verlangt aber keine Belege für Aussagen.
Dazwischen passiert ein Dritter, der bisher am wenigsten diskutiert wird: die Rückkehr der menschlichen Prüfung in ausgewählten Vorgängen, nicht aus Sentimentalität, sondern aus Haftungsgründen. Wo Konsequenzen hoch sind und beide KIs scheitern können, wird die Freigabe wieder an eine Person gehängt, die unterschreibt. Nach unserer Beobachtung zeichnet sich diese Verschiebung in der Compliance-Praxis der grossen Beratungshäuser nach dem Vorfall des Vorjahres ab; zählbare Belege gibt es dafür noch nicht.
Vier Beobachtungen. Zwei davon treffen die These, zwei die Markterwartung.
Zeigt sich, dass die nächsten KI-Generationen zuverlässig markieren, was sie wissen und was sie raten, verliert die beschriebene Lücke ihre Schärfe. Zwei kalibrierte KIs könnten übereinstimmend sagen „unsicher", und der Mensch läse an genau dieser Stelle genauer. Nach unserer Beobachtung reicht die praktische Zuverlässigkeit dafür bisher nicht aus.
Integrieren die grossen Werkzeuganbieter die Belege strukturiert und übertragbar in jedes Dokument, wird ein eigenes Belegformat überflüssig. Der Markt für mitgelieferte Prüfpakete bleibt klein, weil der Betriebssystem-Anbieter ihn mitnimmt. Die Richtung ist erkennbar, das Tempo ungewiss.
Pendelt die Toleranz für halluzinierte Aussagen so weit nach oben, dass niemand mehr auf Prüfbarkeit besteht, verschwindet die Nachfrage. Historisch ist diese Reaktion wahrscheinlicher als Protest, bis ein grosser Vorfall sie zurückdreht.
Fehlt in den nächsten 24 Monaten ein öffentlich zurechenbarer Schaden durch KI-erzeugte oder KI-geprüfte Dokumente in einem regulierten Umfeld, verschiebt sich die Dringlichkeit, und mit ihr die Zahlungsbereitschaft. Das wäre der schwächste und wahrscheinlichste Widerlegungspfad.
Die vierte Widerlegung ist der klassische Fall: Eine strukturelle Lücke besteht so lange, bis ein ausreichend lauter Vorfall sie sichtbar macht. Zwischen dem Flash Crash und der Market Access Rule lagen sechs Monate11, zwischen Lehman und Dodd-Frank knapp zwei Jahre12. Die Reaktionszeit hängt weniger an einer Konstante als an Sichtbarkeit, Zuständigkeit und politischem Druck.
Die Beobachtung schmälert generative Modelle nicht. Sie sind das produktivste Werkzeug für Textarbeit, das in diesem Jahrzehnt verfügbar wird. Sie werden sich in die Dokumentenpraxis einbauen, egal ob die Prüfung mitgedacht ist oder nicht. Das Thema ist nicht die Technik. Das Thema ist, was in der Lücke passiert, die durch das Delegieren entsteht.
Wir beobachten drei Richtungen, in denen in den nächsten Monaten ernsthaft gearbeitet wird. Die native Herkunftsangabe im Werkzeug, das mitgelieferte Belegpaket am Dokument, und die rückgeholte menschliche Freigabe in haftungssensiblen Vorgängen. Jede dieser Richtungen hat ihre eigenen Grenzen, die weiter oben beschrieben sind.
Crownhill Capital arbeitet selbst an einem Ansatz in diesem Feld. Wir beobachten das Segment, mit Interesse und ohne Illusion. Was aus der Arbeit operativ wird, veröffentlichen wir, wenn es Zahlen gibt und nicht vorher.
Jede Zahl, jeder Vorfall und jede regulatorische Angabe in diesem Bericht ist über öffentliche Quellen nachvollziehbar.