KI-Schulungen listen gern die immer gleichen kognitiven Verzerrungen auf – Automation Bias, Fluency Effect, Anthropomorphisierung – und enden mit dem Appell zur Selbstreflexion. Doch die eigentlich schwierige Frage beginnt erst dort, wo die Checkliste endet: Wie werden individuelle Wahrnehmungsfehler zu organisationalen Routinen – und was, wenn Unternehmen die KI am Ende gar nicht als Korrektiv nutzen, sondern still an ihre eigene, längst festgefahrene Bild der Wirklichkeit anpassen?

Die Illusion des bias-freien Urteils. Von individueller Verzerrung zu institutioneller Pathologie

KI-Kompetenztraining versammelt inzwischen fast überall eine vertraute und zugleich instruktive Liste: Automation Bias, Autoritäts- oder Expert Bias, der Fluency Effect, die Kompetenzillusion, die Anthropomorphisierung. Jede dieser Verzerrungen lässt sich empirisch belegen, jede wirkt gerade dann am stärksten, wenn Zeit- oder Leistungsdruck kritisches Nachdenken unattraktiv macht. Der verbreitete Appell, technologisches und psychologisches Lernen zusammenzudenken, statt KI nur als Werkzeugkunde zu vermitteln, trifft einen wunden Punkt vieler Schulungsformate.

Und doch trägt dieser Appell meist eine stille Prämisse mit sich, die bei genauerem Hinsehen brüchig wird: die Vorstellung, es gebe einen bias-freien Ausgangszustand, von dem aus KI-induzierte Verzerrungen als Abweichung erscheinen. Das ist selbst eine Fiktion. Die gesamte kognitionspsychologische Forschung seit Kahneman und Tversky zeigt gerade das Gegenteil – Menschen und die Organisationen, die sie bilden, operieren strukturell mit Verzerrungen, unabhängig davon, ob eine KI im Spiel ist. Automation Bias ist keine neue Erfindung des Zeitalters generativer Modelle, sondern eine spezifische Ausprägung eines viel älteren Autoritäts-Bias: Menschen haben Anweisungen von Vorgesetzten, Gutachten, Statistiken schon immer mit ähnlichem blindem Vertrauen behandelt. Was an KI neu ist, ist der Skalierungseffekt und die Geschwindigkeit – nicht die Grundstruktur des Phänomens.

Die Kontextabhängigkeit des Bias-Begriffs

Damit verschiebt sich die Fragestellung. Was in einer Organisation als unangemessenes Vertrauen in ein KI-Ergebnis gilt, kann in einer anderen als angemessene Heuristik unter Zeitdruck durchgehen – die Bewertung hängt von Handlungsdruck, Fehlerkosten und Wiederholungshäufigkeit der jeweiligen Entscheidung ab. Ein Automation Bias in der medizinischen Diagnostik ist kategorial etwas anderes als in der Entwurfsformulierung eines internen Memos. Bias-Checklisten, wie sie in Schulungen kursieren, behandeln die Kategorie jedoch meist als quasi-universell und kontextfrei. Das macht sie angreifbar, sobald man genauer hinschaut, und es hat eine praktische Konsequenz: Kritische Reflexion, die in solchen Trainings vermittelt werden soll, kann nicht bei „Erkenne die Verzerrung und korrigiere sie“ stehen bleiben. Sie müsste Teilnehmer befähigen, situativ zu beurteilen, wann schnelles Vertrauen in KI-Output eine gerechtfertigte Heuristik ist und wann es zum Risiko wird – eine ungleich anspruchsvollere Kompetenz als Bias-Erkennung nach Checkliste.

Das Regressproblem der Meta-Ebene

Diese Kompetenz setzt die Fähigkeit voraus, schnell auf eine Betrachtungsebene zu wechseln, von der aus man sich selbst, das eigene berufliche Umfeld und die KI zugleich beurteilt. Genau hier entsteht ein klassisches Problem: Auch diese Meta-Ebene ist von einem Standpunkt aus besetzt, der selbst wieder Verzerrungen unterliegen kann. Die Überzeugung, gerade eine objektive Warte eingenommen zu haben, ist paradoxerweise häufig ein Symptom von Selbstüberschätzung, nicht deren Gegenteil. Es gibt keinen archimedischen Punkt außerhalb des Systems. Man kann sich der Verzerrung nur annähern, nie vollständig entkommen – was eher als iterative Selbstkorrektur zu beschreiben ist denn als erreichbarer Zustand objektiven Urteils.

Die drei Ebenen – das eigene Denken, das berufliche Umfeld, die KI – lassen sich zudem nicht seriell abarbeiten, weil sie ineinandergreifen: Die Wahrnehmung des Umfelds ist selbst schon durch die eigene kognitive Disposition gefärbt, und die Einschätzung der KI wird wiederum durch die im Umfeld herrschenden Normen geprägt – etwa ob Skepsis gegenüber KI-Output als Kompetenz oder als Ineffizienz gilt. Das ist ein zirkulärer, kein hierarchischer Beurteilungsprozess.

Warum Reflexion nicht reicht

Das eigentliche Nadelöhr liegt in der Geschwindigkeitsanforderung. Reflexionskompetenz lässt sich in Ruhe trainieren, in Workshops, in Retrospektiven. Die Fähigkeit, unter Zeitdruck in Echtzeit die Ebene zu wechseln, ist etwas anderes – näher an trainierter Intuition oder Disziplin, vergleichbar mit Checklisten in der Luftfahrt oder klinischen Diagnoseprotokollen, als an bewusster Reflexion im eigentlichen Sinn. Die Frage ist deshalb, ob „kritische Reflexion“ hier überhaupt das richtige Vokabular ist – oder ob es um internalisierte, fast automatisierte Gegenprüf-Routinen geht, die genau dann greifen, wenn für bewusste Reflexion schlicht keine Zeit bleibt.

Von der Routine zur Governance-Frage

Damit verschiebt sich die ursprüngliche Fragestellung ein weiteres Mal: nicht „Reflektiere kritisch“ als individueller Appell, sondern die Frage, welche institutionellen oder habituellen Routinen diese Reflexion ersetzen können, wenn für echte Reflexion keine Zeit ist. Doch diese Routinen sind selbst nicht statisch. Sie müssen in regelmäßigen Abständen oder bei akutem Bedarf überprüft, angepasst und kommuniziert werden – und hier entstehen zwei getrennte Problemebenen, die in der Governance-Debatte oft vermischt werden.

Die erste betrifft die Routinen selbst: Sie können mit der Zeit zu neuen, unhinterfragten Automatismen erstarren – eine Art Meta-Automation-Bias, bei dem Vertrauen in die Routine an die Stelle des ursprünglich adressierten Vertrauens in die KI tritt. Der Rhythmus der Überprüfung ist dabei selbst eine Designentscheidung mit Fallstricken. Zu starre Zyklen laufen Gefahr, echte Schieflagen zu spät zu erfassen; rein anlassbezogene Überprüfung setzt voraus, dass jemand den akuten Bedarf überhaupt bemerkt – was wiederum von Wahrnehmungs- und Meldebereitschaft abhängt, die selbst wieder Ausdruck von Unternehmenskultur und Anreizstruktur ist.

Die zweite, schwerere Ebene ist das Implementationsproblem: der Unterschied zwischen der formalen Existenz einer Routine – dokumentiert, kommuniziert, in Schulungen vermittelt – und ihrer faktischen Wirksamkeit im Arbeitsalltag, wo sie unter Zeitdruck entweder tatsächlich angewendet wird oder zur pro forma abgehakten Lippenbekenntnis-Checkliste verkommt. Dieses Muster – die Entkopplung von formaler Struktur und tatsächlicher Praxis – ist in der Organisationsforschung seit Langem bekannt: Organisationen führen Regeln ein, um nach außen oder vor sich selbst Legitimität und Kontrolle zu demonstrieren, ohne dass sich am eigentlichen Handeln etwas ändert.

Übertragen auf KI-Governance-Routinen bedeutet das: Die bloße Existenz eines Review-Zyklus sagt noch nichts darüber, ob er handlungsleitend wird oder nur dokumentarischen Charakter trägt, um im Zweifel Sorgfalt nachweisen zu können. Die eigentlich harte Frage lautet damit nicht „Wie gestalten wir die Routine?“, sondern: Welche Anreiz- oder Kontrollmechanismen sorgen dafür, dass eine formal beschlossene Routine auch faktisch handlungswirksam wird? Das ist eine Ebene tiefer als die Frage nach den Biases selbst – und genau dort, nicht bei der Checkliste der bekannten Verzerrungen, beginnt die eigentliche Arbeit institutioneller KI-Governance.

Die enactte Umwelt: Wenn die KI zum Spiegel der Organisation wird

All diese Überlegungen zu Routinen setzen stillschweigend voraus, dass ein Unternehmen ein KI-System überhaupt als externe, unabhängige Prüfinstanz nutzen kann, gegen die sich interne Ansichten korrigieren lassen. Genau diese Voraussetzung ist in vielen Organisationen kaum haltbar. Karl Weick hat mit seinem Konzept des Enactment gezeigt, dass Organisationen ihre Umwelt nicht schlicht wahrnehmen, sondern durch ihr Handeln und ihre Deutungsmuster aktiv mit hervorbringen; was als relevante Außenwelt gilt, ist bereits das Ergebnis organisationsinterner Interpretation. Ansoff hat mit seinem Konzept der schwachen Signale und der organisationalen Wahrnehmungsfilter – strukturelle, machtbezogene und mentalitätsbezogene Filter – den Mechanismus beschrieben, der dafür sorgt, dass abweichende oder bedrohliche Information systematisch abgeschwächt wird, bevor sie überhaupt als Entscheidungsgrundlage in Betracht kommt.

Niklas Luhmanns Systemtheorie radikalisiert diesen Befund noch. Soziale Systeme operieren in dieser Lesart autopoietisch geschlossen: Sie erzeugen ihre Elemente – Kommunikationen, Entscheidungen – aus sich selbst heraus, unter Rückgriff auf systemeigene Unterscheidungen, nicht durch direkten Zugriff auf eine Außenwelt. Die Umwelt ist für das System immer nur über dessen eigene Beobachtungsschemata zugänglich; eine objektive Außensicht, die das System von seiner Innensicht unterscheiden und daran korrigieren könnte, steht ihm dieser Perspektive zufolge kategorial nicht zur Verfügung.

Für den Einsatz von KI in Unternehmen hat das eine Konsequenz, die über das zuvor beschriebene Regressproblem der individuellen Reflexion hinausgeht. Eine unternehmensinterne KI ist keine dritte, von der Organisation unabhängige Instanz. Sie wird selbst zum Element des enactten bzw. autopoietisch geschlossenen Systems, sobald sie mit unternehmenseigenen Daten trainiert, gefüttert oder feinabgestimmt wird – Wissensdatenbanken, interne Dokumente, Retrieval-Systeme, Prompt-Vorgaben, die bereits die Deutungsmuster und blinden Flecken der Organisation enthalten. Ein Mitarbeiter, der die KI als Korrektiv gegen die herrschende Unternehmenssicht heranziehen möchte, stößt damit nicht auf eine externe Prüfinstanz, sondern auf einen technisch vermittelten Spiegel der eigenen Organisation.

Daraus entsteht eine weitere Gefahr, die sich von den zuvor beschriebenen Verzerrungen unterscheidet. Sie liegt nicht in der unkritischen Übernahme fehlerhafter KI-Ergebnisse, sondern in der Anpassung der KI an bereits bestehende Ansichten. Widerspricht ein KI-Output der etablierten Unternehmensnarrative, entsteht ein Anreiz, entweder den Output als nicht kontextsensitiv oder fehlerhaft zu verwerfen, oder das System selbst nachzujustieren – über die Auswahl der Trainings- und Kontextdaten, über Prompt-Gestaltung, über Feinabstimmung –, bis es die bestehende Sichtweise bestätigt statt infrage stellt. Damit kippt die ursprüngliche Erwartung an KI als Korrektiv ins Gegenteil: Nicht die KI verschafft der Organisation einen Fremdblick, sondern die Organisation prägt der KI ihren eigenen blinden Fleck auf. Ein Mitarbeiter, der sich bei einer von der Unternehmenslinie abweichenden Entscheidung auf die KI berufen möchte, hätte damit im Zweifel keine Grundlage, die nicht bereits von der Organisation selbst vorgeformt wurde.

Das ist eine Ebene tiefer als die Frage nach den Biases selbst – und genau dort, nicht bei der Checkliste der bekannten Verzerrungen und auch nicht allein bei der Gestaltung von Prüfroutinen, beginnt die eigentliche Arbeit institutioneller KI-Governance: bei der Frage, ob und wie ein Unternehmen überhaupt eine Differenz zwischen seiner Innensicht und einer davon unabhängigen Außensicht organisatorisch offenhalten kann – und ob es dazu überhaupt bereit ist.

Ralf Keuper

Quellen:

• Wikipedia: Sensemaking – Überblick zu Karl Weicks Enactment- und Sensemaking-Konzept
• Weick, Karl E. (1988): Enacted Sensemaking in Crisis Situations – PDF
• Ansoff, H. Igor (1975): Managing Strategic Surprise by Response to Weak Signals, California Management Review – Semantic Scholar
• Wikipedia: Strategic early warning system – Einordnung der Ansoff’schen Wahrnehmungsfilter und schwachen Signale
• SozTheo: Systemtheorie (Niklas Luhmann) einfach erklärt – Autopoiesis, operative Geschlossenheit, System/Umwelt-Differenz
• SozTheo: Niklas Luhmann – Soziale Systeme: Grundriß einer allgemeinen Theorie (1984)
• DocCheck Flexikon: Automation Bias
• Meyer, John W. / Rowan, Brian (1977): Institutionalized Organizations: Formal Structure as Myth and Ceremony, American Journal of Sociology 83(2) – Volltext (PDF)
• Wikipedia: Decoupling (organizational studies)