Was KI kann, ist noch keine Erlaubnis für ihren Einsatz

Meine These lautet: Institutionen, die Automatisierung dort verweigern, wo sich Fehler nicht zurücknehmen lassen, bewahren aus meiner Sicht eher klare Haftung und ihr Fachwissen. Wer vor allem auf technische Kapazität setzt, riskiert aus meiner Sicht beides, sobald ein System versagt.

Meine These lautet: Institutionen, die Automatisierung dort verweigern, wo sich Fehler nicht zurücknehmen lassen, bewahren aus meiner Sicht eher klare Haftung und ihr Fachwissen. Wer vor allem auf technische Kapazität setzt, riskiert aus meiner Sicht beides, sobald ein System versagt.

In zahlreichen US-Bundesstaaten bekommt eine Richterin vor der Urteilsverkündung eine Risikozahl aus einem System wie COMPAS vorgelegt, das Falldaten aus der Vergangenheit zu einer Prognose künftiger Straffälligkeit verdichtet.[1][2][3] Üblicherweise gilt eine solche Zahl nur als Entscheidungshilfe, der eine Richterin nicht folgen muss. Naheliegend ist die Vermutung, dass die Versuchung, ihr zu folgen, mit jedem Fall wächst, in dem die Prognose zuvor zutraf. Ich behaupte, dass sich genau an diesem Punkt entscheidet, ob eine Institution ihre eigene Urteilsfähigkeit behält oder sie stillschweigend aufgibt.

Diese These prüfe ich im Folgenden an einem Maßstab: Organisationen, die Automatisierung dort verweigern, wo Fehler irreversibel sind und Verantwortung sich sonst auflöst, sollten diesem Argument zufolge Fehlschläge früher erkennen, Haftung eindeutiger klären und das Fachwissen erhalten, das ein System im Ausfall erfordert. In vielen Rechtsordnungen gehört die Pflicht, ein Urteil zu begründen, zum Verfahren.

Verbreitet ist der Einwand, dass die Berechnung vieler kommerzieller Risikobewertungs-Systeme für Außenstehende oft undurchsichtig bleibt. An dieser Lücke verläuft, so meine Lesart, die Grenze, um die es in diesem Text geht: ob eine Institution eine Entscheidung einer KI überlassen sollte, selbst wenn sie es technisch könnte. Die folgenden Abschnitte prüfen diese These an Feldern, in denen automatisierte Einschätzungen nach meiner Beobachtung bereits heute Gewicht haben: Strafzumessung, Militär und Diagnostik.

Die falsche Frage

Nach meiner Beobachtung stellen Organisationen bei der Einführung von KI vor allem eine Frage: ob sich ein Prozess automatisieren lässt. Ob er automatisiert werden sollte, bleibt meist unausgesprochen.

Mein Eindruck aus vielen Governance-Papieren ist ein ähnliches Muster: ausführliche Prinzipien, aber keine Antwort auf die Frage, die über Stabilität entscheidet, nämlich ob ein Bereich menschlich bleiben soll, auch wenn das langsamer und teurer ist. Typischerweise fragt ein Entwicklerteam vor allem, ob ein Modell die Aufgabe löst, ein Fachbereich, ob es Zeit spart. Wer am Ende haftet, wenn das System falsch liegt, bleibt dabei in meiner Erfahrung meist offen.

Oft lässt sich nicht sauber unterscheiden zwischen einem System, das eine Entscheidung vorbereitet, einem, das sie stützt, und einem, das sie trifft. Diese Unterscheidung verschwimmt, so meine These, am schnellsten dort, wo die Folgen am größten sind: in der Strafzumessung, der Diagnostik, der militärischen Zielerfassung. An diesen Feldern lässt sich prüfen, wo Zurückhaltung etwas bringt und wo sie nur Pose bleibt.

Wer zahlt, wenn das System versagt

Governance scheitert häufig, weil drei Gruppen auseinanderfallen: wer von einer Automatisierung profitiert, wer über ihren Start entscheidet, und wer den Schaden trägt, wenn sie versagt.

Ein Anbieter verkauft ein System mit dem Versprechen auf Kosteneinsparung. Die Einkaufsabteilung bekommt Anerkennung für den Abschluss. Der Fachbereich verbucht den Effizienzgewinn. Dann produziert das System eine diskriminierende Entscheidung. Die Organisation zahlt die Rechnung. Die ursprünglichen Entscheider arbeiten längst am nächsten Projekt.

Daraus folgt ein einfacher Test. Wer kann eine Automatisierung stoppen, sobald sie läuft? Wer profitiert finanziell oder reputativ von ihrem Start? Wer trägt die Kosten, wenn sie scheitert? Decken sich diese drei Gruppen nicht, liegt ein Fehlanreiz vor, unabhängig davon, wie viele Prinzipienpapiere im Schrank liegen.

Ein 2025 veröffentlichter Trustworthy-AI-Index-Bericht von SAS fand, dass 78 Prozent der befragten Organisationen vollständiges Vertrauen in ihre KI-Systeme angeben, während nur 40 Prozent über Governance-Praktiken verfügen, die dieses Vertrauen rechtfertigen würden.[4][5]

Eine 2025 veröffentlichte KPMG-Umfrage fand, dass 58 Prozent der befragten US-Beschäftigten KI-generierte Ergebnisse übernehmen, ohne sie ausreichend zu prüfen, während nur 59 Prozent angaben, dass in ihrer Organisation klar benannte Personen für die Aufsicht über KI-Systeme verantwortlich sind.[6] Ein 2026 veröffentlichter Bericht der AI Company Data Initiative von Thomson Reuters Foundation und UNESCO fand bei den untersuchten Unternehmen nur bei 13 Prozent eine formale Richtlinie zur menschlichen Aufsicht, und nur 2,3 Prozent unterhielten einen eigenen Beschwerdemechanismus für KI-bezogene Vorfälle.[7] Diese Zahlen zeigen, dass Kontrolle seltener gebaut wird, als Vertrauen behauptet wird. Wer vollständiges Vertrauen äußert, ohne die dazugehörige Kontrollstruktur aufgebaut zu haben, verwechselt ein Gefühl mit einer Eigenschaft des Systems.

Warum manche Fehler sich nicht zurücknehmen lassen

Irreversibilität zeigt sich auf zwei Ebenen, die oft vermischt werden: der einzelnen Entscheidung und dem Fachwissen, das verschwindet, wenn niemand es mehr übt.

Eine falsche Haftstrafe lässt sich nicht zurückdrehen. Eine verpasste Diagnose kostet manchmal ein Leben, das sich nicht zurückholen lässt. Wo eine Entscheidung diesen Schaden anrichten kann, zählt weniger die durchschnittliche Trefferquote eines Systems als das, was im Einzelfall passiert, wenn es falsch liegt.

Die zweite Ebene baut sich langsamer auf. Fachwissen verschwindet, wenn Ärztinnen, Richter oder Offiziere ihr eigenes Urteilsvermögen seltener einsetzen, weil ein System die Arbeit vorab erledigt. Eine 2025 veröffentlichte Studie des MIT Media Lab maß per EEG die Hirnaktivität von Studierenden beim Verfassen von Aufsätzen und fand bei jenen, die ChatGPT nutzten, eine deutlich schwächere neuronale Vernetzung als bei jenen, die ohne Hilfsmittel schrieben.[8][9][10] Das belegt direkt nur etwas über das Schreiben von Aufsätzen unter Laborbedingungen. Es überträgt sich nicht automatisch auf jahrelang trainierte professionelle Expertise.

Der Unterschied zwischen Labor und Beruf ist real, aber er entkräftet die Sorge nicht vollständig. Wenn schon eine einmalige, kurze Aufgabe messbare Spuren in der neuronalen Aktivität hinterlässt, ist die Frage berechtigt, was jahrelange tägliche Nutzung in einem Beruf anrichtet, dessen Fehler Menschenleben kosten. Das Muster aus der MIT-Studie macht die Sorge plausibel. Es beweist sie nicht.

Drei Felder, an denen sich die Grenzen zeigen

In der Strafzumessung, im Krieg und in der Diagnostik tragen automatisierte Urteile unterschiedlich weit, doch in allen drei Feldern verschiebt sich etwas von der statistischen Einschätzung zur faktischen Entscheidung.

ProPublicas Untersuchung aus dem Jahr 2016 zum COMPAS-Risikobewertungs-Tool ergab, dass Schwarze Angeklagte fast doppelt so häufig wie weiße Angeklagte fälschlich als hochriskant für künftige Straftaten eingestuft wurden, während weiße Angeklagte häufiger fälschlich als niedrigriskant eingestuft wurden. Der Bias ist die sichtbare Spitze eines tieferen Problems. Die Abwägung zwischen Rückfallrisiko und Rehabilitationschance ist eine moralische Entscheidung. Ihre Legitimität hängt daran, dass ein Mensch sie verantwortet, der zur Rechenschaft gezogen werden kann. Ein Algorithmus kann das nicht leisten, selbst wenn er die Variablen korrekt verarbeitet.

Am 24. Dezember 2024 verabschiedete die UN-Generalversammlung die Resolution 79/239. Sie bekräftigt, dass humanitäres Völkerrecht während des gesamten Lebenszyklus militärischer KI-Systeme gilt, und fordert die Staaten auf, menschliches Urteilsvermögen in militärischen Entscheidungen zu sichern.[11][12] Zielerfassungssysteme können Entscheidungszyklen auf Minuten verkürzen, in manchen Programmen auf Sekunden. Wird eine Angriffsentscheidung in dieser Geschwindigkeit getroffen, verwischt die Kette der Verantwortung zwischen dem Entwickler, dem Kommandeur und dem Bedienpersonal.

In der Diagnostik ist das Risiko leiser. Je verlässlicher ein System in den häufigen Fällen wird, desto seltener üben Ärztinnen die Beurteilung der seltenen, ungewöhnlichen Befunde, für die sie eigentlich ausgebildet wurden. Belastbare Felddaten zu diesem konkreten Verlernen in der Radiologie liegen bislang kaum vor. Gerade deshalb braucht Diagnostik eine andere Art von Schutz als Strafzumessung: keine pauschale Automatisierungssperre, sondern die Pflicht zur unabhängigen Zweitbeurteilung in einem festen Anteil der Fälle, damit das Urteilsvermögen für den Ausnahmefall erhalten bleibt.

Der stärkste Einwand: Menschen irren auch

Der naheliegendste Einwand gegen diesen Text lautet, dass menschliches Urteilsvermögen selbst voreingenommen, müde und inkonsistent ist, und dass ein Algorithmus genau diese Inkonsistenz ausgleichen könnte.

Der Einwand trifft zu. Richter urteilen nachweislich unterschiedlich je nach Tageszeit und Erschöpfung. Ärztinnen übersehen Befunde, wenn eine Schicht zu lang war. Kein Plädoyer für menschliche Entscheidungen sollte so tun, als sei die Alternative dazu makellos. Die Frage ist nicht, ob Menschen fehlbar sind. Sie sind es. Die Frage ist, wessen Fehler sich korrigieren lassen und wessen Verantwortung sich zuordnen lässt, wenn etwas schiefgeht.

Ein Richter, der eine falsche Entscheidung trifft, kann angeklagt, befragt, abgewählt oder in der Berufung korrigiert werden. Ein System, das in zehntausend Fällen denselben systematischen Fehler wiederholt, verteilt diesen Fehler lautlos über alle Fälle, bevor ihn jemand bemerkt. Die praktikable Antwort ist eine klare Grenze: Ein System darf vorschlagen, sortieren und warnen. Die letzte Entscheidung mit irreversibler Folge gehört einer Person, die dafür geradestehen kann. Diese Grenze gilt für Bereiche mit hoher Schadenshöhe und schwacher Korrigierbarkeit. Für Betrugserkennung oder Terminplanung gilt sie nicht, dort sind Fehler meist billig und reversibel.

Ein Prüfraster für den Ernstfall

Ob ein Bereich unter menschlicher Letztentscheidung bleiben muss, lässt sich vor dem Einsatz prüfen, nicht erst danach rechtfertigen.

Sind die Folgen eines Fehlers irreversibel? Hängt die richtige Entscheidung stark von Kontext, Absicht oder moralischer Abwägung ab? Verstärkt das System einen Bias aus seinen Trainingsdaten? Verteilt sich die Verantwortung auf so viele Akteure, dass am Ende niemand konkret haftet? Lässt sich die Entscheidung der betroffenen Person verständlich erklären? Wird mindestens eine dieser Fragen mit Ja beantwortet, gehört die letzte Entscheidung einem Menschen, auch wenn ein System sie vorbereiten darf.

Manche Anwendungen gehören unabhängig vom Einzelfall auf eine Liste roter Linien. Dazu zählen autonome Waffensysteme, die selbstständig Ziele auswählen und Gewalt anwenden, massenhafte Überwachung ohne Rechtsgrundlage und die gezielte Beeinflussung von Wahlen durch personalisierte Manipulation. Nicht jede rote Linie verlangt ein pauschales Verbot. Manche verlangen eine Zulassungspflicht vor dem Einsatz, ähnlich wie bei neuen Medikamenten.

Wo Zurückhaltung aufhört

Diese These gilt nicht überall, und sie verliert ihren Sinn, sobald Zurückhaltung zum einsamen Alleingang wird.

Für Betrugserkennung, Logistikplanung oder Dokumentenverarbeitung ist volle Automatisierung sinnvoll. Fehler lassen sich korrigieren, die Kosten eines gelegentlichen Fehlers sind gering gegenüber dem Gewinn an Geschwindigkeit. Hier wäre menschliche Letztentscheidung nur Theater.

Problematisch wird es, wenn eine einzelne Organisation sich Grenzen auferlegt, die kein Wettbewerber teilt. Wer freiwillig auf Geschwindigkeit verzichtet, während andere diese Grenzen ignorieren, verschafft sich keinen Vorteil, solange Versicherung, Beschaffung und Haftungsrecht diese Zurückhaltung nicht honorieren. Die These gilt also mit einer Bedingung: Sie trägt dort, wo Haftung, Aufsicht oder Marktregeln Zurückhaltung tatsächlich absichern. Fehlt diese Absicherung, bleibt Zurückhaltung gut gemeint und wirkungslos.

Genau das wäre der Punkt, an dem diese These widerlegt würde: wenn Organisationen mit konsequenter menschlicher Letztentscheidung in irreversiblen Bereichen über Jahre hinweg mehr folgenschwere Fehlschläge produzieren als jene, die stärker automatisieren. Bis dahin spricht die vorliegende Evidenz für die andere Richtung.

Der Unterschied, der zählt

Dass eine KI etwas kann, war nie der Maßstab. Der Maßstab ist, ob eine Institution einen Fehlschlag übersteht, ohne das Wissen zu verlieren, das sie braucht, um sich selbst zu korrigieren. Die Richterin aus dem ersten Absatz muss die Risikozahl nicht ignorieren. Sie muss nur die Letzte sein, die entscheidet, und sie muss erklären können, warum.

Wer den Kontrolltest und das Prüfraster aus diesem Text ernst nimmt, stellt sich vor jedem Projekt dieselbe Frage: Wer kann dieses System stoppen, wer profitiert von seinem Start, und wer trägt die Kosten, wenn es versagt? Fallen diese Antworten nicht zusammen, muss eine Organisation Entscheidungsmacht neu verteilen, bevor sie das System ausrollt, nicht danach.

Der Automatisierungsfilter

Ein wiederverwendbares Werkzeug für die Praxis, anwendbar auf jedes KI-Projekt vor dem Start.

Zuerst die Kontrollfrage: Wer kann die Automatisierung stoppen, sobald sie läuft. Wer profitiert finanziell oder reputativ von ihrem Start. Wer trägt die Kosten, wenn sie scheitert. Fallen diese drei Gruppen nicht weitgehend zusammen, liegt ein Fehlanreiz vor, unabhängig von jeder Prinzipienerklärung.

Dann die Irreversibilitätsfrage: Lässt sich ein Fehler in diesem Bereich später noch korrigieren, oder ist der Schaden endgültig. Hängt die richtige Entscheidung stark von Kontext und moralischer Abwägung ab, die sich nicht in Trainingsdaten abbilden lässt.

Zuletzt die Übungsfrage: Wer in der Organisation könnte die Aufgabe noch ohne das System erledigen, wenn es morgen ausfiele. Wenn die Antwort niemand lautet, ist das Fachwissen bereits verloren, bevor das System überhaupt versagt hat.

Wird die Kontrollfrage mit einem Fehlanreiz beantwortet, die Irreversibilitätsfrage mit Ja, oder die Übungsfrage mit niemand, bleibt die letzte Entscheidung bei einem Menschen. Das System darf vorbereiten, sortieren, warnen. Es darf nicht die letzte Instanz sein.

Quellen

  1. The accuracy, fairness, and limits of predicting recidivism | Science Advances
  2. Exploring the ProPublica COMPAS data
  3. The Fairness You Can't Have — COMPAS, ProPublica, and the impossibility theorem
  4. DATA AND AI IMPACT REPORT: The Trust Imperative
  5. Data and AI Impact Report: The Trust Imperative, 2025 | SAS
  6. The American Trust in AI Paradox: Adoption Outpaces Governance
  7. Corporate AI Governance Report 2025 | AICDI Global Insights
  8. Overview ‹ Your Brain on ChatGPT — MIT Media Lab
  9. Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task — MIT Media Lab
  10. CNN: AI's Effects On The Brain — MIT Media Lab
  11. United Nations
  12. Unofficial translation