Automatisierungsüberraschung und Modusverwechslung

• Verzerrung: Der Bediener erwartet ein bestimmtes Verhalten des automatisierten Systems, beobachtet jedoch ein anderes oder versteht nicht, in welchem Modus das System arbeitet, obwohl das System korrekt nach seiner Programmierung funktioniert.
• Was es bricht: Die Sicherheit kritischer Systeme, die situative Situationswahrnehmung der Bediener, das Vertrauen in automatisierte Systeme, die Fähigkeit, schnell auf unerwartetes Verhalten der Technik zu reagieren.
• Evidenzlevel: L1 — bestätigt durch formale Verifikationsmethoden, experimentelle Studien in Luftfahrt und Medizin, Analyse realer Vorfälle. Mehr als 15 peer‑reviewte Studien, darunter Arbeiten von Rushby, Dubus und Feldbefragungen in der Luftfahrt.
• In 30 Sekunden erkennen: Das System verhält sich nicht wie erwartet; Sie sind unsicher, in welchem Modus die Automatisierung sich befindet; Sie fragen sich „Was macht es?“ oder „Warum macht es das?“; Verwirrung entsteht, obwohl das System „richtig“ funktioniert.

Wenn die Automatisierung nicht das tut, was Sie erwarten?

Automatisierungs‑Überraschung entsteht, wenn ein automatisiertes System sich anders verhält als die Erwartungen des Bedieners oder dessen mentales Modell des Systembetriebs. Ein Pilot erwartet ein bestimmtes Verhalten, beobachtet jedoch ein anderes, was zu Verwirrung und potenziellen Sicherheitsrisiken führt (S003, S007). Diese Diskrepanz zwischen erwartetem und tatsächlichem Verhalten kann auftreten, selbst wenn das System absolut korrekt nach seiner Programmierung funktioniert.

Modus‑Verwirrung – ein spezifischer Subtyp der Automatisierungs‑Überraschung, bei dem der Bediener den aktuellen Betriebsmodus des Systems nicht erkennt oder ihn falsch versteht. Dies kann zu unangemessenen Steuerungsaktionen führen und ist mit der Komplexität der Moduslogik moderner Flugsteuerungssysteme verbunden (S001, S004). Studien zeigen, dass Modus‑Verwirrung besonders gefährlich in der kommerziellen Luftfahrt ist, wo Flugsteuerungssysteme zahlreiche miteinander verknüpfte Betriebsmodi besitzen.

Ein weiteres verwandtes Phänomen – GIGO (Garbage In, Garbage Out) – beschreibt das Prinzip, dass fehlerhafte Eingabedaten unvermeidlich zu fehlerhaften Ergebnissen führen, unabhängig von der Perfektion des Systems. In der Luftfahrt ist dies typischerweise mit manuellen Eingabefehlern durch Piloten verbunden (S005). Das System verarbeitet falsche Daten korrekt, die Ausgabe erscheint valide, beruht jedoch auf fehlerhaften Eingabeparametern.

Alle drei Phänomene treten am häufigsten in hochautomatisierten, kritischen Systemen auf – kommerzielle Luftfahrt, medizinische Geräte, Kernenergie und militärische Steuerungssysteme. Feldbefragungen von Piloten zeigten, dass die Mehrheit die Ereignisse der Automatisierungs‑Überraschung mit manuellen Eingabefehlern in Verbindung bringt, was die Wechselbeziehung aller drei Phänomene unterstreicht (S002). Formale Analysen mittels Modell‑Checking haben gezeigt, dass diese Probleme bereits in der Entwurfsphase identifiziert werden können, was auf ihren systemischen und nicht zufälligen Charakter hinweist (S006).

Es ist entscheidend, dass diese Phänomene nicht einfach als „Bedienerfehler“ zu werten sind, sondern als grundlegende Probleme der Mensch‑Automatisierung‑Interaktion in sicherheitskritischen Systemen. Sie treten selbst bei gut ausgebildeten, kompetenten Bedienern auf und weisen auf Gestaltungsprobleme der Mensch‑Maschine‑Schnittstelle hin. Experimentelle Studien bestätigten den Zusammenhang zwischen Automatisierungs‑Überraschung, Modus‑Bewusstsein und allgemeiner situativer Wahrnehmung und zeigen den mehrschichtigen Charakter des Problems.

Bediener erleben häufig die Illusion der Kontrolle, indem sie glauben, die Logik des automatisierten Systems vollständig zu verstehen, was die Erkennung von Modus‑Verwirrungen erschwert. Die Verbindung zur Bestätigungsverzerrung zeigt sich darin, dass Bediener nach Bestätigung ihrer Erwartungen an den Systemmodus suchen und widersprüchliche Signale ignorieren. Die Rückschauverzerrung führt häufig zu einer fehlerhaften Analyse von Vorfällen, wenn im Nachhinein die Gefahr als offensichtlich erscheint.

Kognitive Architektur der Überraschung: Wie das Gehirn die Kontrolle über die Automatisierung verliert

Der neuropsychologische Mechanismus des Automatisierungs‑Surprises und der Modus‑Verwirrung wurzelt im grundlegenden Prozess der Bildung und Nutzung mentaler Modelle – interner Vorstellungen davon, wie ein System funktioniert. Wenn ein Mensch mit einem komplexen automatisierten System interagiert, erstellt sein Gehirn ein vereinfachtes Verhaltensmodell dieses Systems, basierend auf früheren Erfahrungen, Lernen und Beobachtungen (S003, S004). Dieses mentale Modell ermöglicht es, das Verhalten des Systems vorherzusagen und Handlungen zu planen.

Ein Problem entsteht, wenn das mentale Modell des Bedieners unvollständig, ungenau oder veraltet ist. Moderne automatisierte Systeme, insbesondere in der Luftfahrt, zeichnen sich durch extreme Komplexität mit zahlreichen interagierenden Modi, bedingten Übergängen und verborgenen Zuständen aus. Das menschliche Gehirn, das für die Arbeit mit relativ einfachen Ursache‑Wirkungs‑Beziehungen optimiert ist, hat Schwierigkeiten, ein präzises Modell dieser Komplexität zu erstellen (S005).

Die Kluft zwischen Erwartung und Realität: Wenn die Intuition täuscht

Automatisierungs‑Surprise und Modus‑Verwirrung werden besonders desorientierend wahrgenommen, weil sie die grundlegende Erwartung von Vorhersagbarkeit verletzen. Wenn sich ein System nicht wie erwartet verhält, entsteht ein kognitiver Dissonanz – ein Konflikt zwischen dem, was laut mentalem Modell geschehen sollte, und dem, was tatsächlich eintritt. Das Gehirn interpretiert dies als „Überraschung“ und aktiviert Aufmerksamkeits‑ und Stresssysteme.

Intuitiv erscheint es, dass ein System, das wir korrekt verstehen und mit dem wir korrekt interagieren, vorhersehbar handeln sollte. Diese Intuition funktioniert bei einfachen Werkzeugen (Hammer, Fahrrad), bricht jedoch bei komplexen automatisierten Systemen mit mehreren Modi zusammen. Der Bediener kann völlig sicher sein, den aktuellen Systemzustand zu verstehen, weil sein mentales Modell intern kohärent ist und auf früheren erfolgreichen Erfahrungen beruht (S001).

Kaskadeneffekt: Von Verwirrung zum Verlust der Situationswahrnehmung

Die experimentelle Studie von Dubus et al. (2024) zeigte einen direkten Zusammenhang zwischen Automatisierungs‑Surprise und einer verminderten Situationswahrnehmung. Teilnehmer, die ein unerwartetes Verhalten der Automatisierung erlebten, wiesen eine signifikante Verschlechterung ihrer Fähigkeit auf, die Gesamtsituation zu verfolgen und angemessene Entscheidungen zu treffen (S006). Dies deutet darauf hin, dass der Automatisierungs‑Surprise nicht nur kurzfristige Verwirrung auslöst, sondern einen kaskadierenden Effekt auf die kognitiven Prozesse des Bedieners haben kann.

Die Untersuchung von Leadens (2020) mit Piloten der kommerziellen Luftfahrt ergab ein wichtiges Muster: Die Mehrheit der Befragten gab an, dass ihr Erlebnis von Automatisierungs‑Surprise mit Eingabefehlern oder falscher Datenauswahl zusammenhing und nicht mit einem Systemdefekt. Das bestätigt, dass das Problem häufig beim menschlichen Faktor beginnt, jedoch durch unzureichendes Feedback der Automatisierung darüber, was genau eingegeben wurde und wie das System dies interpretiert, verschärft wird (S002).

Vorhersagbarkeit von Komplexität: Was formale Methoden aufzeigen

Formale Verifikationsmethoden, die von Rushby angewendet wurden, ermöglichten die Identifizierung potenzieller Szenarien von Modus‑Verwirrung bereits in der Entwurfsphase von Systemen. Durch den Einsatz von Model Checking konnten die Forschenden systematisch alle möglichen Systemzustände untersuchen und Situationen identifizieren, in denen das Systemverhalten nicht den vernünftigen Erwartungen des Bedieners entspricht (S007). Das bestätigt, dass viele Fälle von Automatisierungs‑Surprise vorhersehbare Folgen der Design‑Komplexität und keine zufälligen Ereignisse sind.

Faktor	Einfluss auf den Mechanismus	Ausprägung
Systemkomplexität	Mentales Modell erfasst nicht alle Modi und Übergänge	Bediener antizipiert seltene Zustände nicht
Verborgene Zustände	System arbeitet in einem für den Bediener unsichtbaren Modus	Handlungen des Bedieners führen nicht zum erwarteten Ergebnis
Rückmeldung	Unzureichende Information darüber, was das System verstanden hat	Bediener erkennt den Eingabefehler erst beim Überraschungsmoment
Kognitive Belastung	Stress und Eile reduzieren die Genauigkeit des mentalen Modells	Selbst erfahrene Bediener begehen Fehler
Erfahrung und Training	Erfolgreiche Erfahrung festigt ein unvollständiges Modell	Bediener wird zuversichtlich in ein falsches Verständnis

Eine Studie im Bereich der Anästhesiologie zeigte, dass dieselben Phänomene – Automatisierungs‑Surprise, Modus‑Verwirrung und Illusion der Kontrolle – in Operationssälen auftreten, in denen automatisierte Anästhesie‑Steuerungssysteme eingesetzt werden. Das bestätigt die Universalität der Mechanismen dieser kognitiven Verzerrungen in verschiedenen kritischen Bereichen, in denen Menschen mit komplexer Automatisierung interagieren (S005).

Die Verbindung zur Bestätigungsverzerrung ist besonders bedeutsam: Ein Bediener, der ein mentales Modell gebildet hat, neigt dazu, Informationen wahrzunehmen, die dieses bestätigen, und Signale zu ignorieren, die ihm widersprechen. Das verstärkt das Vertrauen in ein falsches Systemverständnis und macht die Überraschung umso unerwarteter, wenn das System schließlich entgegen den Erwartungen handelt.

Luftfahrtsicherheit, Mensch-Automatisierungs-Interaktion

Reale Fälle: Wenn die Automatisierung versagt

Szenario 1: Flugzeugabsturz wegen Verwechslung von Flugmodi

Im Jahr 1996 programmierte die Besatzung eines modernen Verkehrsflugzeugs das Flight‑Management‑System (FMS), um von einer Reiseflughöhe von 35 000 Fuß zu sinken. Die Piloten wollten den Modus für eine vertikale Sinkrate von 800 Fuß pro Minute einstellen, aber das System befand sich in einem anderen Modus, als sie annahmen (S005). Statt die vertikale Sinkrate zu kontrollieren, interpretierte der Autopilot die Eingabe als Zielwinkel für die Nicklage, und das Flugzeug begann mit einer Rate von 6 000 Fuß pro Minute zu sinken – siebenmal schneller als geplant.

Die Besatzung bemerkte das Problem nicht sofort, weil ihr mentales Modell ihnen sagte, dass das System korrekt arbeite. Die visuellen Anzeigen im Cockpit waren hinsichtlich des aktiven Modus mehrdeutig (S001). Als die Piloten schließlich die kritische Sinkrate erkannten, wurden ihre Versuche, die Situation zu korrigieren, durch das Unverständnis, warum das System sich so verhält, erschwert. Dies ist ein typisches Beispiel für ein Automatisierungs‑Überraschungsphänomen: Das System funktionierte korrekt nach seiner eigenen Logik, jedoch völlig anders als von der Besatzung erwartet.

Die Folgen waren katastrophal. Das Flugzeug stieß in ein Gebirgsmassiv, 229 Menschen kamen ums Leben. Die Untersuchung zeigte, dass moderne Flugmanagementsysteme zahlreiche Modi mit feinen Unterschieden in der Logik besitzen und der Übergang zwischen ihnen automatisch auf Basis von Bedingungen erfolgen kann, die den Piloten nicht immer klar sind. Die Anzahl möglicher Zustände und Übergänge übersteigt die Fähigkeit des Menschen, ein vollständiges Modell im Arbeitsgedächtnis zu halten.

Szenario 2: Falsche Route wegen Eingabefehler und blindem Vertrauen

Der Fahrer nutzt ein GPS‑Navigationssystem für eine Fahrt in eine unbekannte Stadt und wählt versehentlich die falsche Straße mit einem ähnlichen Namen – „Sadowa Straße“ statt „Sadowy Durchgang“. Das Navigationssystem berechnet daraufhin korrekt die optimale Route, jedoch zu dem falschen Ziel (S002). Der Fahrer folgt den Anweisungen, vertraut der Automatisierung und prüft die Adresse nicht auf der Karte.

Dies ist ein klassisches Beispiel für GIGO – „Garbage In, Garbage Out“. Das System arbeitet einwandfrei, die Algorithmen funktionieren korrekt, aber das Ergebnis ist nutzlos, weil die Eingabedaten fehlerhaft waren. Der Fahrer kann das Problem lange übersehen, besonders in unbekanntem Gebiet, wo ihm keine unabhängige Möglichkeit zur Überprüfung der Route zur Verfügung steht. Als er schließlich an einem falschen Ort ankommt, entsteht die Automatisierungs‑Überraschung: „Warum hat mich die Navigation hierher geführt?“

Dieses Szenario verdeutlicht die Wechselwirkung zwischen Eingabefehler und Automatisierungs‑Überraschung. Der Fehler begann beim Menschen, wurde jedoch durch die Automatisierung verstärkt, die nicht genügend Rückmeldung bot, um den Fehler frühzeitig zu erkennen (S003). Moderne Navigationssysteme fragen selten nach einer Bestätigung wie „Möchten Sie wirklich zur Sadowa Straße fahren?“. Sie gehen davon aus, dass die Benutzereingabe korrekt ist und handeln entsprechend.

Szenario 3: Unzureichende Anästhesie während einer Operation

Im Operationssaal verwendet der Anästhesist ein automatisiertes System zur Steuerung der Anästhesiezufuhr. Diese Systeme besitzen verschiedene Betriebsmodi: manuelle Kontrolle, automatische Aufrechterhaltung einer Zielkonzentration, Schnellinduktions‑Modus und ein Modus für schrittweise Dosisreduktion. Der Arzt schaltet das System in den Modus, den er für die Aufrechterhaltung einer stabilen Medikamentenkonzentration hält, aber aufgrund einer vorherigen Sequenz befindet sich das System tatsächlich im Modus für schrittweise Dosisreduktion (S005).

Der Anästhesist, überzeugt davon, dass das System einen stabilen Anästhesie‑Level hält, richtet seine Aufmerksamkeit auf andere Aspekte der Operation. Inzwischen sinkt die Konzentration des Anästhetikums allmählich. Sobald der Patient Anzeichen einer unzureichenden Anästhesie zeigt – beschleunigter Puls, erhöhter Blutdruck, Bewegungen der Gliedmaßen – erlebt der Arzt die Automatisierungs‑Überraschung. Die Verwechslung der Modi in einem kritischen Moment kann zu Verzögerungen bei korrigierenden Maßnahmen und zu Komplikationen für den Patienten führen.

Dieses Beispiel zeigt, dass die Probleme von Automatisierungs‑Überraschungen nicht auf die Luftfahrt beschränkt sind – sie stellen universelle Herausforderungen in jedem Bereich dar, in dem komplexe Automatisierung mit einem menschlichen Bediener unter hohen Risikobedingungen interagiert. Studien belegen, dass dieselben kognitiven Mechanismen auch in der Medizin auftreten, was die Notwendigkeit eines interdisziplinären Ansatzes zur Lösung dieser Probleme unterstreicht (S004).

Szenario 4: Aktivierung des „Urlaubs‑“ statt des „Abend‑“ Modus im Smart‑Home

Der Besitzer eines modernen Smart‑Home hat ein komplexes Automatisierungssystem mit vielen Szenarien eingerichtet: „Morgen“, „Tag“, „Abend“, „Nacht“, „Urlaub“, „Gäste“ und weitere. Jeder Modus steuert Beleuchtung, Temperatur, Sicherheit und andere Systeme auf unterschiedliche Weise. Eines Abends aktiviert er das Szenario „Abend“ und erwartet, dass sanftes Licht angeht und die Heizung eine komfortable Temperatur einstellt.

Stattdessen wird das gesamte Licht ausgeschaltet, die Temperatur sinkt auf das Minimum, und der Sicherheitsmodus mit Alarm wird aktiviert. Es stellt sich heraus, dass das System die vorherige Sequenz seiner Handlungen – er prüfte die Sicherheitssensoren und schloss die Fenster – als Vorbereitung für den „Urlaub“-Modus interpretiert hatte. Sein Befehl „Abend“ wurde als Bestätigung dieses Modus verstanden. Das ist eine Automatisierungs‑Überraschung: Das System handelte logisch nach seiner Programmierung, jedoch völlig anders als vom Nutzer erwartet.

Dieses alltägliche Beispiel illustriert, wie die steigende Komplexität von Automatisierung paradoxerweise ihre Nützlichkeit und Vorhersagbarkeit verringern kann (S006). Je mehr Modi und bedingte Übergänge ein System besitzt, desto schwieriger wird es für den Nutzer, ein genaues mentales Modell seines Verhaltens zu erhalten. Das Problem wird verschärft, wenn Systeme versuchen, „intelligent“ zu sein und die Absichten des Nutzers vorherzusehen, was häufig zu unerwarteten und unerwünschten Ergebnissen führt.