Sorpresa de Automatización y Confusión de Modos

• Sesgo: El operador espera un comportamiento de la sistema automatizado, pero observa otro, o no comprende en qué modo está operando el sistema, aunque éste funciona correctamente según su programación.
• Qué rompe: La seguridad de sistemas críticos, la conciencia situacional de los operadores, la confianza en los sistemas automatizados, la capacidad de reaccionar rápidamente ante comportamientos inesperados de la tecnología.
• Nivel de evidencia: L1 — confirmado mediante métodos formales de verificación, investigaciones experimentales en aviación y medicina, y análisis de incidentes reales. Más de 15 estudios revisados por pares, incluidos trabajos de Rushby, Dubus y encuestas de campo en aviación.
• Cómo detectarlo en 30 segundos: El sistema se comporta de manera distinta a lo que esperabas; no estás seguro en qué modo está la automatización; te preguntas “¿qué está haciendo?” o “¿por qué lo hace?”; surge confusión a pesar de que el sistema funciona “correctamente”.

Cuando la automatización no hace lo que esperas?

Sorpresa de automatización ocurre cuando el sistema automatizado se comporta de una manera distinta a las expectativas del operador o a su modelo mental del funcionamiento del sistema. El piloto espera un comportamiento y observa otro, lo que genera confusión y riesgos potenciales para la seguridad (S003, S007). Esta discrepancia entre lo esperado y lo real puede suceder incluso cuando el sistema funciona perfectamente según su programación.

Confusión de modos — subtipo específico de sorpresa de automatización, en el que el operador no percibe el modo actual de operación del sistema o lo interpreta incorrectamente. Esto puede conducir a acciones de control inadecuadas y está relacionado con la complejidad de la lógica de modos en los modernos sistemas de gestión de vuelo (S001, S004). Los estudios demuestran que la confusión de modos es particularmente peligrosa en la aviación comercial, donde los sistemas de gestión de vuelo poseen numerosos modos interrelacionados.

El tercer fenómeno relacionado — GIGO (Garbage In, Garbage Out) — representa el principio según el cual datos de entrada erróneos inevitablemente producirán resultados incorrectos, sin importar la perfección del sistema. En aviación, esto suele estar vinculado a errores de ingreso manual de datos por parte de los pilotos (S005). El sistema procesa los datos incorrectos de forma adecuada, la salida parece válida, pero se basa en parámetros de entrada erróneos.

Los tres fenómenos son más comunes en sistemas críticos altamente automatizados — aviación comercial, equipos médicos, energía nuclear y sistemas de control militar. Encuestas de campo a pilotos mostraron que la mayoría asocian los eventos de sorpresa de automatización con errores de ingreso manual de datos, lo que subraya la interrelación de los tres fenómenos (S002). Un análisis formal mediante técnicas de verificación de modelos demostró que estos problemas pueden identificarse en la fase de diseño, indicando su carácter sistémico más que aleatorio (S006).

Es fundamental comprender que estos fenómenos no son simplemente “errores de los operadores”, sino problemas estructurales de interacción humano‑automatización en sistemas de seguridad. Surgen incluso en operadores bien entrenados y competentes, señalando fallas en el diseño de la interfaz hombre‑máquina. Investigaciones experimentales han confirmado la relación entre la sorpresa de automatización, la conciencia de los modos y la conciencia situacional general, evidenciando la naturaleza multidimensional del problema.

Los operadores a menudo experimentan ilusión de control, creyendo que comprenden completamente la lógica del sistema automatizado, lo que dificulta la detección de la confusión de modos. La relación con el sesgo de confirmación se manifiesta en que los operadores buscan confirmar sus expectativas sobre el modo de operación del sistema, ignorando señales contradictorias. El sesgo retrospectivo con frecuencia conduce a un análisis incorrecto de incidentes, cuando después del hecho parece que el peligro era evidente.

Arquitectura cognitiva de la sorpresa: cómo el cerebro pierde el control de la automatización

El mecanismo neuropsicológico de la sorpresa por automatización y la confusión de modos se basa en el proceso fundamental de formación y uso de modelos mentales — representaciones internas de cómo funciona un sistema. Cuando una persona interactúa con un sistema automatizado complejo, su cerebro crea un modelo simplificado del comportamiento de ese sistema, basado en la experiencia previa, el aprendizaje y la observación (S003, S004). Este modelo mental permite predecir el comportamiento del sistema y planificar acciones.

El problema surge cuando el modelo mental del operador es incompleto, impreciso o está desactualizado. Los sistemas automatizados modernos, especialmente en la aviación, presentan una complejidad extrema con numerosos modos interrelacionados, transiciones condicionales y estados ocultos. El cerebro humano, optimizado para trabajar con relaciones causa‑efecto relativamente simples, tiene dificultades para construir un modelo preciso de tal complejidad (S005).

Brecha entre la expectativa y la realidad: cuando la intuición falla

La sorpresa por automatización y la confusión de modos resultan especialmente desorientadoras porque violan la expectativa básica de previsibilidad. Cuando el sistema se comporta de manera diferente a lo esperado, se genera disonancia cognitiva — un conflicto entre lo que debería ocurrir (según el modelo mental) y lo que realmente ocurre. El cerebro interpreta esto como una “sorpresa”, activando los sistemas de atención y estrés.

Intuitivamente parece que si comprendemos correctamente el sistema y lo operamos adecuadamente, éste debería comportarse de forma predecible. Esta intuición funciona con herramientas simples (martillo, bicicleta), pero se rompe con sistemas automatizados complejos que poseen múltiples modos. El operador puede estar absolutamente seguro de su comprensión del estado actual del sistema, porque su modelo mental está internamente coherente y se basa en experiencias exitosas previas (S001).

Efecto cascada: de la confusión a la pérdida de conciencia situacional

El estudio experimental de Dubus et al. (2024) demostró una relación directa entre la sorpresa por automatización y la disminución de la conciencia situacional. Los participantes que experimentaron un comportamiento inesperado de la automatización mostraron un deterioro significativo en su capacidad para seguir la situación global y tomar decisiones adecuadas (S006). Esto indica que la sorpresa por automatización no solo provoca una confusión momentánea, sino que puede generar un efecto cascada en los procesos cognitivos del operador.

La investigación de Leadens (2020) con pilotos de aviación comercial reveló una pauta importante: la mayoría de los encuestados indicó que su experiencia de sorpresa por automatización estaba vinculada a errores de entrada manual o selección de datos, y no a fallos del sistema. Esto confirma que el problema a menudo se origina en el factor humano, pero se agrava por la falta de retroalimentación de la automatización sobre lo que se ingresó y cómo el sistema lo interpreta (S002).

Previsibilidad de la complejidad: lo que revelan los métodos formales

Los métodos formales de verificación aplicados por Rushby permitieron identificar escenarios potenciales de confusión de modos durante la fase de diseño de los sistemas. Utilizando model checking (verificación de modelos), los investigadores pudieron explorar sistemáticamente todos los estados posibles del sistema e identificar situaciones en las que el comportamiento del sistema podría no coincidir con las expectativas razonables del operador (S007). Esto confirma que muchos casos de sorpresa por automatización son consecuencias previsibles de la complejidad del diseño, y no eventos aleatorios.

Factor	Impacto en el mecanismo	Manifestación
Complejidad del sistema	El modelo mental no cubre todos los modos y transiciones	El operador no prevé estados raros
Estados ocultos	El sistema opera en un modo invisible para el operador	Las acciones del operador no producen el resultado esperado
Retroalimentación	Información insuficiente sobre lo que el sistema ha comprendido	El operador no percibe el error de entrada hasta el momento de la sorpresa
Carga cognitiva	El estrés y la prisa reducen la precisión del modelo mental	Incluso operadores experimentados cometen errores
Experiencia y entrenamiento	La experiencia exitosa refuerza el modelo incompleto	El operador se vuelve confiado en una comprensión errónea

Un estudio en anestesiología demostró que los mismos fenómenos — sorpresa por automatización, confusión de modos y ilusión de control — se presentan en quirófanos donde se utilizan sistemas automatizados de gestión de la anestesia. Esto confirma la universalidad de los mecanismos de estas distorsiones cognitivas en distintas áreas críticas, donde el ser humano interactúa con automatizaciones complejas (S005).

La relación con el sesgo de confirmación es particularmente relevante: el operador, al haber formado un modelo mental, tiende a notar la información que lo confirma e ignorar las señales que lo contradicen. Esto refuerza la confianza en una comprensión errónea del sistema y hace que la sorpresa sea aún más inesperada cuando el sistema finalmente se comporta en contra de las expectativas.

Seguridad de la aviación, interacción humano-automatización

Casos reales: cuando la automatización falla

Escenario 1: Accidente aéreo por confusión de modos de vuelo

En 1996, la tripulación de un avión de pasajeros moderno programó el sistema de gestión de vuelo (FMS) para descender desde la altitud de crucero de 35 000 pies. Los pilotos pretendían establecer el modo de velocidad vertical de descenso a 800 pies por minuto, pero el sistema estaba en otro modo distinto al que ellos suponían (S005). En lugar de controlar la velocidad vertical, el piloto automático interpretó la entrada como ángulo de tangencia objetivo, y el avión comenzó a descender a 6 000 pies por minuto, siete veces más rápido de lo planeado.

La tripulación no notó el problema de inmediato, pues su modelo mental les indicaba que el sistema funcionaba correctamente. Los indicadores visuales en el panel de instrumentos eran ambiguos respecto al modo activo (S001). Cuando los pilotos finalmente percibieron la caída crítica, sus intentos de corregir la situación se vieron obstaculizados por la falta de comprensión de por qué el sistema se comportaba de esa forma. Se trata de un caso típico de sorpresa de automatización: el sistema operaba correctamente según su lógica, pero de una manera totalmente distinta a la esperada por la tripulación.

Las consecuencias fueron catastróficas. El avión se estrelló contra una cadena montañosa, fallecieron 229 personas. La investigación reveló que los sistemas modernos de gestión de vuelo poseen numerosos modos con sutiles diferencias en su lógica, y la transición entre ellos puede producirse automáticamente en función de condiciones que no siempre son evidentes para los pilotos. La cantidad de estados y transiciones posibles supera la capacidad humana de mantener un modelo completo en la memoria de trabajo.

Escenario 2: Ruta incorrecta por error de entrada y confianza ciega

El conductor utiliza la navegación GPS para viajar a una ciudad desconocida y, por accidente, selecciona una calle con nombre similar — “Calle Jardín” en lugar de “Pasaje Jardín”. El sistema de navegación, al recibir esa entrada, calcula correctamente la ruta óptima, pero hacia el destino equivocado (S002). El conductor sigue las indicaciones, confiando en la automatización y sin verificar la dirección en el mapa.

Se trata de un ejemplo clásico de GIGO — “basura en la entrada, basura en la salida”. El sistema funciona a la perfección, los algoritmos operan correctamente, pero el resultado es inútil porque los datos de origen estaban erróneos. El conductor puede no percibir el problema durante mucho tiempo, sobre todo en un entorno desconocido donde no dispone de un método independiente para comprobar la exactitud de la ruta. Cuando finalmente llega a un lugar distinto al previsto, se produce una sorpresa de automatización: “¿Por qué la navegación me trajo aquí?”

Este escenario muestra la interrelación entre el error de entrada y la sorpresa de automatización. El error se originó en el factor humano, pero fue amplificado por la automatización, que no ofreció retroalimentación suficiente para detectar el fallo en una fase temprana (S003). Los sistemas de navegación actuales rara vez solicitan una confirmación del tipo “¿Está seguro de que desea ir a Calle Jardín?” Asumen que la entrada del usuario es correcta y actúan en consecuencia.

Escenario 3: Anestesia insuficiente durante una operación

En el quirófano, el anestesista utiliza un sistema automatizado de control de la administración de anestesia. Estos sistemas disponen de varios modos de operación: control manual, mantenimiento automático de la concentración objetivo, modo de inducción rápida y modo de reducción gradual de la dosis. El médico cambia el sistema al modo que considera de mantenimiento de una concentración estable del fármaco, pero debido a la secuencia previa de acciones, el sistema está realmente en el modo de reducción gradual de la dosis (S005).

El anestesista, convencido de que el sistema mantiene un nivel estable de anestesia, dirige su atención a otros aspectos de la operación. Mientras tanto, la concentración del anestésico disminuye gradualmente. Cuando el paciente comienza a mostrar signos de anestesia insuficiente — taquicardia, aumento de la presión arterial, movimientos de extremidades — el médico experimenta una sorpresa de automatización. La confusión de modos en un momento crítico puede provocar retrasos en la adopción de medidas correctivas y complicaciones para el paciente.

Este ejemplo muestra que los problemas de sorpresa de automatización no se limitan a la aviación; son desafíos universales en cualquier sector donde la automatización compleja interactúa con un operador humano bajo condiciones de alta exigencia. Las investigaciones confirman que los mismos mecanismos cognitivos se manifiestan en la medicina, lo que subraya la necesidad de un enfoque interdisciplinario para abordar estos problemas (S004).

Escenario 4: Activación del modo “vacaciones” en lugar del modo “tarde” en una casa inteligente

El propietario de una casa inteligente moderna configuró un complejo sistema de automatización con numerosos escenarios: “mañana”, “día”, “tarde”, “noche”, “vacaciones”, “invitados”, entre otros. Cada escenario controla la iluminación, la temperatura, la seguridad y otros sistemas de manera distinta. Una tarde, activa el escenario “tarde”, esperando que se encienda una iluminación suave y que el sistema de calefacción establezca una temperatura cómoda.

En lugar de eso, todas las luces se apagan, la temperatura desciende al mínimo y se activa el modo de seguridad con alarma. Resulta que el sistema interpretó la secuencia de sus acciones previas — revisó los sensores de seguridad y cerró las ventanas — como preparación para activar el modo “vacaciones”. Su comando “tarde” fue percibido como confirmación de ese modo. Se trata de una sorpresa de automatización: el sistema se comportó lógicamente según su programación, pero de una forma totalmente distinta a la esperada por el usuario.

Este ejemplo cotidiano ilustra cómo el aumento de la complejidad de la automatización puede paradójicamente reducir su utilidad y previsibilidad (S006). Cuantos más modos y transiciones condicionales posee el sistema, más difícil resulta para el usuario mantener una modelo mental preciso de su comportamiento. El problema se agrava cuando los sistemas intentan ser “inteligentes” y anticipar las intenciones del usuario, lo que a menudo conduce a resultados inesperados y no deseados.