Qué es la justicia algorítmica — y por qué no puede ser una sola
La justicia algorítmica es un conjunto de criterios matemáticos que determinan cuán imparcialmente un sistema toma decisiones respecto a diferentes grupos de personas. El problema comienza cuando descubrimos que no existe una sola definición, sino múltiples definiciones incompatibles de justicia, cada una intuitivamente correcta pero contradictoria con las demás. Más información en la sección Tecno-esoterismo.
Tres definiciones fundamentales de justicia que no pueden coexistir
Paridad demográfica (statistical parity) exige que las decisiones positivas se distribuyan por igual entre grupos: si el algoritmo aprueba el 30% de créditos en el grupo A, debe aprobar el 30% en el grupo B. Esta definición ignora diferencias en indicadores base — por ejemplo, si en un grupo hay objetivamente más solicitantes solventes.
Igualdad de oportunidades (equalized odds) exige que la probabilidad de una decisión positiva correcta (true positive rate) y la probabilidad de una decisión positiva falsa (false positive rate) sean idénticas para todos los grupos. Si una persona es realmente solvente, sus posibilidades de obtener aprobación no deben depender de su grupo.
Calibración (calibration) exige que la probabilidad predicha corresponda a la frecuencia real del evento en cada grupo. Si el algoritmo asigna a un solicitante 70% de probabilidad de devolver el crédito, entonces entre todos los solicitantes con esa puntuación, aproximadamente el 70% deberían devolverlo realmente.
| Criterio | Protege | Ignora |
|---|---|---|
| Paridad demográfica | Discriminación sistémica a nivel de resultados | Diferencias en indicadores base entre grupos |
| Igualdad de oportunidades | Justicia individual: mismas características → mismas oportunidades | Distribución general de oportunidades entre grupos |
| Calibración | Precisión de predicciones: «70%» significa exactamente 70% | Diferencias grupales en distribución de decisiones |
Las matemáticas no permiten satisfacer los tres criterios simultáneamente si los indicadores base difieren entre grupos. No es cuestión de un mejor algoritmo o más datos — es un teorema de imposibilidad (S001).
Cada definición apela a intuiciones morales diferentes, y cada intuición es válida en su contexto. Pero cuando los indicadores base (proporción de solventes, proporción de reincidentes, proporción de candidatos cualificados) difieren entre grupos, elegir un criterio viola automáticamente los otros.
Esto significa que la justicia de un sistema de IA no es un hecho objetivo que se pueda «calcular», sino una elección política: qué intuición moral estás dispuesto a sacrificar por las demás (S002).
Demostración matemática de la imposibilidad: teoremas de Hardt, Price y Srebro
Los teoremas fundamentales de imposibilidad en equidad algorítmica no son observaciones empíricas, sino demostraciones matemáticas rigurosas de la incompatibilidad estructural de criterios (S001). Demuestran que: bajo ciertas condiciones, es imposible satisfacer dos criterios de equidad simultáneamente, independientemente de lo bueno que sea el algoritmo que escribas.
📊 Teorema de incompatibilidad entre paridad demográfica e igualdad de oportunidades
Moritz Hardt, Eric Price y Nathan Srebro demostraron que: un clasificador binario no puede satisfacer simultáneamente la paridad demográfica y la igualdad de oportunidades si las tasas base de la clase positiva difieren entre grupos (S001).
- Paridad demográfica
- El algoritmo emite decisiones positivas con la misma frecuencia para todos los grupos: P(Ŷ=1|A=0) = P(Ŷ=1|A=1).
- Igualdad de oportunidades
- El algoritmo comete errores de forma equitativa para todos los grupos: P(Ŷ=1|Y=1,A=0) = P(Ŷ=1|Y=1,A=1) y P(Ŷ=1|Y=0,A=0) = P(Ŷ=1|Y=0,A=1).
Si las tasas base difieren — P(Y=1|A=0) ≠ P(Y=1|A=1) — entonces los requisitos conducen a ecuaciones contradictorias. Las únicas excepciones: un clasificador perfecto (siempre correcto) o completamente aleatorio (siempre adivina). Más detalles en la sección Mitos sobre la IA consciente.
Esto no es un error del algoritmo. Es un hecho matemático: si dos grupos tienen tasas base diferentes, no puedes simultáneamente emitir la misma proporción de decisiones positivas y equivocarte de forma equitativa.
🧾 Teorema de incompatibilidad entre calibración e igualdad de oportunidades
Jon Kleinberg, Sendhil Mullainathan y Manish Raghavan demostraron un resultado análogo para la calibración (S002). La calibración requiere que: si el algoritmo asigna una probabilidad de 0.7, entonces entre todos los casos con esa puntuación, la frecuencia real del resultado positivo debe ser 0.7 — para cada grupo por separado.
El teorema establece que: si las tasas base difieren entre grupos, un clasificador calibrado no puede satisfacer simultáneamente la igualdad de oportunidades (excepto en casos de predicción perfecta).
- La calibración requiere: las predicciones reflejan diferencias reales en las tasas base entre grupos.
- La igualdad de oportunidades requiere: ignorar estas diferencias al tomar decisiones.
- Resultado: contradicción fundamental, no resoluble matemáticamente.
🔬 COMPAS y ProPublica: cuando la teoría se encuentra con la práctica
El sistema COMPAS evalúa el riesgo de reincidencia para decisiones sobre libertad condicional. La investigación de ProPublica en 2016 reveló asimetría: entre afroamericanos que no reincidieron, el 44.9% fueron erróneamente clasificados como de alto riesgo; entre blancos — 23.5% (S001).
Los desarrolladores de Northpointe respondieron: el sistema está calibrado. Entre todos aquellos clasificados como de alto riesgo, la frecuencia real de reincidencia es igual entre grupos. Ambas partes tenían razón matemáticamente — es una consecuencia directa de los teoremas de imposibilidad.
| Criterio | ¿COMPAS lo satisfacía? | ¿Por qué? |
|---|---|---|
| Calibración | Sí | La probabilidad predicha coincidía con la frecuencia real en cada grupo |
| Igualdad de oportunidades | No | Los errores diferían entre grupos (44.9% vs 23.5%) |
| Paridad demográfica | No | La proporción de evaluaciones de alto riesgo difería entre grupos |
Las tasas base de reincidencia diferían entre grupos — es un hecho de los datos, no un error del algoritmo. Por tanto, era imposible satisfacer los tres criterios simultáneamente. El sistema funcionaba según lo diseñado, pero las matemáticas no permitían elegir una solución ideal.
Cinco argumentos de por qué el problema es real e irresoluble
Los escépticos pueden objetar que los teoremas de imposibilidad son matemática abstracta. Sin embargo, existen varios argumentos sólidos que demuestran que el problema tiene consecuencias prácticas directas. Más información en la sección Cómo funciona la inteligencia artificial.
🧪 Argumento 1: Los teoremas se aplican a cualquier algoritmo, incluidas las redes neuronales
Los teoremas de imposibilidad no dependen de la arquitectura del algoritmo (S001). Se aplican a regresión logística, árboles de decisión, redes neuronales, ensambles: cualquier sistema que produzca predicciones binarias o probabilidades.
Mejores algoritmos, más datos, modelos más complejos: nada de esto resolverá el problema. Mientras existan diferencias reales en las tasas base entre grupos, los teoremas siguen vigentes.
🧬 Argumento 2: Las tasas base difieren en la mayoría de aplicaciones reales
La condición crítica de los teoremas —diferencia en tasas base entre grupos— se cumple en la inmensa mayoría de aplicaciones prácticas de IA (S002).
- En medicina
- la prevalencia de enfermedades varía según edad, sexo, origen étnico
- En crédito
- las tasas históricas de impago difieren entre grupos socioeconómicos (S003)
- En justicia penal
- las tasas base de reincidencia varían entre grupos demográficos
Estas diferencias son a menudo resultado de discriminación histórica y barreras sistémicas. Pero independientemente de las causas, su existencia hace aplicables los teoremas.
📊 Argumento 3: La elección del criterio de equidad tiene consecuencias medibles
La decisión sobre qué criterio priorizar afecta directamente a la distribución de errores entre grupos.
| Criterio | Consecuencia para grupo con tasas base bajas | Consecuencia para grupo con tasas base altas |
|---|---|---|
| Paridad demográfica | Más falsos positivos | Más falsos negativos |
| Igualdad de oportunidades | Resultados desproporcionados a nivel grupal | Resultados desproporcionados a nivel grupal |
En diagnóstico médico: un falso negativo es una enfermedad no detectada, un falso positivo es un tratamiento innecesario. En crédito: un falso negativo niega oportunidades, un falso positivo crea riesgo para el prestamista (S005).
🧾 Argumento 4: Los marcos legales y regulatorios no están alineados
Diferentes jurisdicciones utilizan distintas definiciones de discriminación, que corresponden a criterios matemáticos incompatibles.
En EE.UU., la doctrina del "disparate impact" se aproxima a la paridad demográfica: un impacto desproporcionado sobre un grupo protegido puede considerarse discriminación, incluso si el algoritmo no utiliza atributos protegidos directamente. El GDPR europeo y la AI Act enfatizan la equidad individual y la transparencia, lo que se acerca más a los requisitos de calibración e igualdad de oportunidades.
Un sistema que cumple los requisitos de una jurisdicción puede violar los de otra, no por defectos técnicos, sino por la incompatibilidad matemática de los propios requisitos (S004).
🔎 Argumento 5: La elección oculta del criterio crea una ilusión de objetividad
La mayoría de sistemas comerciales de IA no revelan qué criterio de equidad priorizan, creando una ilusión de objetividad universal. Cuando una empresa afirma que su algoritmo es "justo", esa afirmación carece de sentido sin especificar: ¿justo según qué definición?
La falta de transparencia enmascara decisiones de valor fundamentales bajo una apariencia de neutralidad técnica. Esto es especialmente problemático en áreas críticas —justicia penal, sanidad, educación— donde las personas afectadas no tienen posibilidad de cuestionar o comprender qué compromisos se han adoptado.
La imposibilidad matemática de una equidad universal significa que cada sistema realiza una elección normativa que debe ser explícita y sujeta a debate público.
Mecanismos que convierten un hecho matemático en un problema social
Los teoremas de imposibilidad describen limitaciones matemáticas, pero su impacto social está mediado por mecanismos concretos a través de los cuales las decisiones algorítmicas afectan la vida de las personas. Comprender estos mecanismos es fundamental para evaluar las consecuencias reales. Más información en la sección Falacias lógicas.
🔁 Los bucles de retroalimentación amplifican las desigualdades históricas
Los algoritmos aprenden de datos históricos que reflejan desigualdades existentes. Si un sistema de scoring crediticio se entrena con datos donde ciertos grupos históricamente recibieron menos créditos (debido a discriminación o barreras estructurales), reproduce estos patrones.
Cuando el algoritmo toma decisiones, genera nuevos datos para reentrenar el modelo, cerrando un bucle de retroalimentación (S002). Cada elección de criterio de equidad tiene consecuencias: la calibración predice con precisión patrones históricos (incluidos los discriminatorios), la paridad demográfica genera más errores en ambos grupos, la igualdad de oportunidades produce resultados desproporcionados a nivel grupal. Los bucles amplifican estas consecuencias con el tiempo.
| Criterio de optimización | Mecanismo de amplificación | Efecto a largo plazo |
|---|---|---|
| Calibración | Reproduce patrones históricos con precisión | La discriminación se vuelve "predecible" y legítima |
| Paridad demográfica | Aumenta errores en ambos grupos | Pérdida de confianza en el sistema, rechazos impredecibles |
| Igualdad de oportunidades | Crea resultados desproporcionados a nivel grupal | Desigualdad visible en resultados, tensión social |
🧬 Las variables proxy eluden la protección contra la discriminación directa
Incluso si el algoritmo no utiliza atributos protegidos (raza, género, edad) directamente, emplea variables proxy fuertemente correlacionadas con estos atributos. El código postal se correlaciona con la composición racial del barrio, el nombre puede indicar origen étnico, el historial de compras se correlaciona con el género.
Los algoritmos de aprendizaje automático descubren automáticamente estas correlaciones y las utilizan para predicciones (S001). Un sistema formalmente "ciego a grupos" toma decisiones basadas en pertenencia grupal a través de proxies. Los teoremas de imposibilidad se aplican también aquí: si las variables proxy permiten distinguir grupos, las limitaciones matemáticas sobre la satisfacción simultánea de criterios de equidad permanecen vigentes.
Eliminar variables proxy puede reducir la precisión de las predicciones, pero no resuelve el problema fundamental de incompatibilidad de criterios. Es una elección entre discriminación visible y oculta.
🧷 Dependencia contextual: una decisión, diferentes consecuencias
Una misma decisión algorítmica tiene consecuencias diferentes para distintos grupos debido a diferencias en el contexto social y económico. Denegar un crédito a una persona con ingresos altos es un inconveniente. Para alguien al borde de la pobreza puede significar la imposibilidad de pagar atención médica o educación.
Un falso positivo de alto riesgo de reincidencia para alguien con fuerte apoyo social puede ser impugnado. Para alguien sin recursos puede significar años adicionales de prisión (S003). Los criterios matemáticos de equidad operan con probabilidades y tasas de error, pero no consideran diferencias en la gravedad de las consecuencias.
- Un sistema puede ser "justo" en términos de igualdad de oportunidades (mismas tasas de error)
- Pero generar daño desproporcionado si las consecuencias de los errores difieren entre grupos
- Esta es una limitación del enfoque puramente matemático de la equidad
- Requiere considerar el contexto, que el algoritmo no puede formalizar
La conexión entre estos mecanismos y problemas más amplios de ética de IA se examina en los materiales sobre ética y seguridad de IA. Bucles de retroalimentación y variables proxy similares operan en sistemas de reconocimiento facial biométrico, donde los datos históricos contienen capas aún más profundas de desigualdad estructural.
Trampas cognitivas que impiden comprender el problema
Las discusiones sobre justicia algorítmica suelen quedar atrapadas en sesgos cognitivos que bloquean la comprensión de la naturaleza fundamental del problema. Reconocer estas trampas es una condición crítica para un debate productivo. Más información en la sección Herramientas de pensamiento.
🧩 Trampa 1: La ilusión de la solución técnica a un problema normativo
Un error común: un algoritmo suficientemente sofisticado o un conjunto de datos completo resolverán el problema de la justicia universal. Esto es una confusión categorial: intentar resolver una cuestión normativa (¿qué definición de justicia es correcta?) con medios técnicos (mejor algoritmo). Los teoremas de imposibilidad (S001) demuestran que el problema no está en la calidad del código, sino en la incompatibilidad de las propias definiciones.
La trampa es peligrosa porque crea una falsa sensación de progreso. Las empresas invierten en "mejorar la justicia" sin reconocer que están eligiendo entre criterios incompatibles. Esta elección se disfraza de optimización técnica, evitando la cuestión normativa: ¿la justicia de quién priorizamos y por qué?
La optimización técnica no puede sustituir una decisión normativa. Un algoritmo no puede ser justo: solo puede serlo la elección que incorporamos en él.
🕳️ Trampa 2: La falsa dicotomía "justicia vs precisión"
El debate suele plantearse como un compromiso: la justicia requiere sacrificar precisión. Esta es una falsa dicotomía que oculta el problema real. El compromiso no es entre justicia y precisión, sino entre diferentes definiciones de justicia (S002).
Un sistema puede ser máximamente preciso (mínimo error global) y satisfacer un criterio de justicia, pero violar otro. Enmarcar esto como "justicia vs precisión" permite evitar la conversación difícil: ¿los intereses de quién priorizamos?
- Un sistema puede estar calibrado (las predicciones corresponden a la realidad) y al mismo tiempo violar la igualdad de errores entre grupos
- Un sistema puede tener errores iguales entre grupos y al mismo tiempo estar descalibrado para las minorías
- Un sistema puede minimizar el error global y maximizar la dispersión de errores entre grupos
⚠️ Trampa 3: Naturalización de las tasas base
Cuando observamos diferencias en las tasas base entre grupos (diferentes tasas de reincidencia, diferentes ingresos), surge una tendencia cognitiva a naturalizarlas: percibirlas como naturales, inevitables, reflejo de diferencias reales. Esto ignora que las tasas base suelen ser resultado de discriminación histórica y barreras sistémicas.
La naturalización lleva a la conclusión de que la calibración es el único criterio razonable: el algoritmo debe predecir con precisión la realidad, sea cual sea. Esto perpetúa las injusticias, porque la "realidad" misma es producto de sistemas injustos (S003).
- Naturalización
- Error cognitivo: percibir un hecho social/histórico como fenómeno natural. Ejemplo: "El grupo A tiene mayor tasa de reincidencia, por tanto el algoritmo debe reflejarlo".
- Distinción crítica
- Hecho descriptivo (las tasas base difieren) ≠ conclusión normativa (los algoritmos deben reproducir estas diferencias). Lo primero es una observación, lo segundo una elección política.
- Trampa para el desarrollador
- La calibración parece "objetiva" y "neutral", pero es una máscara para una elección: reproducir injusticias históricas o corregirlas.
🔄 Trampa 4: Confusión de niveles de análisis
A menudo los argumentos saltan entre el nivel individual (¿es justa la decisión para una persona concreta?) y el nivel grupal (¿es justa la distribución entre grupos?). Estos niveles tienen diferentes criterios de justicia, y mezclarlos crea la ilusión de contradicción donde no la hay.
Un sistema puede ser justo a nivel individual (cada decisión se deriva lógicamente de los datos) e injusto a nivel grupal (los grupos obtienen resultados diferentes). O viceversa: justo a nivel grupal (proporciones iguales) e injusto a nivel individual (ignora diferencias relevantes). El pensamiento crítico requiere especificar explícitamente en qué nivel hablamos de justicia (S004).
🎯 Trampa 5: Buscar el criterio "correcto" en lugar de reconocer la elección
La trampa más profunda: creer que existe un criterio "correcto" de justicia que simplemente aún no hemos encontrado. Esto conduce a debates interminables sobre qué criterio es mejor, en lugar de reconocer que elegir un criterio es una decisión política, no un descubrimiento técnico.
Los diferentes criterios de justicia reflejan valores diferentes: igualdad de oportunidades, igualdad de resultados, respeto a la autonomía, minimización del daño. No existe una forma matemática de elegir entre ellos. Reconocer esto no es una derrota, sino el inicio de una conversación honesta: quién toma la decisión, basándose en qué valores, y quién asume las consecuencias (S005).
Buscar un criterio "objetivo" de justicia es un intento de evadir la responsabilidad de elegir. La elección siempre existe. La cuestión es solo quién la hace y si lo reconoce.
Protocolo de verificación: cómo evaluar la equidad de un sistema de IA en siete pasos
Cuando una organización implementa un sistema de IA para la toma de decisiones, es fundamental realizar una auditoría de equidad. Este protocolo se basa en la comprensión de los teoremas de imposibilidad (S001) y ayuda a identificar compromisos ocultos.
✅ Paso 1: Identificar grupos protegidos e indicadores base
Determine qué grupos se ven afectados por las decisiones del sistema (raza, género, edad, estatus socioeconómico). Mida los indicadores base de la variable objetivo en cada grupo. Más información en la sección Karma y reencarnación.
En un sistema de scoring crediticio: ¿cuál es la tasa real de impago en cada grupo? En diagnóstico médico: ¿cuál es la prevalencia de la enfermedad? Si los indicadores base difieren, los teoremas de imposibilidad son aplicables (S002), y el sistema no puede satisfacer simultáneamente todos los criterios.
- Identificar grupos demográficos relevantes para el contexto
- Recopilar datos sobre resultados reales en cada grupo
- Calcular tasas base (prevalence rate)
- Documentar fuente de datos y período de recopilación
✅ Paso 2: Elegir criterios de equidad y nombrar explícitamente los compromisos
No existe una definición universal de equidad (S001). Elija 2–3 criterios relevantes para su contexto: paridad demográfica, igualdad de oportunidades, calibración, paridad predictiva.
Cada elección es una decisión política, no técnica. Documente por qué eligió estos criterios y qué alternativas rechazó.
| Criterio | Qué verifica | Cuándo aplicar |
|---|---|---|
| Paridad demográfica | Proporción idéntica de decisiones positivas entre grupos | Cuando no hay información sobre diferencias base |
| Igualdad de oportunidades | Proporción idéntica de errores entre grupos | Cuando los indicadores base difieren |
| Calibración | Probabilidad de resultado positivo idéntica con puntuación idéntica | Cuando se necesita interpretabilidad de decisiones |
✅ Paso 3: Medir métricas e identificar conflictos
Calcule las métricas seleccionadas para cada grupo. Compare resultados: ¿dónde el sistema satisface los criterios y dónde los viola?
Si el sistema satisface simultáneamente paridad demográfica e igualdad de oportunidades, es una señal: o los indicadores base son idénticos (raro), o las métricas están mal calculadas. Verifique los cálculos.
✅ Paso 4: Evaluar el coste de los compromisos
Cada elección de criterio tiene un precio (S005). Si elige paridad demográfica, sacrifica precisión para uno de los grupos. Si elige igualdad de oportunidades, acepta diferentes proporciones de decisiones positivas.
Cuantifique este coste: ¿cuántos puntos porcentuales caerá la precisión? ¿Cuántas personas recibirán una decisión incorrecta? ¿Quién se verá más perjudicado?
✅ Paso 5: Verificar si el sistema oculta discriminación mediante variables proxy
El sistema puede ser equitativo según criterios explícitos, pero usar indicadores indirectos (proxy) para reproducir discriminación. Por ejemplo, el código postal a menudo correlaciona con raza.
Analice las características que usa el modelo. ¿Cuáles pueden ser proxy de características protegidas? Elimine o reinterprete tales características.
✅ Paso 6: Realizar auditoría de trampas cognitivas
Las personas que implementan el sistema a menudo creen que las matemáticas son neutrales. Verifique si ha caído en la trampa del determinismo tecnológico: la creencia de que el algoritmo es más justo que el humano por definición.
Compare las decisiones del sistema con decisiones humanas sobre los mismos datos. ¿Dónde es mejor el sistema? ¿Dónde es peor? ¿Por qué eligió precisamente este sistema?
✅ Paso 7: Documentar y reauditar
La equidad no es una verificación única. El sistema se degrada: los datos cambian, los grupos se desplazan, los criterios quedan obsoletos. Reaudite el sistema cada 6–12 meses.
Documente todas las decisiones: qué criterios eligió, por qué, qué compromisos aceptó, quién es responsable. Esto crea responsabilidad y ayuda a evitar errores éticos al escalar.
La equidad de un sistema de IA no es un problema técnico que pueda resolverse una vez. Es un proceso continuo de negociación entre matemáticas, política y valores organizacionales. El protocolo ayuda a hacer estas negociaciones visibles y honestas.
