Un sistema de reconocimiento facial que falla tres veces más con mujeres de piel oscura que con hombres de piel clara. Un algoritmo de selección de personal que penaliza los currículums que mencionan la palabra «femenino». Un modelo de predicción de reincidencia criminal que asigna mayor riesgo a personas de ciertos grupos étnicos. Estos no son casos hipotéticos: son incidentes documentados que muestran uno de los problemas más serios de la IA actual.
Sesgos algorítmicos: por qué la IA hereda los prejuicios humanos
Los sesgos algorítmicos son errores sistemáticos en los sistemas de inteligencia artificial que producen resultados injustos o discriminatorios para ciertos grupos de personas. No surgen porque los algoritmos sean maliciosos, sino porque los sistemas de IA aprenden de datos generados por humanos, y esos datos reflejan los prejuicios, desigualdades e injusticias de las sociedades que los produjeron.
Si durante décadas las mujeres estuvieron subrepresentadas en puestos directivos y eso se refleja en los datos de contratación histórica, un modelo de IA entrenado para predecir el éxito profesional aprenderá que ser hombre es un predictor de éxito. No porque el modelo sea sexista por diseño, sino porque los datos lo son.
Esta herencia de los sesgos humanos en los sistemas de IA es un problema fundamental que no desaparece con más datos ni con modelos más sofisticados si no se aborda explícitamente.
Tipos de sesgos algorítmicos
Los sesgos algorítmicos pueden originarse en diferentes fases del desarrollo de un sistema de IA. El sesgo de selección ocurre cuando los datos de entrenamiento no representan adecuadamente a todos los grupos relevantes. El sesgo de medición surge cuando el indicador que el modelo aprende a predecir no mide realmente lo que se quiere medir. El sesgo de agregación aparece cuando un modelo único no capta las diferencias entre subgrupos que necesitarían modelos o ajustes específicos.
Casos documentados de sesgos algorítmicos
COMPAS: predicción de reincidencia criminal
COMPAS es un sistema de puntuación de riesgo usado en el sistema judicial estadounidense para predecir la probabilidad de reincidencia de personas condenadas, influyendo en decisiones sobre libertad condicional.
Un análisis de ProPublica en 2016 mostró que el sistema etiquetaba a personas afroamericanas como de alto riesgo de reincidencia con el doble de frecuencia que a personas blancas, incluso cuando ambas tenían perfiles similares. Las personas blancas, a su vez, eran clasificadas erróneamente como de bajo riesgo con mayor frecuencia.
Amazon y el algoritmo de selección de personal
Amazon desarrolló internamente un sistema de IA para filtrar currículums automáticamente. El sistema aprendió a penalizar currículums que contenían la palabra «femenino» o que mencionaban universidades femeninas, porque el historial de contratación que usó como datos de entrenamiento mostraba que los ingenieros contratados eran mayoritariamente hombres. Amazon descartó el sistema cuando descubrió este problema.
Sesgos en el reconocimiento facial
La investigadora del MIT Media Lab Joy Buolamwini demostró que los sistemas de reconocimiento facial de las principales empresas tecnológicas tenían tasas de error significativamente más altas para mujeres de piel oscura que para hombres de piel clara, con diferencias de hasta 34 puntos porcentuales. Puedes explorar su investigación en gendershades.org.
Por qué los sesgos algorítmicos son especialmente problemáticos
Los sesgos humanos en procesos manuales tienen limitaciones naturales: un empleado de RRHH con prejuicios inconsistentes cometerá errores en ambas direcciones. Los sesgos algorítmicos son sistemáticos, escalables y opacos: el mismo sesgo se aplica de forma consistente a millones de decisiones y es difícil de detectar porque el algoritmo parece objetivo.
Cuando los sesgos algorítmicos se despliegan en decisiones de alto impacto como crédito, empleo, justicia o sanidad, tienen consecuencias reales y graves para los grupos afectados.
Cómo detectar y mitigar los sesgos algorítmicos
- Auditorías de equidad: Analizar sistemáticamente el rendimiento del modelo desagregado por grupos demográficos para detectar disparidades antes de desplegar el sistema.
- Datos representativos: Construir conjuntos de datos de entrenamiento que representen adecuadamente a todos los grupos relevantes, incluyendo grupos históricamente subrepresentados.
- Métricas de equidad: Definir explícitamente qué se entiende por equidad en el contexto específico del sistema y optimizar para esa métrica, no solo para la precisión media.
- Supervisión humana: Mantener supervisión humana en decisiones de alto impacto, especialmente cuando afectan a derechos fundamentales.
Conclusión
Los sesgos algorítmicos son uno de los problemas más serios y más documentados de la inteligencia artificial actual. No son inevitables pero requieren esfuerzo activo, conciencia y compromiso para detectarlos y mitigarlos.
La IA puede ser una herramienta poderosa para reducir ciertos tipos de sesgo humano, pero solo si sus creadores se comprometen activamente con la equidad como objetivo de diseño y no como reflexión posterior. En ExplicaIA seguimos analizando tanto las capacidades como los límites y riesgos de la inteligencia artificial con la honestidad que te mereces.