Una IA que decide quién recibe un préstamo, quién consigue un trabajo o quién es considerado sospechoso por un sistema de vigilancia no es neutral por el simple hecho de ser una máquina. Los sesgos en la inteligencia artificial son uno de los problemas más serios y menos discutidos de la tecnología actual, y entenderlos es fundamental para usar y supervisar la IA de forma responsable.
Sesgos en la inteligencia artificial: qué son exactamente
Un sesgo en IA es cualquier inclinación sistemática en las predicciones o decisiones de un modelo que produce resultados injustos o inexactos para ciertos grupos de personas o en ciertos contextos.
Los sesgos en inteligencia artificial no son accidentales ni raros. Son una consecuencia casi inevitable del proceso de desarrollo de modelos de IA, que aprenden de datos generados por sociedades humanas con sus propios prejuicios históricos, culturales y estructurales.
Por qué los sesgos en IA son especialmente peligrosos
Un prejuicio humano afecta a las decisiones de una persona. Un sesgo en un modelo de IA puede afectar a millones de decisiones simultáneamente, de forma automatizada y opaca. Esa escala y esa opacidad son lo que hace que los sesgos en la inteligencia artificial sean especialmente problemáticos.
Cómo se producen los sesgos en la inteligencia artificial
Hay múltiples fuentes de sesgo en el ciclo de desarrollo de un modelo de IA:
Sesgo en los datos de entrenamiento
Es la fuente más común. Si los datos con los que se entrena el modelo reflejan desigualdades históricas, el modelo las aprenderá. Un sistema de reconocimiento facial entrenado principalmente con imágenes de personas blancas funcionará peor para personas de otras etnias. Un sistema de evaluación de crédito entrenado con datos históricos de préstamos reflejará las discriminaciones que existían en ese mercado.
Sesgo de selección
Ocurre cuando los datos de entrenamiento no son representativos de la población a la que se aplicará el modelo. Si un sistema de diagnóstico médico se entrena principalmente con datos de pacientes occidentales, puede ser menos preciso para pacientes de otras partes del mundo.
Sesgo de confirmación
Los equipos de desarrollo pueden inconscientemente diseñar los modelos o interpretar los resultados de formas que confirman sus propias suposiciones previas, perpetuando creencias erróneas en el sistema.
Sesgo de medición
Cuando los datos que se usan para entrenar el modelo son una representación imperfecta de lo que realmente se quiere medir. Por ejemplo, usar el número de arrestos como proxy de la criminalidad perpetúa sesgos policiales existentes en las áreas que reciben más vigilancia.
Casos reales de sesgos en la inteligencia artificial
- COMPAS en el sistema judicial. Usado en tribunales estadounidenses para evaluar el riesgo de reincidencia, ProPublica documentó que el sistema clasificaba incorrectamente a personas negras como de alto riesgo el doble de veces que a personas blancas. Puedes leer el análisis en propublica.org.
- Reconocimiento facial con sesgo racial. Investigaciones del MIT Media Lab demostraron que los sistemas de reconocimiento facial comerciales tenían tasas de error de hasta el 34% para mujeres de piel oscura, frente al 1% para hombres de piel clara.
- Sistemas de contratación sesgados. El ya mencionado caso de Amazon, que desarrolló y abandonó un sistema de selección de CV porque aprendió a penalizar a las mujeres, es uno de los ejemplos más citados de sesgo de género en IA.
Cómo combatir los sesgos en la inteligencia artificial
Eliminar completamente los sesgos en IA es probablemente imposible, pero mitigarlos significativamente es factible con las herramientas y metodologías adecuadas:
- Diversidad en los datos de entrenamiento. Asegurarse de que los datos de entrenamiento son representativos de la diversidad de la población a la que se aplicará el modelo.
- Auditorías de sesgo regulares. Evaluar sistemáticamente el rendimiento del modelo en diferentes subgrupos de la población para detectar disparidades.
- Equipos de desarrollo diversos. Los equipos homogéneos tienden a tener puntos ciegos similares. La diversidad de género, etnia, formación y perspectiva en los equipos de IA reduce el riesgo de sesgos no detectados.
- Transparencia y explicabilidad. Los modelos explicables permiten identificar las variables que están influyendo en las decisiones, facilitando la detección de sesgos.
- Regulación y supervisión independiente. Los incentivos económicos pueden llevar a las empresas a priorizar el rendimiento sobre la equidad. La regulación independiente y las auditorías externas son complementos necesarios a la autorregulación.
Conclusión
Los sesgos en la inteligencia artificial no son un problema técnico secundario. Son un problema de justicia social con consecuencias reales para millones de personas. Entenderlos, detectarlos y combatirlos es una responsabilidad compartida entre quienes desarrollan la IA, quienes la regulan y quienes la usan.
Como usuarios de tecnología, exigir transparencia sobre cómo funcionan los sistemas que nos afectan es un derecho. En ExplicaIA seguimos comprometidos con una visión honesta y crítica de la inteligencia artificial.