Un médico que usa un sistema de IA para diagnosticar una enfermedad necesita saber por qué el sistema dice que hay un tumor. Un juez que recibe una recomendación de IA sobre una sentencia necesita entender en qué se basa. Un banco que rechaza un préstamo basándose en IA debe poder explicar los motivos al cliente. La IA explicable, o XAI por sus siglas en inglés, es la respuesta técnica a una exigencia ética y legal fundamental.
IA explicable: qué significa y por qué importa ahora
La IA explicable es el campo de la inteligencia artificial que desarrolla técnicas y métodos para hacer comprensibles las decisiones y predicciones de los modelos de machine learning, especialmente de los modelos más complejos que actúan como cajas negras.
El término «caja negra» describe perfectamente el problema: sabes qué datos entran y qué decisión sale, pero no entiendes qué ocurre dentro. Una red neuronal profunda con millones de parámetros puede tomar decisiones extraordinariamente precisas sin que nadie, incluidos sus creadores, pueda explicar exactamente por qué tomó cada decisión específica.
Esto era aceptable cuando la IA se usaba para recomendar películas o filtrar spam. Cuando la IA decide quién recibe tratamiento médico, quién accede a crédito o quién pasa una selección de empleo, la opacidad se vuelve inaceptable desde el punto de vista ético y legal.
El dilema entre precisión y explicabilidad
Uno de los desafíos más importantes de la IA explicable es que, en general, los modelos más precisos son también los menos explicables. Los árboles de decisión simples son completamente interpretables pero menos precisos. Las redes neuronales profundas son mucho más precisas pero prácticamente imposibles de interpretar directamente.
La IA explicable busca superar este dilema desarrollando técnicas que hacen comprensibles los modelos complejos sin sacrificar demasiada precisión.
Las principales técnicas de IA explicable
LIME: explicaciones locales aproximadas
LIME, que significa Locally Interpretable Model-agnostic Explanations, genera explicaciones de predicciones individuales creando un modelo simple e interpretable que aproxima el comportamiento del modelo complejo en el entorno de esa predicción específica.
Por ejemplo, si una red neuronal clasifica una imagen médica como maligna, LIME puede identificar qué regiones de la imagen contribuyeron más a esa clasificación, mostrando al médico dónde el sistema está «mirando».
SHAP: contribución de cada característica
SHAP, basado en los valores de Shapley de la teoría de juegos, calcula cuánto contribuye cada característica de entrada a la predicción para un ejemplo específico. Permite responder preguntas como: «¿Cuánto influyó la edad, el historial crediticio y los ingresos en el rechazo de este préstamo?»
Attention visualization en transformers
En los modelos basados en transformers, el mecanismo de atención proporciona información sobre qué partes del texto de entrada el modelo consideró más relevantes para generar cada parte de la respuesta. Aunque la interpretación de los pesos de atención como explicaciones tiene limitaciones, son una forma de inspeccionar el comportamiento del modelo.
Modelos inherentemente interpretables
Otra aproximación a la IA explicable es usar modelos que son interpretables por diseño: árboles de decisión, regresión logística, modelos lineales. Cuando la precisión de estos modelos es suficiente para la tarea, son preferibles a los modelos de caja negra en contextos de alto impacto.
Puedes explorar las herramientas de IA explicable más usadas en shap.readthedocs.io.
El marco regulatorio que exige la IA explicable
El RGPD europeo establece el derecho a no ser objeto de decisiones automatizadas exclusivamente y el derecho a recibir información significativa sobre la lógica aplicada en las decisiones automatizadas que afecten al ciudadano.
La Ley de IA de la UE va más lejos, exigiendo que los sistemas de IA de alto riesgo proporcionen explicaciones de sus decisiones a los usuarios afectados y documentación detallada sobre cómo funcionan.
Estas obligaciones regulatorias están convirtiendo la IA explicable de una aspiración técnica en un requisito legal para muchas aplicaciones.
IA explicable en aplicaciones reales
- Medicina: Los sistemas de diagnóstico con IA que muestran qué regiones de una imagen influyeron en el diagnóstico ayudan a los médicos a verificar las conclusiones del sistema y a aprender de él.
- Banca y crédito: Los sistemas que explican en lenguaje comprensible qué factores influyeron en la decisión de crédito no solo cumplen la regulación sino que permiten al cliente conocer qué puede mejorar.
- Recursos humanos: Los sistemas de selección de personal que muestran qué competencias o experiencias valoraron positivamente o negativamente en cada candidato permiten detectar sesgos y dar feedback a los candidatos.
Conclusión
La IA explicable no es solo una aspiración técnica o un requisito regulatorio. Es una condición necesaria para que la inteligencia artificial pueda usarse éticamente en decisiones que afectan a la vida de las personas.
Los modelos de IA que toman decisiones sin poder justificarlas son incompatibles con los principios de transparencia, responsabilidad y respeto a los derechos fundamentales que deben guiar el desarrollo tecnológico. En ExplicaIA seguimos explorando cómo la IA puede ser poderosa y responsable al mismo tiempo.