Hay un problema que afecta a prácticamente todos los proyectos de machine learning en algún momento: el overfitting o sobreajuste. Un modelo que sufre overfitting ha memorizado los datos de entrenamiento en lugar de aprender los patrones generales subyacentes, y falla cuando se enfrenta a datos nuevos que no ha visto antes. Es como estudiar los exámenes de años anteriores sin entender el tema: te va bien en los exámenes conocidos pero suspendes cuando cambian las preguntas.
Qué es el overfitting en machine learning
El overfitting o sobreajuste es cuando un modelo de machine learning aprende demasiado bien los datos de entrenamiento, capturando no solo los patrones genuinos sino también el ruido y las particularidades específicas de esa muestra de datos. El resultado es un modelo que tiene un rendimiento excelente en los datos de entrenamiento pero mucho peor en datos nuevos.
El overfitting ocurre típicamente cuando el modelo es demasiado complejo para la cantidad de datos disponibles: tiene demasiados parámetros que puede usar para «memorizar» los ejemplos de entrenamiento en lugar de generalizar.
La analogía más útil es la de un estudiante que para un examen de historia memoriza las respuestas exactas de los exámenes de años anteriores sin entender los conceptos subyacentes. Si el examen nuevo hace preguntas similares pero formuladas de forma diferente, fallará.
Cómo detectar el overfitting
La señal más clara de overfitting es una gran diferencia entre el rendimiento del modelo en los datos de entrenamiento y en los datos de validación o prueba. Si un modelo tiene un 98% de precisión en entrenamiento y solo un 70% en validación, probablemente está sufriendo overfitting.
La práctica estándar para detectar el overfitting es dividir los datos en tres conjuntos: entrenamiento, validación y prueba. El conjunto de entrenamiento se usa para ajustar los parámetros del modelo. El de validación para detectar el overfitting durante el desarrollo. Y el de prueba para la evaluación final del rendimiento real.
Las técnicas más efectivas para evitar el overfitting
- Regularización: Las técnicas de regularización añaden un término de penalización a la función de pérdida que desincentiva los modelos demasiado complejos. L1 y L2 son las formas más comunes de regularización.
- Dropout: En redes neuronales profundas, el dropout desactiva aleatoriamente un porcentaje de las neuronas durante cada paso de entrenamiento, forzando al modelo a desarrollar representaciones robustas que no dependen de ninguna neurona específica.
- Data augmentation: Aumentar artificialmente el tamaño del conjunto de entrenamiento generando variaciones de los datos existentes, como rotaciones o cambios de brillo en imágenes, reduce el overfitting al proporcionar más variedad de ejemplos.
- Early stopping: Detener el entrenamiento cuando el rendimiento en el conjunto de validación empieza a degradarse, aunque el rendimiento en entrenamiento siga mejorando.
Puedes explorar técnicas anti-overfitting en la documentación de scikit-learn en scikit-learn.org/stable/modules/cross_validation.
Conclusión
El overfitting es uno de los problemas más comunes y más importantes del machine learning. Entender qué es y cómo prevenirlo es fundamental para desarrollar modelos que funcionen bien en el mundo real y no solo en los datos con que fueron entrenados.
En ExplicaIA seguimos explicando los conceptos técnicos de la inteligencia artificial de la forma más clara y aplicada posible, para que puedas entender tanto la teoría como la práctica.