Surapprentissage et généralisation

Le surapprentissage (ou overfitting) et la généralisation sont des concepts fondamentaux dans l’évaluation et la formation des modèles d’apprentissage automatique. Le surapprentissage se produit lorsque le modèle s’adapte trop étroitement aux données d’entraînement, capturant même les fluctuations aléatoires et les bruits, ce qui nuit à sa capacité à bien performer sur des données nouvelles et non vues. En revanche, une bonne généralisation signifie que le modèle est capable de tirer des conclusions à partir des données d’entraînement tout en étant suffisamment flexible pour effectuer des prédictions précises sur de nouvelles données.

Régularisation L1 (Lasso)

Ajoute une pénalité proportionnelle à la valeur absolue des coefficients des paramètres du modèle. Cela peut entraîner la suppression de certaines caractéristiques (coefficients nuls), ce qui permet de réaliser une forme de sélection de variables.

Régularisation L2 (Ridge)

Ajoute une pénalité proportionnelle au carré des coefficients des paramètres. Contrairement à L1, cette technique ne supprime pas les variables, mais réduit leur impact, empêchant les coefficients de prendre des valeurs trop grandes.

Régularisation ElasticNet

Combine les régularisations L1 et L2 pour bénéficier des avantages des deux. Elle est particulièrement utile lorsque le nombre de caractéristiques est très supérieur au nombre d’échantillons.

Early Stopping

Le early stopping est une technique qui permet d’interrompre l’entraînement du modèle avant qu’il ne commence à surapprendre. Cette méthode consiste à surveiller l’erreur sur un ensemble de validation pendant l’entraînement. Si l’erreur de validation commence à augmenter, l’entraînement est arrêté, même si l’erreur d’entraînement continue de diminuer. Cela permet d’éviter que le modèle ne s’ajuste trop finement aux données d’entraînement et qu’il perde sa capacité de généralisation.