Critères d'information AIC et BIC

Les critères d’information AIC (Akaike Information Criterion) et BIC (Bayesian Information Criterion) sont des mesures statistiques utilisées pour comparer la qualité de différents modèles statistiques tout en pénalisant la complexité du modèle. Ces critères aident à éviter le surapprentissage (overfitting) tout en cherchant à obtenir une bonne précision de prédiction.

1. Akaike Information Criterion (AIC)

L’AIC est un critère basé sur l’entropie qui évalue la qualité d’un modèle statistique. Plus l’AIC est faible, meilleur est le modèle en termes de compromis entre la qualité de l’ajustement et la complexité du modèle.

Formule de l’AIC :

$$AIC = 2k – 2\ln(L)$$

Où :

• $k$ : le nombre de paramètres estimés dans le modèle (incluant les coefficients).

• $L$ : la vraisemblance maximale du modèle (probabilité d’obtenir les données observées en fonction du modèle).

Interprétation de l’AIC :

• Un AIC plus faible indique un meilleur modèle, c’est-à-dire un modèle qui équilibre mieux la qualité de l’ajustement et la complexité.

• Un AIC plus élevé indique un modèle plus complexe qui ne justifie pas son ajustement aux données.

2. Bayesian Information Criterion (BIC)

Le BIC, également appelé Schwarz Criterion, est similaire à l’AIC, mais il inclut une pénalisation plus forte de la complexité du modèle (le nombre de paramètres). Cela fait du BIC une option préférée lorsque l’on souhaite privilégier des modèles plus simples.

Formule du BIC :

$$BIC = \ln(n)k – 2\ln(L)$$

Où :

• $n$ : le nombre d’observations dans le jeu de données.

• $k$ : le nombre de paramètres estimés dans le modèle.

• $L$ : la vraisemblance maximale du modèle.

Interprétation du BIC :

• Comme l’AIC, un BIC plus faible indique un meilleur modèle.

• Le BIC pénalise plus fortement les modèles avec un grand nombre de paramètres. Par conséquent, il tend à favoriser des modèles plus simples par rapport à l’AIC, surtout lorsqu’il y a un grand nombre d’observations.

3. Comparaison entre AIC et BIC

• Pénalisation de la complexité : L’AIC et le BIC pénalisent la complexité d’un modèle (le nombre de paramètres). Cependant, le BIC applique une pénalisation plus forte que l’AIC, surtout quand le nombre d’observations ($n$) est élevé.

• Utilisation : L’AIC est souvent préféré lorsque l’on cherche à minimiser l’erreur de prédiction, tandis que le BIC est plus utile pour favoriser des modèles plus simples, en particulier quand le nombre d’observations est important.