Régression linéaire simple et multiple

La régression linéaire est un modèle statistique utilisé pour analyser la relation entre une variable dépendante (ou cible) et une ou plusieurs variables indépendantes (ou prédicteurs). Cette méthode est très utilisée en analyse prédictive et en apprentissage automatique.

Régression Linéaire Simple

La régression linéaire simple consiste à modéliser la relation entre une seule variable dépendante $y$ et une seule variable indépendante $x$. Le modèle linéaire est représenté par l’équation :

$$y = \beta_0 + \beta_1 x + \epsilon$$

où :

• $y$ : variable dépendante (cible),

• $x$ : variable indépendante (prédicteur),

• $\beta_0$ : intercept (ordonnée à l’origine),

• $\beta_1$ : pente (coefficient de régression),

• $\epsilon$ : erreur (terme aléatoire ou bruit).

L’objectif de la régression linéaire simple est de trouver les valeurs des paramètres $\beta_0$ et $\beta_1$ qui minimisent la somme des carrés des erreurs (SSE, Sum of Squared Errors).

Hypothèses de la Régression Linéaire Simple

• Linéarité : La relation entre $x$ et $y$ est linéaire.

• Indépendance : Les observations sont indépendantes.

• Homoscedasticité : La variance des erreurs est constante pour toutes les valeurs de $x$.

• Normalité des erreurs : Les erreurs doivent suivre une distribution normale.

Interprétation des Paramètres

• $\beta_0$ (l’intercept) : C’est la valeur de $y$ lorsque $x = 0$.

• $\beta_1$ (la pente) : C’est la variation de $y$ associée à une unité de variation de $x$. Si $\beta_1$ est positif, cela signifie que la relation entre $x$ et $y$ est positive (augmentation de $x$ entraîne une augmentation de $y$).

Régression Linéaire Multiple

La régression linéaire multiple étend la régression linéaire simple à plusieurs variables indépendantes. Elle est utilisée pour prédire une variable dépendante $y$ à partir de plusieurs variables indépendantes $x_1, x_2, \dots, x_n$.

Le modèle de régression linéaire multiple est représenté par l’équation :

$$y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \dots + \beta_n x_n + \epsilon$$

où :

• $y$ : variable dépendante,

• $x_1, x_2, \dots, x_n$ : variables indépendantes,

• $\beta_0$ : intercept,

• $\beta_1, \beta_2, \dots, \beta_n$ : coefficients des variables indépendantes,

• $\epsilon$ : erreur.

L’objectif est également de trouver les paramètres $\beta_0, \beta_1, \dots, \beta_n$ qui minimisent la somme des carrés des erreurs.

Hypothèses de la Régression Linéaire Multiple

Les hypothèses restent similaires à celles de la régression linéaire simple, mais il faut aussi considérer les relations entre les variables indépendantes :

• Multicolinéarité : Les variables indépendantes ne doivent pas être fortement corrélées entre elles. Si elles le sont, cela peut rendre l’estimation des coefficients peu fiable.

Interprétation des Paramètres

• $\beta_0$ (intercept) : C’est la valeur prédite de $y$ lorsque toutes les variables $x_1, x_2, \dots, x_n$ sont égales à zéro.

• $\beta_1, \dots, \beta_n$ : Ce sont les effets des variables $x_1, x_2, \dots, x_n$ sur $y$, tout en maintenant les autres variables constantes. Par exemple, $\beta_1$ représente la variation de $y$ lorsque $x_1$ change de 1 unité, en gardant les autres variables constantes.

Évaluation de la Régression Linéaire

Voici quelques mesures de performance courantes utilisées pour évaluer la qualité d’un modèle de régression linéaire :

1. $R^2$ (Coefficient de Détermination) : Cette mesure indique la proportion de la variance de la variable dépendante qui est expliquée par les variables indépendantes. Plus $R^2$ est proche de 1, meilleur est le modèle.

   $$R^2 = 1 – \frac{\sum_{i=1}^{n} (y_i – \hat{y}_i)^2}{\sum_{i=1}^{n} (y_i – \bar{y})^2}$$

   où $\hat{y}_i$ est la valeur prédite, et $\bar{y}$ est la moyenne de $y$.

2. Erreur quadratique moyenne (RMSE) : Elle mesure la différence entre les valeurs observées et les valeurs prédites. Plus elle est faible, mieux c’est.

   $$RMSE = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i – \hat{y}_i)^2}$$

3. Erreur absolue moyenne (MAE) : C’est la moyenne des erreurs absolues entre les valeurs observées et les valeurs prédites.

   $$MAE = \frac{1}{n} \sum_{i=1}^{n} |y_i – \hat{y}_i|$$