SVM, SVM, SVM, SVM, SVM

Introduction

Le Support Vector Machine (SVM) est un algorithme de classification supervisée très performant, souvent utilisé dans des contextes où la précision est cruciale, comme la reconnaissance d’images, la détection de spam ou encore la bioinformatique.

SVM repose sur une idée simple mais puissante : trouver la meilleure frontière possible entre deux classes de données, appelée hyperplan, de manière à maximiser la marge de séparation.

Principe de base

1. L’hyperplan

Un hyperplan est une ligne (en 2D), un plan (en 3D), ou une surface (en N dimensions) qui sépare les données de deux classes différentes. Le but du SVM est de trouver l’hyperplan qui maximise la distance entre lui et les points de données les plus proches de chaque classe : ce sont les vecteurs de support.

2. La marge maximale

La marge est la distance entre l’hyperplan et les points les plus proches (vecteurs de support). Un SVM optimal maximise cette marge, ce qui rend le modèle plus robuste face à de nouvelles données.

Cas linéaire : séparation simple

Dans un espace où les données sont linéairement séparables, SVM trouve la droite ou le plan optimal qui divise parfaitement les classes.

Exemple :
Si on veut classifier des emails comme « spam » ou « non spam » selon deux caractéristiques (nombre de mots-clés et nombre de liens), SVM va dessiner une ligne dans cet espace 2D qui sépare les deux catégories.

Cas non linéaire : Kernel Trick

La plupart des datasets du monde réel ne sont pas linéairement séparables. Pour cela, SVM utilise un concept clé : le kernel trick.

Le rôle des noyaux (kernels)

Les kernels transforment l’espace initial en un espace de dimensions supérieures où les données deviennent linéairement séparables.

Types de noyaux courants :

En utilisant un kernel, SVM n’a pas besoin de calculer explicitement les nouvelles dimensions. Il applique simplement une fonction de similarité entre les points.

Formulation mathématique

Soit un ensemble d’entraînement (xi,yi)(x_i, y_i)(xi​,yi​) avec xi∈Rnx_i \in \mathbb{R}^nxi​∈Rn et yi∈{−1,1}y_i \in \{-1, 1\}yi​∈{−1,1}.
L’objectif du SVM est de résoudre : min⁡w,b12∣∣w∣∣2\min_{\mathbf{w}, b} \frac{1}{2} ||\mathbf{w}||^2w,bmin​21​∣∣w∣∣2

sous les contraintes : yi(w⋅xi+b)≥1y_i (\mathbf{w} \cdot x_i + b) \geq 1yi​(w⋅xi​+b)≥1

Ce problème d’optimisation convexe peut être résolu efficacement même pour de grands jeux de données.

SVM avec données bruitées : Soft Margin

Dans la pratique, les données peuvent contenir du bruit ou être mal étiquetées. SVM gère cela grâce au soft margin :

Un C élevé : le modèle pénalise fortement les erreurs (risque d’overfitting)
Un C faible : plus de tolérance aux erreurs (meilleure généralisation)

Avantages du SVM

Inconvénients du SVM

Cas d’usage du SVM

Implémentation en Python (scikit-learn)

pythonCopierModifierfrom sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import classification_report

# Données iris
iris = datasets.load_iris()
X = iris.data
y = iris.target

# Sélection de deux classes pour simplification
X = X[y != 2]
y = y[y != 2]

# Split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

# Modèle SVM
model = SVC(kernel='linear', C=1.0)
model.fit(X_train, y_train)

# Évaluation
y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))

Conclusion

Le Support Vector Machine est un algorithme puissant de classification, à la fois rigoureux mathématiquement et performant dans de nombreux cas pratiques. Grâce au kernel trick, il peut gérer des problèmes complexes avec des frontières de décision non linéaires.

Cependant, il reste sensible au choix des paramètres et peut être coûteux en temps pour des très grands volumes de données. Bien utilisé, il constitue toutefois un outil de référence dans la boîte à outils du data scientist.

SVM