Classification (SVM, KNN, arbres de décision)

La classification est une tâche d’apprentissage supervisé qui consiste à prédire une étiquette ou une catégorie à partir d’un ensemble de caractéristiques. Contrairement à la régression, la sortie est ici discrète. Plusieurs algorithmes sont utilisés selon la structure des données, la complexité du problème et les objectifs de performance ou d’interprétabilité.

• SVM (Support Vector Machine) : méthode basée sur la recherche d’un hyperplan optimal qui maximise la marge entre les classes. Elle est efficace dans les espaces de grande dimension et peut gérer la non-linéarité à l’aide de noyaux (kernel trick).

• KNN (K-Nearest Neighbors) : algorithme simple qui classe un point selon la majorité des étiquettes de ses k voisins les plus proches. Il ne nécessite pas d’apprentissage explicite mais repose sur la notion de distance dans l’espace des features.

• Arbres de décision : modèles arborescents qui segmentent l’espace de décision en posant des questions binaires sur les variables explicatives. Ils sont interprétables, rapides à entraîner, mais sensibles à l’overfitting si non régularisés.