Recherche d’hyperparamètres (GridSearch, RandomSearch, Bayesian Optimization)

La recherche d’hyperparamètres consiste à trouver la meilleure combinaison de paramètres d’un modèle afin d’optimiser ses performances. Ces hyperparamètres sont définis avant l’entraînement et peuvent influencer grandement les résultats du modèle.

On distingue plusieurs approches pour cette recherche :

🔹 GridSearch

Recherche exhaustive sur un espace défini de paramètres. Teste toutes les combinaisons possibles. Très précis mais coûteux en temps de calcul, surtout quand les grilles sont grandes.

🔹 RandomSearch

Tire aléatoirement des combinaisons d’hyperparamètres dans un espace défini. Moins coûteux que GridSearch et souvent aussi performant.

🔹 Bayesian Optimization

Méthode plus avancée qui modélise la fonction de score comme une fonction probabiliste (ex. avec Gaussian Process) et choisit intelligemment les combinaisons à tester, pour maximiser le score avec moins d’itérations.