Détection et traitement des valeurs manquantes

Des valeurs manquantes non traitées peuvent fausser les résultats, perturber les algorithmes de machine learning et fausser les décisions basées sur les données. Cette section vous présente les principales méthodes de détection et de traitement des valeurs manquantes dans un DataFrame avec pandas.

Vous découvrirez comment identifier les valeurs manquantes, les supprimer ou les remplacer de manière adaptée. Nous verrons également comment utiliser des techniques avancées comme l’imputation, en fonction de la nature des données et du contexte.

Ce que vous allez apprendre dans cette section :

• Détecter les valeurs manquantes : Utilisez isnull() et notnull() pour identifier rapidement les valeurs manquantes dans vos données.

• Compter les valeurs manquantes : Avec isnull().sum(), apprenez à quantifier le nombre de valeurs manquantes par colonne.

• Supprimer les valeurs manquantes : Apprenez à utiliser dropna() pour supprimer les lignes ou les colonnes contenant des valeurs manquantes.

• Remplacer les valeurs manquantes : Utilisez fillna() pour remplir les valeurs manquantes avec des valeurs spécifiques ou calculées, comme la moyenne ou la médiane.

• Imputation avancée des valeurs manquantes : Découvrez comment utiliser SimpleImputer de Scikit-learn pour effectuer une imputation plus avancée et efficace.