Consistency Regularization-based Models

Les modèles basés sur la régularisation par consistance (Consistency Regularization) sont des approches semi-supervisées qui exploitent la consistance des prédictions sur des transformations ou perturbations des données d’entrée. L’idée principale est qu’un modèle devrait produire des prédictions similaires, même après avoir appliqué des transformations ou du bruit sur les données d’entrée, à condition que ces transformations ne modifient pas fondamentalement les caractéristiques de l’exemple.

Dans un cadre semi-supervisé, les données non étiquetées sont utilisées pour renforcer l’entraînement du modèle. En ajoutant des régularisations sur les prédictions faites par le modèle pour des versions modifiées (ou bruitées) des données non étiquetées, le modèle apprend à être plus robuste et à généraliser mieux.

Les méthodes populaires qui utilisent la régularisation par consistance incluent Mean Teacher, FixMatch, et Pseudo-Labeling.