Loading [MathJax]/jax/output/HTML-CSS/config.js

Consistency Regularization-based Models, Consistency Regularization-based Models, Consistency Regularization-based Models, Consistency Regularization-based Models, Consistency Regularization-based Models

Dans le domaine de l’apprentissage semi-supervisé, la consistency regularization est une stratégie puissante qui consiste à encourager un modèle à produire des prédictions stables lorsque ses entrées sont soumises à de légères perturbations. Cette méthode vise à tirer parti efficacement des données non étiquetées pour améliorer la généralisation.


Contexte et objectifs

L’apprentissage semi-supervisé cherche à combiner un petit jeu de données étiquetées avec un grand volume de données non annotées. La challenge principale est de tirer un signal utile des données non étiquetées sans induire de biais ni d’erreurs.

La consistency regularization se base sur l’hypothèse que la sortie du modèle doit rester consistante (stable) face à de petites modifications de l’entrée, ce qui favorise l’apprentissage de représentations robustes.


Principe de la consistency regularization

On applique des perturbations ou des transformations (ex : bruit, rotation, augmentation de données) aux données non étiquetées, et on impose une contrainte de cohérence entre la prédiction sur la donnée originale et celle sur la donnée modifiée.


Formulation mathématique simplifiée

Soit xxx une donnée non étiquetée, T(⋅)T(\cdot)T(⋅) une transformation aléatoire, et fθ(⋅)f_\theta(\cdot)fθ​(⋅) le modèle paramétré par θ\thetaθ.

La régularisation consiste à minimiser : Lconsistency=Ex∼Dnon−label,T[d(fθ(x),fθ(T(x)))]L_{consistency} = \mathbb{E}_{x \sim D_{non-label}, T} \big[ d(f_\theta(x), f_\theta(T(x))) \big]Lconsistency​=Ex∼Dnon−label​,T​[d(fθ​(x),fθ​(T(x)))]

où ddd est une fonction de distance (ex : divergence de KL, erreur quadratique).


Méthodes populaires utilisant la consistency regularization

MéthodeDescription
Π-ModelEncourage la cohérence entre la prédiction et la prédiction après augmentation.
Temporal EnsemblingMoyenne des prédictions sur plusieurs epochs pour stabiliser l’apprentissage.
Mean TeacherUtilise un modèle “teacher” moyenné dans le temps pour guider le modèle “student”.
Virtual Adversarial Training (VAT)Ajoute des perturbations adversariales pour renforcer la robustesse.

Implémentation pratique

Les transformations TTT peuvent inclure :


Avantages


Limitations


Exemple simple en PyTorch (extrait)

pythonCopierModifierdef consistency_loss(model, x, transform, criterion):
    x_aug = transform(x)
    pred = model(x)
    pred_aug = model(x_aug)
    loss = criterion(pred, pred_aug.detach())  # Pas de gradient sur la version augmentée
    return loss

Applications


Conclusion

Les modèles basés sur la consistency regularization sont au cœur des avancées récentes en apprentissage semi-supervisé. Ils exploitent les données non étiquetées en imposant la stabilité des prédictions face aux transformations, renforçant ainsi la généralisation et la robustesse des modèles.

Consistency Regularization-based Models

Les modèles basés sur la régularisation par consistance (Consistency Regularization) sont des approches semi-supervisées qui exploitent la consistance des prédictions sur des transformations ou perturbations des données d’entrée. L’idée principale est qu’un modèle devrait produire des prédictions similaires, même après avoir appliqué des transformations ou du bruit sur les données d’entrée, à condition que ces transformations ne modifient pas fondamentalement les caractéristiques de l’exemple.

Dans un cadre semi-supervisé, les données non étiquetées sont utilisées pour renforcer l’entraînement du modèle. En ajoutant des régularisations sur les prédictions faites par le modèle pour des versions modifiées (ou bruitées) des données non étiquetées, le modèle apprend à être plus robuste et à généraliser mieux.

Les méthodes populaires qui utilisent la régularisation par consistance incluent Mean Teacher, FixMatch, et Pseudo-Labeling.