Architecture de base : perceptron, couches denses

Perceptron

Le perceptron est l’un des modèles les plus simples et fondamentaux dans les réseaux de neurones. Il a été introduit par Frank Rosenblatt en 1958 et représente la première tentative de modéliser une unité de traitement inspirée par les neurones biologiques. Le perceptron peut être vu comme une fonction de classification binaire, où l’entrée est une combinaison linéaire des caractéristiques d’un vecteur d’entrée, suivie d’une fonction d’activation.

Un perceptron se compose de trois éléments essentiels :

Entrée (Input) : Chaque entrée $x_i$ représente une caractéristique d’un exemple, pondérée par un coefficient $w_i$ .
Poids (Weights) : Les poids $w_i$ sont ajustés lors de l’entraînement pour minimiser l’erreur entre les prédictions et les valeurs réelles.
Fonction d’activation : Le perceptron utilise une fonction d’activation, généralement une fonction seuil, pour décider si une entrée est classée dans une catégorie ou une autre (par exemple, 0 ou 1).

L’output $y$ du perceptron est donné par la formule suivante :

$y = \begin{cases} 1 & \text{si} \, \sum_{i=1}^{n} w_i x_i + b \geq 0 \\ 0 & \text{sinon} \end{cases}$

où $b$ est le biais, qui permet d’ajuster la fonction de décision.

Bien que puissant pour des problèmes simples de classification, le perceptron présente des limitations majeures, notamment sa capacité à résoudre uniquement des problèmes linéairement séparables. Cela a conduit au développement de modèles plus complexes, comme les réseaux multicouches.

Couches denses (Fully Connected Layers)

Les couches denses ou couches entièrement connectées (fully connected layers, FC) sont des éléments essentiels dans les réseaux de neurones artificiels modernes. Dans une couche dense, chaque neurone est connecté à tous les neurones de la couche suivante, d’où le terme « entièrement connecté ». Ce type de connexion est utilisé dans les architectures classiques des réseaux de neurones.

Le fonctionnement d’une couche dense est relativement simple : chaque neurone prend les sorties des neurones précédents, applique des poids à ces connexions et passe le résultat dans une fonction d’activation pour produire une sortie. Formellement, une couche dense peut être décrite comme suit :

$z = W \cdot x + b$

où :

$z$ est la sortie de la couche,
$W$ est la matrice des poids,
$x$ est le vecteur d’entrée,
$b$ est le biais.

Ensuite, une fonction d’activation est appliquée à cette sortie $z$ pour introduire de la non-linéarité dans le modèle. Les fonctions d’activation courantes incluent ReLU, sigmoïde, et tanh.

Les couches denses sont un composant clé dans la plupart des architectures de réseaux de neurones modernes. Elles sont particulièrement efficaces pour modéliser des relations complexes entre les entrées et les sorties en combinant des représentations simples, comme dans les réseaux à propagation avant (Feedforward Neural Networks, FNN).

Réseaux de Neurones Multicouches (MLP)

L’utilisation de réseaux de neurones multicouches (Multi-Layer Perceptron, MLP) permet d’enrichir l’architecture du perceptron simple en ajoutant des couches supplémentaires entre l’entrée et la sortie. Ces couches intermédiaires, souvent appelées couches cachées, permettent d’apprendre des représentations plus abstraites des données.

Les réseaux multicouches sont capables de résoudre des problèmes plus complexes, y compris des problèmes non linéaires, grâce à leur capacité à empiler plusieurs couches denses avec des fonctions d’activation non linéaires. Chaque couche apprend des caractéristiques de plus en plus abstraites, ce qui rend les réseaux multicouches particulièrement puissants pour des tâches comme la classification d’images, la reconnaissance vocale ou la prédiction de séries temporelles.

Fonctionnement de l’architecture

Entrée des données : Les données d’entrée, sous forme de vecteurs de caractéristiques, sont envoyées à la première couche dense.
Propagation avant (Forward Propagation) : Les données traversent successivement les couches, où chaque neurone calcule une somme pondérée de ses entrées, ajoute un biais et applique une fonction d’activation.
Sortie : La dernière couche produit la sortie du réseau, qui peut être une prédiction, une classification, ou toute autre sortie en fonction de la tâche.
Rétropropagation (Backpropagation) : L’algorithme d’entraînement utilise la rétropropagation pour ajuster les poids des connexions afin de minimiser l’erreur de la sortie, en utilisant la descente de gradient.

Conclusion

L’architecture de base des perceptrons et des couches denses est au cœur des réseaux de neurones artificiels. Bien que simples, elles forment la base pour la construction de modèles plus complexes comme les réseaux de neurones convolutifs (CNN) ou les réseaux de neurones récurrents (RNN). En combinant plusieurs couches denses avec des fonctions d’activation non linéaires, les réseaux de neurones multicouches peuvent capturer des relations complexes dans les données et sont capables de résoudre des tâches variées, allant de la reconnaissance d’images à la traduction automatique.