Réseaux de Neurones Artificielles

 

 Introduction aux réseaux de neurones artificielles

Les neurones sont de simples ordinateurs. Chaque neurone reçoit des informations au niveau des synapses et calcule une information qui est transmise le long de son axone à un millier d'autres neurones. Le cerveau peut être considéré comme un ordinateur composite constitué d'un réseau de neurones.

Ces dernières années, il y' a un intérêt grandissant pour l'utilisation d'algorithmes de réseaux de neurones dans des problèmes qui relèvent des sciences physiques et de l'ingénieur (Haykin, 1999), (Mackay, 1992). L'intérêt porté à ces réseaux neuronaux réside dans leurs capacités de généralisation et de leur faisabilité d'implantation (Graf et al, 1988), (Mead, 1989), (Murray, 1989). A priori, ces algorithmes peuvent être appliqués aux problèmes de classification, de regroupement, de prévision, d'identification, d'optimisation combinatoire et de contrôle de procédés (Kohonen, 1988). Il existe plusieurs types de réseaux. À titre d'exemple, on trouve : les réseaux à une seule couche cachée (Sanger, 1989), les réseaux multicouches (Rumelhart et al, 1986) et les réseaux récurrents (Boné et al, 200 5). Ces réseaux se distinguent les uns des autres par le nombre de couches et leurs structures.

Depuis une vingtaine d'années, l'utilisation des réseaux de neurones artificiels (RNA) s'est étendue dans des domaines très divers de l'industrie et des services. En géophysique les RNA ont été utilisés pour plusieurs méthodes, par exemples pour détecter les premières arrivées d'ondes sismiques (Murat and Rudman, 1992; McCormack et al., 1993); classifier les différents signaux par l'inversion (Roth and
Tarantola, 1994; Langer et al., 1996); transformer un problème de déconvolution sismique dans un réseau de Hopefield afin de réduire le temps de calcul (Wang and Mendal, 1992); pour caractériser la distribution de résistivité du sous-sol par l'inversion de données magnétotelluriques (Zhang and Paulson, 1997) et
électromagnétiques (Poulton et al., 1992). Ils sont particulièrement utilisés pour résoudre des problèmes de classification, de prédiction, de reconnaissance des formes, de catégorisation, de mémoire associative et d'optimisation (Drew et Monson, 2000). Par l'entrainement d'un système non linéaire de multiples variables, les RNA peuvent prédire la variable indépendante (Huang et al., 1996). Par conséquent, les RNA constituent une technique d'approximation de systèmes complexes, qui sont difficiles à modéliser par les méthodes statistiques classiques.

Structure des réseaux de neurones artificiels

McCulloch et Pitts en 1943 ont implémenté un système de réseaux neuronaux artificiels, qui est analogue aux neurones biologiques fondée sur une structure complexe (tableau 1.1). Le système des RNA est considéré comme un arrangement d'éléments de structure identique appelés neurones interconnectées par analogie avec cellules du système nerveux humain. Il est composé également d'une succession de couches connectées de manière à ce que chaque neurone tienne son entrée de la sortie du neurone précédant. Chaque neurone dans ce cas fonctionne indépendamment par rapport aux autres afin que 1'ensemble forme un système compact. L'information est emmagasinée de façon répartie dans le réseau sous forme de coefficients synaptiques. Le neurone formel calcule régulièrement un résultat qu'il transmet ensuite aux neurones suivant, chaque calcul est associé à un poids qui définit la force de la connexion (Hagan et al. 1996).

Mathématiquement, tel qu'illustré par la figure 2.1, chaque neurone reçoit des entrées sous forme vectorielle puis il calcule une somme pondérée de ses entrées pour que le résultat passe ensuite par la fonction d'activation afin de créer une sortie.

Fonction d'activation

La fonction d'activation (ou fonction de transfert) sert à convertir le résultat de la somme pondérée des entrées d'un neurone en une valeur de sortie, cette conversion s 'e ffectue par un calcul de l'état du neurone en introduisant une non-linéarité dans le fonctionnement du neurone (C ybenko 1989) Le biais b joue un rôle de seuil, quand le résultat de la somme pondérée dépasse ce seuil, l'argument de la fonction de transfert devient positif ou nul; dans le cas contraire, il est considéré négatif. Finalement si le résultat de la somme pondérée est:

1. en dessous du seuil, le neurone est considéré comme non- actif 
2. aux alentours du seuil, le neurone est considéré en phase de transition. 
3. au-dessus du seuil, le neurone est considéré comme actif

Il y a plusieurs types de fonctions de transfert qui peuvent être utilisées dans les RNA, les fonctions d'activation souvent utilisées sont: Sigmoïde, Relu, Heaviside, Tanh, etc...

Architecture des réseaux de neurones

L'architecture est un concept très important qui joue un rôle déterminant dans la classification des RNA. Dans la littérature on utilise souvent le mot structure comme synon)ITle d'architecture (Maren et al. 1990; Hertz et al. 1991). Chaque architecture a sa propre organisation qui est adapté à des applications bien spécifiques (Sarle 1994; Haykin 1994).

Les réseaux récurrents« FEED-BACK »

Ce genre de réseaux est caractérisé par le pouvoir de laisser 1'information circulé récursivement d'une manière partielle ou bien total (Kasabov 1996; Elman 1990). Les architectures les plus utilisées sont:

• Les cartes auto-organisatrices de Kohonen
• Les réseaux de Hopfield
• Les ART

Réseaux propagation vers l'avant« FEED-FORWARD » 

• Le perceptron monocouche « SLP »
• Le perceptron multicouches« PMC »
• Réseaux à fonction radiale« RBF »  

 Apprentissage d'un réseau de neurone

L'apprentissage est une étape très importante du développement d'un réseau de neurones durant laquelle le comportement du réseau est modifié itérativement jusqu'à l'obtention du comportement désiré, et ce par l'ajustement des poids (connexion ou synapse) des neurones à une source d'information bien définit (Hebb 1949; Grossberg 1982; Rumelhart et al. 1986). L'apprentissage consiste également à extraire des conformités parmi les données utilisées pour 1' entrainement du réseau mais l'objectif essentiel de l'apprentissage est la résolution du problème par la prévision, la classification ... etc (Weiss et Kulikowski 1991). Pour un RNA, l'apprentissage peut être regardé également comme étant le processus de la mise à jour des poids (connexion) au sein du réseau dans le but d'ajuster la réponse du réseau à l'expérience et aux exemples. Il existe plusieurs types de règles d'apprentissage qui peuvent être rassemblées en deux catégories qui sont l'apprentissage supervisé et l'apprentissage non supervisé.

  L'algorithme d'apprentissage

Définir l'architecture d'un RNA pour un problème quelconque revient à faire un choix judicieux de la taille du réseau, du nombre total de couches et de neurones, distribution des données et des fonctions de transfert (Baum and Haussier 1989). Le choix de ces paramètres dépend de l'utilisateur. Il n'existe pas dans la littérature pour le moment des données suffisantes qui peuvent déterminer clairement les paramètres à adopter pour résoudre un problème donné (Coulibaly et al 1998). Les différentes techniques présentées par différents auteurs (Zurada 1992 ; Widrow et Lehr 1990; Murata et al.1994; Jacobs et al. 1997; Rudolph 1997; Hecht-Nielsen 1987) sont destinées à résoudre des cas particuliers.

Le choix du nombre de couches cachées, nombre de neurones cachés et le nombre d'itérations constitue un élément clé pour le bon fonctionnement du réseau.

Références :

1. Biological neuron model: lien
   
2. L’IA et l’illusion de savoir par F. Laroui, le 09/10/2024 à 12h00, lien.
3. Réseau de Hopfield: lien.
4. John J. Hopfield, “Neural networks and physical systems with emergent collective computational abilities. » Proceedings of the national academy of sciences, 79.8 (1982): 2554-2558. pdf
5.  El Mahdi BRAKNI, MÉMORE PRÉSENTÉ À L'UNIVERSITÉ DU QUÉBEC À CHICOUTIMI COMME EXIGENCE PARTIELLE DE LA MAÎTRISE EN INGÉNIERIE, 2011. lien 
6. Les réseaux de neurones : toute une histoire et tout un art ! lien
   
7.  John J. Hopfield, NEURONS, DYNAMICS AND COMPUTATION. lien
8. Cyrille Vanlerberghe, Le prix Nobel de physique 2024 attribué à John Hopfield et Geoffrey Hinton pour leurs travaux sur l’intelligence artificielle. lien