Descente de gradient stochastique et calcul différentiel

Derrière chaque modèle d’intelligence artificielle qui reconnaît une image, traduit un texte ou prédit un prix immobilier, se cache un mécanisme mathématique discret mais fondamental : la descente de gradient. Sans elle, pas d’apprentissage automatique, pas de réseaux de neurones, pas de ChatGPT. Cet algorithme d’optimisation, hérité du calcul différentiel du XIXe siècle, est aujourd’hui le moteur qui permet aux machines d’apprendre de leurs erreurs. Dans cet article, nous allons démystifier la descente de gradient, comprendre comment elle fonctionne, où elle est utilisée, et découvrir sa variante la plus populaire : la descente de gradient stochastique.

Descente de gradient : Ce qu‘il faut comprendre

Pour comprendre l’algorithme de descente de gradient, imaginez-vous perdu en montagne, dans un brouillard épais, avec un seul objectif, rejoindre la vallée. Vous ne voyez pas le paysage, mais vous pouvez sentir la pente sous vos pieds. La stratégie la plus logique consiste à regarder autour de vous, identifier la direction où le terrain descend le plus fort, faire un pas dans cette direction, puis recommencer. Pas après pas, vous finirez par atteindre un point bas.

C’est exactement ce que fait la descente de gradient en machine learning. La « montagne » représente la fonction de coût (ou fonction de perte), c’est-à-dire une mesure de l’erreur commise par le modèle. Plus le modèle se trompe, plus on est haut sur la montagne. Le « gradient », lui, est un concept issu du calcul différentiel : c’est un vecteur composé des dérivées partielles de la fonction, qui indique la direction de la plus forte pente. En se déplaçant dans la direction opposée au gradient, on descend vers l’erreur minimale.

Un paramètre essentiel entre alors en jeu : le taux d’apprentissage (learning rate), qui correspond à la taille de chaque pas. Trop petit, l’algorithme mettra une éternité à converger. Trop grand, il risque de sauter par-dessus la vallée et d’osciller sans jamais se stabiliser. Trouver le bon équilibre est l’un des réglages les plus délicats de l’entraînement d’un modèle.

Minimum local et minimum global, c’est quoi ?

La descente de gradient a toutefois une limite bien connue, elle peut se retrouver piégée dans un minimum local. Reprenons notre métaphore montagnarde. En descendant, vous pouvez atteindre une petite cuvette qui n’est pas la vallée la plus basse de la région. De votre position, tout semble monter autour de vous, alors vous vous arrêtez, convaincu d’être arrivé. Vous êtes dans un minimum local, alors que le minimum global, le point le plus bas de toute la fonction, se trouve ailleurs.

Pour les fonctions dites convexes, comme celle de la régression linéaire, ce problème n’existe pas. Il n’y a qu’une seule vallée, et la descente de gradient trouve toujours le minimum global. Mais dans les réseaux de neurones profonds, la fonction de coût ressemble à un massif entier, truffé de creux, de plateaux et de points selle. C’est précisément pour mieux naviguer dans ces paysages complexes que des variantes de l’algorithme ont été développées.

Descente de gradient stochastique, la version accélérée

Alors, qu’est-ce que la descente de gradient stochastique (SGD, pour Stochastic Gradient Descent) ? Dans sa version classique, dite « batch », la descente de gradient calcule l’erreur sur l’ensemble des données d’entraînement avant chaque mise à jour des paramètres. Précis, mais terriblement coûteux quand le jeu de données contient des millions d’exemples.

La descente de gradient stochastique change d’approche : à chaque itération, elle ne calcule le gradient que sur un seul exemple choisi au hasard (d’où le terme « stochastique »). Le chemin devient plus bruité, plus erratique, mais chaque pas est extrêmement rapide. Et ce bruit a un avantage inattendu, il aide parfois l’algorithme à s’échapper des minimums locaux. En pratique, on utilise souvent un compromis, la descente de gradient par mini-lots (mini-batch), qui calcule le gradient sur un petit groupe d’exemples, combinant vitesse et stabilité.

Où et quand utilise-t-on la descente de gradient ?

La descente de gradient est omniprésente en intelligence artificielle. Elle sert à entraîner les régressions linéaires et logistiques, les machines à vecteurs de support, et surtout les réseaux de neurones, où elle travaille main dans la main avec la rétropropagation, l’algorithme qui calcule efficacement les gradients couche par couche. Les grands modèles de langage actuels sont eux-mêmes entraînés avec des optimiseurs dérivés de la SGD, comme Adam ou RMSprop. Concrètement, dès qu’un modèle doit ajuster ses paramètres pour minimiser une erreur mesurable, la descente de gradient ou l’une de ses variantes entre en scène.

Moteur de l’apprentissage automatique

La descente de gradient illustre parfaitement la puissance du calcul différentiel appliqué à l’informatique moderne : une idée simple, descendre la pente d’une fonction d’erreur, devenue le pilier de l’apprentissage automatique. Sa variante stochastique a rendu possible l’entraînement de modèles sur des volumes de données gigantesques, ouvrant la voie au deep learning tel que nous le connaissons.