GPT-OSS: Le modèle open-source de OpenAI

Avec la sortie de GPT-OSS, OpenAI marque un tournant intéressant dans sa stratégie de publication de modèles d’IA. Alors que l’organisation s’était éloignée de l’open source depuis GPT-2, elle revient aujourd’hui avec deux modèles de grande envergure mis à disposition sous licence open-source : GPT-OSS-20B et GPT-OSS-120B. Présentés comme open source, mais avec des limites — ces modèles proposent une architecture avancée Mixture-of-Experts (MoE) et une efficacité impressionnante, même sur du matériel grand public pour la version 20B. Pourtant, cette ouverture soulève aussi des questions de transparence, notamment sur l’accès aux données d’entraînement et aux méthodes de formation.

Qu’est-ce que GPT-OSS ?

GPT-OSS est le nom donné par OpenAI à une nouvelle famille de modèles open-weight, c’est-à-dire mis à disposition gratuitement, mais sans la transparence complète habituellement associée à l’open source. Deux modèles sont proposés : GPT-OSS-20B, avec 21 milliards de paramètres, et GPT-OSS-120B, avec 117 milliards de paramètres. Tous deux reposent sur une architecture Mixture-of-Experts (MoE), conçue pour optimiser les performances tout en limitant l’utilisation des ressources.

Le choix d’OpenAI de revenir vers une certaine forme d’ouverture après plusieurs années de modèles fermés (comme GPT-3, GPT-4, etc.) suscite l’intérêt, mais aussi le débat. Car si le code et les poids sont accessibles, les données d’entraînement et les détails sur le processus de formation restent, eux, totalement opaques.

Architecture Mixture-of-Experts optimisée pour l’efficacité

Les deux modèles GPT-OSS s’appuient sur une architecture Mixture-of-Experts (MoE), qui permet d’activer uniquement une partie du réseau neuronal à chaque passage de donnée. Concrètement, cela signifie que seuls certains « experts » (ou sous-modèles) sont utilisés pour chaque requête, ce qui réduit la charge computationnelle tout en maintenant des performances élevées. Cette approche est particulièrement efficace pour les très grands modèles, où activer tous les paramètres en même temps serait coûteux en énergie et en temps de calcul.

OpenAI a utilisé une quantification 4 bits (MXFP4), qui permet de réduire la taille des modèles et d’accélérer l’inférence, tout en limitant la perte de précision. Résultat :

• Le modèle 20B peut tourner sur un GPU avec 16 Go de VRAM, ce qui le rend accessible à de nombreux chercheurs et développeurs indépendants.
• Le modèle 120B, quant à lui, nécessite un GPU avec 80 Go de VRAM, comme la NVIDIA H100, pour être exploité dans de bonnes conditions.

Open source, mais pas complètement transparent

Si GPT-OSS est présenté comme open source, il reste des zones d’ombre importantes. OpenAI ne publie ni les données d’entraînement, ni les détails précis du processus de formation, ce qui limite la reproductibilité scientifique et la possibilité pour la communauté de vérifier ou d’améliorer le modèle. Cette ouverture partielle soulève également des questions éthiques et pratiques : comment s’assurer de l’absence de biais, de contenus inappropriés ou de vulnérabilités si les données restent inconnues ?

Malgré ces limites, GPT-OSS constitue un pas en avant pour l’écosystème IA, notamment pour les chercheurs, développeurs et entreprises qui souhaitent tester de grands modèles avec des ressources réduites. Il ouvre la voie à des expérimentations plus accessibles et pose les bases d’un dialogue sur la manière dont l’open source et la transparence peuvent coexister dans le développement de l’intelligence artificielle avancée.