Des fuites récentes de benchmarks révèlent que le modèle de langage Llama 3.1 405B de Meta AI surpasse de manière surprenante le GPT-4o d’OpenAI sur plusieurs tests de performance clés. Ce bond en avant pour un LLM open source pourrait marquer un tournant dans le domaine de l’intelligence artificielle.
Llama 3.1 établit de nouveaux records
Lancé en avril 2024, Llama 3 représentait déjà une avancée majeure pour les modèles de langage open source avec ses versions 8B et 70B. Mais c’est la prochaine itération, Llama 3.1, et notamment son modèle massif de 405 milliards de paramètres, qui fait sensation.
Selon les benchmarks divulgués, Llama 3.1 405B devancerait le leader actuel GPT-4o sur une série de tests cruciaux :
- GSM8K (raisonnement mathématique)
- Hellaswag (compréhension du langage naturel)
- BoolQ (questions booléennes)
- MMLU-humanités et MMLU-autres (connaissances générales)
- MMLU-STEM (sciences et technologie)
- Winograd (résolution d’ambiguïtés)
Seuls les tests HumanEval (génération de code) et MMLU-sciences sociales révèlent encore un avantage pour GPT-4o. Mais il ne s’agit là que des performances « brutes » de Llama 3.1. Des améliorations spectaculaires sont encore attendues via les techniques de réglage fin et d’apprentissage par instructions.
L’open source, moteur d’innovation pour l’IA
Au-delà de la prouesse technique, le succès de Llama 3.1 démontre la puissance de l’open source pour faire progresser l’état de l’art en intelligence artificielle. Comme l’expliquait Meta :
Nous adoptons l’éthique open source qui consiste à publier rapidement et fréquemment ces modèles afin de permettre à la communauté d’y accéder alors qu’ils sont encore en cours de développement.
– Meta AI
En rendant ses modèles avancés accessibles à tous, Meta ne se contente pas de démocratiser ces technologies. La firme exploite aussi l’intelligence collective et la diversité de la communauté mondiale des développeurs pour repousser les limites de l’IA.
À l’inverse, les modèles à code fermé comme GPT-4o restent l’apanage d’un cercle restreint, bridant le potentiel d’innovation. Les exploits de Llama 3.1 pourraient bien sonner comme un appel à plus d’ouverture pour faire avancer ce champ de recherche crucial.
Les promesses d’un avenir « ouvert »
Nul doute que la compétition va continuer de faire rage dans le domaine des grands modèles de langage, avec déjà en ligne de mire le GPT-5 d’OpenAI. Mais en démontrant qu’un LLM open source pouvait égaler voire surpasser les meilleurs modèles fermés, Llama 3.1 ouvre la voie à un futur où coopération et partage des connaissances seront les maîtres mots.
À terme, ce sont bien les applications concrètes de l’IA et leur adoption par le plus grand nombre qui pourraient en bénéficier. Reste à confirmer les performances de Llama 3.1 sur un spectre plus large de tâches et dans des scénarios d’usage réel. Mais ce premier coup d’éclat laisse présager du meilleur pour l’avenir de l’IA open source.
