Dans le monde en constante évolution de l’intelligence artificielle, une nouvelle famille de modèles de langage fait son entrée sur le devant de la scène. Ai2, l’organisation de recherche en IA à but non lucratif fondée par le regretté Paul Allen, vient de lancer OLMo 2, la deuxième génération de sa série de modèles open source. Ce qui distingue OLMo 2 des nombreux autres modèles « ouverts » disponibles, comme Llama de Meta, c’est qu’il répond à la définition de l’IA open source de l’Open Source Initiative, ce qui signifie que les outils et les données utilisés pour le développer sont accessibles au public.

Deux modèles puissants : OLMo 7B et 13B

La famille OLMo 2 se compose de deux modèles : OLMo 7B avec 7 milliards de paramètres et OLMo 13B avec 13 milliards de paramètres. Les paramètres correspondent grosso modo aux capacités de résolution de problèmes d’un modèle, et les modèles avec plus de paramètres ont généralement de meilleures performances que ceux avec moins de paramètres.

Comme la plupart des modèles de langage, OLMo 2 7B et 13B peuvent effectuer une vaste gamme de tâches basées sur le texte, telles que :

• Répondre à des questions
• Résumer des documents
• Écrire du code

Un entraînement à grande échelle sur des données ouvertes

Pour entraîner les modèles OLMo 2, Ai2 a utilisé un jeu de données massif de 5 billions de tokens, où un token représente une unité de données brutes. L’ensemble d’entraînement comprenait des sites web filtrés pour leur haute qualité, des articles universitaires, des forums de discussion de type Q&R et des cahiers de mathématiques, à la fois synthétiques et générés par des humains.

Selon Ai2, le résultat final sont des modèles très performants, compétitifs avec des modèles ouverts comme la version Llama 3.1 de Meta :

Non seulement nous observons une amélioration spectaculaire des performances sur toutes les tâches par rapport à notre précédent modèle OLMo, mais, fait notable, OLMo 2 7B surpasse LLama 3.1 8B. OLMo 2 représente les meilleurs modèles de langage entièrement ouverts à ce jour.

– Ai2

Ouvert, reproductible et utilisable commercialement

La transparence est au cœur d’OLMo 2. Les modèles et tous leurs composants peuvent être téléchargés depuis le site web d’Ai2. Ils sont sous licence Apache 2.0, ce qui signifie qu’ils peuvent être utilisés à des fins commerciales.

Contrairement à de nombreux autres modèles de langage, OLMo 2 peut être reproduit from scratch. Ai2 partage ouvertement les données, les recettes et les résultats dans l’espoir de fournir à la communauté open source les ressources nécessaires pour découvrir de nouvelles approches innovantes.

Il y a eu récemment un certain débat sur la sécurité des modèles ouverts, des chercheurs chinois auraient utilisé des modèles Llama pour développer des outils de défense. Interrogé sur ses préoccupations concernant une éventuelle utilisation abusive d’OLMo, l’ingénieur d’Ai2 Dirk Groeneveld a déclaré qu’il pense que les avantages l’emportent finalement sur les inconvénients :

Oui, il est possible que les modèles ouverts soient utilisés de manière inappropriée ou à des fins non prévues. Cependant, cette approche favorise également les progrès techniques qui conduisent à des modèles plus éthiques ; c’est une condition préalable à la vérification et à la reproductibilité, car celles-ci ne peuvent être obtenues qu’avec un accès à la pile complète ; et cela réduit une concentration croissante du pouvoir, créant un accès plus équitable.

– Dirk Groeneveld, Ai2

Vers une IA plus ouverte et équitable

Le lancement d’OLMo 2 marque une étape importante dans le mouvement vers une intelligence artificielle plus ouverte et accessible. En fournissant des modèles de langage à la pointe de la technologie qui peuvent être reproduits et utilisés librement, Ai2 contribue à démocratiser l’IA et à encourager l’innovation collaborative.

Reste à voir comment OLMo 2 se comparera aux futurs modèles ouverts et commerciaux en termes de capacités et d’adoption par la communauté. Mais une chose est sûre : avec la multiplication des options open source performantes comme OLMo, le paysage de l’IA est en train de changer rapidement, ouvrant de nouvelles possibilités passionnantes pour les chercheurs, les développeurs et les entreprises du monde entier.