Alors que le monde de l’IA attendait avec impatience la sortie de Grok 3, le dernier modèle phare de xAI, la deadline de fin 2024 s’est écoulée sans que le modèle ne voie le jour. Ce retard s’inscrit dans une tendance inquiétante parmi les géants de l’IA, suggérant que les méthodes actuelles d’entraînement des modèles pourraient atteindre leurs limites.

Le Grok 3 manqué de xAI

En juillet dernier, le milliardaire Elon Musk, fondateur et PDG de xAI, avait promis que Grok 3, la réponse de son entreprise à GPT-4 d’OpenAI et Gemini de Google, serait disponible d’ici fin 2024. Capable d’analyser des images et de répondre à des questions, Grok alimente de nombreuses fonctionnalités sur X, le réseau social de Musk.

Grok 3 d’ici la fin de l’année après entraînement sur 100k H100s devrait vraiment être quelque chose de spécial.

– Elon Musk, juillet 2024

Pourtant, au 2 janvier, aucune trace de Grok 3. Au contraire, du code sur le site de xAI suggère qu’un modèle intermédiaire, « Grok 2.5 », pourrait arriver en premier. Si les retards sont monnaie courante avec Musk, ce loupé s’inscrit dans une tendance plus large.

Une tendance inquiétante dans l’industrie

L’an dernier, la startup Anthropic n’a pas réussi à livrer le successeur de son modèle Claude 3 Opus. Après avoir annoncé Claude 3.5 Opus pour fin 2024, l’entreprise a abandonné toute mention du modèle dans sa documentation développeur. Selon certaines sources, Google et OpenAI auraient aussi connu des revers avec leurs modèles phares ces derniers mois.

Cela pourrait témoigner des limites des lois de mise à l’échelle actuelles de l’IA, c’est-à-dire des méthodes utilisées par les entreprises pour accroître les capacités de leurs modèles. Jusqu’à récemment, il était possible d’obtenir des gains substantiels en entraînant les modèles avec une puissance de calcul massive et des jeux de données toujours plus grands. Mais les améliorations à chaque génération de modèles commencent à diminuer.

À la recherche d’approches alternatives

Face à ce mur, les entreprises se tournent vers des techniques alternatives. Musk lui-même y a fait allusion dans une interview :

Vous espérez que [Grok 3] sera à la pointe ? – Lex Fridman

J’espère. C’est le but. Mais nous pourrions échouer. C’est l’aspiration. – Elon Musk

D’autres facteurs pourraient expliquer le retard de Grok 3, comme la taille réduite des équipes de xAI. Néanmoins, ce lancement manqué renforce l’idée que les approches conventionnelles d’entraînement de l’IA se heurtent à un mur. Les entreprises capables de trouver des alternatives pourraient prendre une longueur d’avance dans la course à l’IA.

En attendant, tous les regards sont tournés vers les prochaines annonces des géants du secteur. Anthropic, Google, OpenAI et les autres réussiront-ils là où xAI semble avoir échoué ? La suite au prochain épisode…