Alors que beaucoup s’interrogent sur un éventuel ralentissement des progrès en matière d’intelligence artificielle, le PDG de Nvidia, Jensen Huang, affirme que les performances de ses puces d’IA progressent en réalité plus rapidement que les taux historiques fixés par la célèbre loi de Moore. Une déclaration audacieuse qui intervient à un moment charnière pour l’industrie.

La loi de Moore dépassée par les puces IA de Nvidia ?

Selon Jensen Huang, interviewé par TechCrunch au lendemain de sa keynote devant 10 000 personnes au CES de Las Vegas, les systèmes de Nvidia progressent bien plus rapidement que la loi de Moore. Cette loi, énoncée en 1965 par le cofondateur d’Intel Gordon Moore, prédisait un doublement du nombre de transistors sur les puces tous les deux ans, doublant ainsi leurs performances. Une prédiction globalement vérifiée pendant des décennies, permettant des avancées fulgurantes et une chute des coûts.

Mais ces dernières années, la loi de Moore a commencé à s’essouffler. Jensen Huang assure pourtant que les puces IA de Nvidia suivent leur propre rythme accéléré. Selon l’entreprise, sa dernière superpuce pour datacenters serait ainsi plus de 30 fois plus rapide que la génération précédente pour exécuter des charges de travail d’inférence IA.

Nous pouvons construire l’architecture, la puce, le système, les bibliothèques et les algorithmes en même temps. En faisant cela, on peut aller plus vite que la loi de Moore, car on peut innover sur toute la pile.

Jensen Huang, PDG de Nvidia

Trois lois pour faire progresser l’IA

Loin de croire à un ralentissement, Jensen Huang affirme qu’il existe désormais trois lois actives pour faire évoluer l’IA :

• Le pré-entraînement, où les modèles IA apprennent des motifs à partir de grandes quantités de données
• Le post-entraînement, qui affine les réponses d’un modèle IA grâce notamment au feedback humain
• Le « test-time compute », qui a lieu pendant la phase d’inférence et donne plus de temps de « réflexion » au modèle après chaque question

L’objectif de Nvidia est de créer des puces toujours plus performantes, car selon Jensen Huang, des puces plus performantes créent des prix plus bas à long terme, même si les premiers modèles utilisant massivement le « test-time compute » comme GPT-4 restent coûteux pour le moment.

1000 fois plus performant en 10 ans

Plus globalement, le patron de Nvidia affirme que ses puces IA sont aujourd’hui 1000 fois meilleures que celles d’il y a 10 ans. Un rythme bien supérieur à celui fixé par la loi de Moore, et que Jensen Huang ne voit pas ralentir de sitôt.

Alors que les prouesses mais aussi les craintes suscitées par les IA génèrent de vifs débats, ces déclarations illustrent l’accélération technologique en cours. Reste à savoir si les avancées spectaculaires promises se concrétiseront, et comment nos sociétés choisiront de les utiliser.