Les modèles d’intelligence artificielle générative comme GPT-4 et Gemma sont en train de révolutionner de nombreux domaines. Cependant, malgré leurs prouesses impressionnantes, ces systèmes font face à certaines limites inhérentes à leur fonctionnement interne, en particulier en ce qui concerne leur utilisation des tokens pour traiter le texte. Qu’est-ce que la tokénisation ? La plupart […]