Malgré les progrès fulgurants de l’intelligence artificielle ces dernières années, il est important de garder à l’esprit que les IA ne sont pas infaillibles, loin de là. C’est ce que révèle une récente étude menée par l’Université Purdue dans l’Indiana, qui s’est penchée sur les performances de ChatGPT en matière de programmation informatique.
ChatGPT se trompe plus d’une fois sur deux
Les chercheurs ont soumis 517 questions de programmation issues du site Stack Overflow à ChatGPT. Les résultats, rapportés par Futurism, sont pour le moins préoccupants : 52% des réponses fournies par le chatbot contiennent des informations incorrectes. De plus, 77% des réponses sont jugées verbeuses.
Notre analyse montre que 52% des réponses de ChatGPT contiennent des informations incorrectes et 77% sont verbeuses.
– Les chercheurs de l’Université Purdue
Les développeurs séduits malgré les erreurs
Mais le plus inquiétant est peut-être la réaction des développeurs face à ces réponses erronées. En effet, 35% des participants à l’étude, tous programmeurs, ont indiqué préférer les réponses de ChatGPT en raison de leur exhaustivité et de leur formulation bien articulée. Dans 39% des cas, les programmeurs ont même ignoré les réponses fausses, se laissant berner par la forme plutôt que le fond.
Des IA pas encore prêtes à remplacer les humains
Ces résultats montrent clairement que les IA ne sont pas encore capables de se substituer aux êtres humains pour des tâches complexes comme la programmation. Cependant, cela pourrait pousser les géants de l’IA à mieux encadrer leurs modèles de langage (LLM) et à développer des outils d’auto-évaluation pour améliorer leur fiabilité.
Gemini de Google aussi pointée du doigt
ChatGPT n’est pas la seule IA à faire parler d’elle pour ses erreurs. Au même moment, l’IA Gemini de Google est également accusée de produire de trop nombreuses réponses absurdes, comme le rapporte Gizmodo.
Rester vigilant face aux IA
Face à ces constats, il est primordial que les développeurs et les entreprises restent vigilants dans leur utilisation des IA comme ChatGPT. Si ces outils peuvent se révéler utiles pour obtenir des suggestions ou des pistes de réflexion, ils ne doivent pas être considérés comme des oracles infaillibles. La vérification par un humain reste indispensable, surtout dans des domaines aussi critiques que la programmation informatique.
- Vérifier systématiquement les réponses fournies par les IA
- Ne pas se laisser séduire par des réponses exhaustives mais potentiellement fausses
- Encourager le développement d’outils d’auto-évaluation pour les IA
L’intelligence artificielle a encore de nombreux progrès à faire avant de pouvoir égaler les compétences humaines dans des domaines complexes. D’ici là, la prudence reste de mise, et la complémentarité entre IA et expertise humaine est plus que jamais nécessaire.
