La semaine dernière, les nouveaux Aperçus IA de Google ont suscité de nombreuses moqueries et critiques en raison de leur qualité médiocre et des informations erronées qu’ils présentaient. Face à ce déluge de réactions négatives, le géant de la technologie a publié jeudi une sorte de mea culpa. Google, dont le nom est synonyme de recherche sur le Web et dont la mission est « d’organiser l’information mondiale », a admis dans un billet de blog que « certains Aperçus IA étranges, inexacts ou inutiles sont certainement apparus. »
Des erreurs embarassantes pour Google
Cet aveu d’échec, rédigé par Liz Reid, vice-présidente de Google et responsable de la recherche, semble témoigner de la façon dont la course à l’intégration de l’IA dans tout a en quelque sorte rendu la recherche Google pire. Reid détaille les nombreuses façons dont les Aperçus IA peuvent se tromper. Bien qu’ils ne « hallucinent » pas ou n’inventent pas des choses comme d’autres grands modèles de langage, ils peuvent se tromper pour « d’autres raisons », comme « interpréter mal les requêtes, interpréter mal une nuance de langage sur le Web ou ne pas disposer de beaucoup d’informations pertinentes. »
Un test bêta à l’échelle mondiale
Malgré ces ratés, Google affirme avoir « testé la fonctionnalité de manière approfondie avant son lancement », y compris avec de « solides efforts d’équipes rouges ». Mais avec des millions d’utilisateurs effectuant des recherches nouvelles et variées, rien ne vaut un test bêta à si grande échelle pour identifier rapidement les problèmes et itérer.
Il n’y a rien de tel que d’avoir des millions de personnes utilisant la fonctionnalité avec de nombreuses recherches nouvelles.
– Liz Reid, VP chez Google
Reddit, source de connaissances imparfaite pour l’IA
Google a également minimisé sa dépendance aux données des utilisateurs de Reddit comme source de connaissances et de vérité pour entraîner son IA. Bien que de nombreuses personnes ajoutent « Reddit » à leurs recherches depuis si longtemps que Google en a fait un filtre de recherche intégré, Reddit n’est pas un ensemble de connaissances factuelles. L’IA n’a pas la capacité de juger quand les informations de première main de Reddit sont utiles et quand elles ne le sont pas, ou pire, quand il s’agit d’un troll.
Les forums sont souvent une excellente source d’informations authentiques et de première main, mais dans certains cas, ils peuvent conduire à des conseils moins qu’utiles, comme utiliser de la colle pour faire tenir le fromage sur une pizza.
– Liz Reid
Tirer les leçons et s’améliorer rapidement
Suite à cette semaine désastreuse, Google dit avoir analysé les exemples d’Aperçus IA et identifié des schémas où il pourrait faire mieux, notamment :
- Construire de meilleurs mécanismes de détection pour les requêtes absurdes
- Limiter l’utilisation de contenu généré par les utilisateurs pour les réponses qui pourraient offrir des conseils trompeurs
- Ajouter des restrictions de déclenchement pour les requêtes où les aperçus IA n’étaient pas utiles
- Ne pas montrer d’aperçus IA pour les sujets d’actualité, où la fraîcheur et la factualité sont importantes
- Ajouter des améliorations supplémentaires à ses protections pour les recherches sur la santé
La course à l’IA bat son plein
Alors que les entreprises d’IA construisent des chatbots toujours plus performants, la question n’est pas de savoir s’ils surpasseront un jour la recherche Google pour nous aider à comprendre l’information mondiale, mais si Google Search pourra rattraper son retard en IA pour les concurrencer en retour. Malgré ses erreurs, il est trop tôt pour écarter Google de la course, surtout au vu de l’ampleur de son équipe de testeurs bêta, qui n’est autre que tous les utilisateurs de la recherche.
