Dans un contexte où les applications d’intelligence artificielle (IA) prennent une importance croissante, la gestion des risques opérationnels associés devient un enjeu majeur pour les entreprises. C’est dans ce cadre que Distributional, une plateforme de test d’IA fondée par l’ancien responsable des logiciels d’IA chez Intel, Scott Clark, vient de clôturer un tour de table de série A de 19 millions de dollars mené par Two Sigma Ventures.
Un fondateur inspiré par son expérience chez Intel et Yelp
L’idée de créer Distributional est venue à Scott Clark suite aux problèmes de test d’IA qu’il a rencontrés lorsqu’il appliquait l’IA chez Intel, et auparavant lors de son travail chez Yelp en tant que responsable logiciel dans la division de ciblage publicitaire de l’entreprise. Selon lui, les équipes produits d’IA utilisent la plateforme de Distributional pour détecter, comprendre et résoudre de manière proactive et continue les risques liés à l’IA avant qu’ils n’introduisent des problèmes en production.
Les défis des tests d’IA : non-déterminisme et dépendances multiples
Clark souligne que l’IA est non déterministe, ce qui signifie qu’elle génère des sorties différentes à partir d’une même donnée. De plus, les modèles d’IA ont de nombreuses dépendances (comme l’infrastructure logicielle et les données d’entraînement). Ainsi, identifier des bugs dans un système d’IA peut s’apparenter à chercher une aiguille dans une botte de foin.
Selon une étude de la Rand Corporation en 2024, plus de 80% des projets d’IA échouent. L’IA générative s’avère être un défi particulier pour les entreprises, Gartner prévoyant qu’un tiers des déploiements seront abandonnés d’ici 2026.
– Études Rand Corporation et Gartner
Distributional automatise les tests et l’audit d’IA
Pour répondre à ces défis, Distributional permet d’abstraire en partie ce travail d’audit d’IA, en s’appuyant sur des techniques que Clark et l’équipe de SigOpt ont développées en travaillant avec des clients d’entreprise. La plateforme peut créer automatiquement des tests statistiques pour les modèles et applications d’IA selon les spécifications d’un développeur et organiser les résultats de ces tests dans un tableau de bord.
Depuis ce tableau de bord, les utilisateurs peuvent collaborer sur des « dépôts » de tests, trier les tests échoués et recalibrer les tests si nécessaire. L’ensemble de l’environnement peut être déployé sur site (bien que Distributional propose également un plan géré) et peut être intégré aux outils populaires d’alerte et de base de données.
Se démarquer dans un marché concurrentiel
Distributional n’est pas le premier sur le marché avec une technologie pour sonder et analyser la fiabilité d’une IA. Kolena, Prolific, Giskard et Patronus font partie des nombreuses solutions d’expérimentation d’IA existantes. Les géants de la technologie tels que Google Cloud, AWS et Azure proposent également des outils d’évaluation des modèles.
Alors pourquoi un client choisirait-il Distributional ? Selon Clark, Distributional offre une expérience plus « gants blancs » que beaucoup. L’entreprise prend en charge l’installation, la mise en œuvre et l’intégration pour les clients, et fournit un dépannage des tests d’IA (moyennant des frais).
Les outils de surveillance se concentrent souvent sur des métriques de niveau supérieur et des instances spécifiques de valeurs aberrantes, ce qui donne un sens limité de la cohérence, mais sans informations sur le comportement plus large de l’application. L’objectif des tests de Distributional est de permettre aux équipes de parvenir à une définition du comportement souhaité pour toute application d’IA.
– Scott Clark, fondateur de Distributional
Des plans de croissance ambitieux
Grâce à ce nouveau financement, Distributional prévoit d’étendre son équipe technique, en mettant l’accent sur les aspects interface utilisateur et ingénierie de recherche en IA. Clark a déclaré qu’il s’attend à ce que les effectifs de l’entreprise atteignent 35 personnes d’ici la fin de l’année, alors que Distributional se lance dans sa première vague de déploiements en entreprise.
Avec une levée de fonds significative en seulement un an depuis sa création et une équipe en pleine croissance, Distributional semble bien positionné pour capitaliser sur cette opportunité massive ces prochaines années dans le domaine des tests et de l’audit d’IA, un enjeu crucial pour le déploiement fiable de l’IA en entreprise.
