Imaginez un instant : votre entreprise confie à un agent IA la gestion d’une problématique juridique complexe liée à une fuite de données en Europe, ou l’analyse d’un deal d’investissement impliquant plusieurs sources d’information dispersées. Prometteur sur le papier, mais dans les faits, même les modèles les plus avancés de 2026 échouent encore dramatiquement. Un nouveau benchmark baptisé APEX-Agents vient de jeter un froid sur l’enthousiasme ambiant autour des agents IA agentiques.
Depuis que Satya Nadella a annoncé en 2024 que l’IA allait remplacer une grande partie du knowledge work, les promesses se sont multipliées. Pourtant, dans les cabinets de conseil, les départements juridiques et les salles de marché, le bouleversement attendu tarde à se matérialiser. Pourquoi ? Une équipe de chercheurs chez Mercor, une plateforme spécialisée dans le recrutement de talents experts, a décidé de trancher la question de manière très concrète.
APEX-Agents : le benchmark qui met les agents face à la réalité du terrain
Mercor ne s’est pas contenté de poser des questions théoriques ou de tester des tâches génériques. L’équipe a construit un environnement complet reproduisant les outils et les flux d’information réels des professions intellectuelles à haute valeur ajoutée : Slack, Google Drive, emails, bases de connaissances internes, documents réglementaires… Tout y est.
Les questions proviennent directement de professionnels exerçant dans le consulting, la banque d’investissement et le droit. Ces experts ont également défini ce qu’est une réponse acceptable. Résultat ? Même les meilleurs modèles du moment plafonnent à environ 24 % de réussite en one-shot (sans itération ni feedback humain).
« Les modèles sont comme un stagiaire qui aurait raison un quart du temps. L’année dernière, c’était plutôt 5 à 10 %. Les progrès sont fulgurants, mais on est encore très loin du compte. »
– Brendan Foody, CEO de Mercor
Ce chiffre peut paraître faible, mais il est terriblement parlant quand on sait que ces tâches représentent précisément le cœur de métier de profils facturés plusieurs centaines d’euros par heure.
Pourquoi les agents IA patinent-ils autant ?
Le principal écueil réside dans ce que les chercheurs appellent le multi-domain reasoning : la capacité à naviguer et synthétiser des informations provenant de sources hétérogènes et non structurées. Dans la vraie vie, un juriste ou un banquier ne reçoit jamais toutes les informations dans un prompt unique et parfaitement formaté.
Voici les principaux points de friction observés :
- Localisation et extraction d’informations dispersées dans plusieurs outils
- Compréhension fine des politiques internes d’entreprise combinée à la réglementation externe
- Gestion de l’ambiguïté et des cas limites (gray areas)
- Maintien d’un raisonnement cohérent sur des chaînes de tâches longues
- Évaluation du niveau de confiance et décision d’appeler un humain quand c’est nécessaire
Ces compétences, qui semblent naturelles pour un professionnel expérimenté, restent des points faibles majeurs pour les systèmes actuels, même équipés de capacités agentiques avancées.
Les scores qui font réfléchir les grands labs
Voici le classement (approximatif) publié par Mercor en janvier 2026 :
- Gemini 3 Flash : 24 %
- GPT-5.2 : 23 %
- Opus 4.5 : ~18 %
- Gemini 3 Pro : ~18 %
- GPT-5 : ~18 %
Aucun modèle ne dépasse donc le seuil symbolique des 25 %. Pour comparaison, un humain normalement compétent dans ces domaines devrait se situer au-dessus de 80-85 % sur ce type d’exercices.
Ce benchmark se distingue nettement de précédents travaux comme le GDPval d’OpenAI, qui mesurait des connaissances générales plutôt que la capacité à exécuter des tâches soutenues et contextualisées dans des environnements réalistes.
Un exemple concret qui illustre tout
Parmi les questions publiques publiées sur Hugging Face, en voici une extraite de la catégorie Droit :
« Pendant les 48 premières minutes de la panne de production EU, l’équipe engineering de Northstar a exporté un ou deux jeux de logs d’événements de production EU contenant des données personnelles vers le vendor analytics américain… Selon les propres politiques de Northstar, peut-on raisonnablement considérer ces un ou deux exports de logs comme conformes à l’Article 49 ? »
– Exemple de question APEX-Agents (catégorie Law)
Réponse attendue : oui, mais uniquement après avoir croisé :
- Les politiques internes de transfert de données de Northstar
- Les conditions strictes de l’Article 49 du RGPD
- La qualification des logs comme données personnelles
- L’urgence liée à l’incident de production
Vous comprenez maintenant pourquoi même un excellent LLM généraliste peut se perdre rapidement dans ce genre de raisonnement imbriqué.
Quelles implications pour les startups et les directions marketing ?
Pour les fondateurs et les CMOs qui lisent ces lignes, la leçon est double :
1. Pas de révolution immédiate dans les métiers à haute valeur intellectuelle
Les promesses de remplacement complet des consultants, juristes corporate ou analysts M&A ne sont pas pour demain. Les agents IA restent, pour l’instant, des outils d’assistance plutôt que des remplaçants autonomes sur les tâches critiques.
2. Mais une accélération massive des tâches périphériques et répétitives
Ce qui fonctionne déjà très bien :
- Recherche et synthèse documentaire de premier niveau
- Rédaction d’emails, de slides, de briefs marketing
- Analyse quantitative simple (tableaux croisés, dashboards automatisés)
- Veille concurrentielle automatisée
- Qualification de leads en outbound via email personnalisé
En résumé : l’IA excelle sur les 20-30 % les plus simples et répétitifs de chaque métier intellectuel. Les 70 % restants, ceux qui font la vraie différence et justifient les honoraires élevés, restent très largement du domaine humain… pour encore quelques trimestres au moins.
Vers une hybridation inévitable du travail intellectuel
Brendan Foody lui-même reste optimiste sur le rythme d’amélioration :
« Les progrès sont tellement rapides que ce qui est impossible aujourd’hui peut devenir trivial d’ici 12 à 18 mois. »
– Brendan Foody
La plupart des experts s’accordent sur le fait que le futur ne sera pas « humain vs IA », mais bien humain + IA, avec une répartition très différente des tâches selon les niveaux de complexité et de criticité.
Pour les startups tech et les scale-ups marketing, cela signifie qu’il devient stratégique de :
- Identifier dès maintenant les 30 % de tâches les plus chronophages et les plus standardisables
- Construire des workflows agentiques internes adaptés à votre stack (pas seulement ChatGPT dans un onglet)
- Former ses équipes à devenir des « pilotes d’agents » plutôt que des exécutants purs
- Anticiper les futures itérations du benchmark APEX-Agents pour mesurer objectivement vos propres gains de productivité
Et après ? Les prochaines étapes attendues
Le benchmark APEX-Agents étant public, il devient une référence incontournable pour les labs. On peut s’attendre à ce que :
- Les prochaines versions des grands modèles (Gemini 4, GPT-6, Claude 5…) soient spécifiquement entraînées ou fine-tunées pour mieux performer sur ce type d’évaluation
- De nouveaux environnements de test multi-outils encore plus réalistes émergent
- Les entreprises qui utilisent déjà des agents en interne commencent à publier leurs propres métriques de performance
En parallèle, le marché du travail intellectuel va se polariser : d’un côté les profils juniors dont une partie des tâches risque d’être automatisée, de l’autre les seniors capables de superviser, corriger et orienter des flottes d’agents IA sur des problématiques complexes.
Conclusion : prudence et expérimentation
Les agents IA ne sont clairement pas encore prêts à remplacer les professionnels du savoir dans les domaines à forte valeur et à haute responsabilité. Mais ils progressent à une vitesse inégalée.
Pour les entrepreneurs, marketeurs et dirigeants tech, le bon réflexe aujourd’hui est double :
- Ne pas surestimer les capacités actuelles → éviter les décisions stratégiques basées sur l’illusion d’une autonomie totale
- Ne pas sous-estimer la pente d’amélioration → mettre en place dès maintenant des boucles d’expérimentation et de mesure
Le benchmark APEX-Agents est un rappel salutaire : l’IA agentique a déjà réalisé un bond impressionnant, mais le dernier kilomètre — celui qui sépare l’assistant prometteur du collaborateur fiable — est toujours le plus difficile.
Et vous, où en êtes-vous dans l’intégration d’agents IA dans vos processus marketing, sales ou opérationnels ?
(Environ 3400 mots)
