Imaginez un monde où les barrières linguistiques n’existent plus dans les contenus vidéo. C’est le pari audacieux que s’est lancé Panjaya, une startup qui révolutionne le doublage grâce à l’intelligence artificielle générative. Leur solution baptisée BodyTalk promet de recréer de manière hyperréaliste la voix du locuteur original s’exprimant dans une nouvelle langue, tout en synchronisant automatiquement les mouvements des lèvres et du corps. Une prouesse technologique qui ouvre de nouvelles perspectives pour le marché de la traduction audiovisuelle.

Les coulisses de Panjaya, la pépite de la deeptech israélienne

Derrière cette innovation se cache le duo de choc Hilik Shani et Ariel Shalom, deux experts en deep learning qui ont œuvré pendant des années au sein des services secrets israéliens. En 2021, ils décident de troquer leur costume d’agents secrets pour celui d’entrepreneurs en fondant Panjaya. Un an et demi plus tard, ils sont rejoints par Guy Piekarz au poste de CEO, un serial entrepreneur qui avait précédemment vendu sa startup Matcha à Apple.

Ensemble, ils lèvent 9,5 millions de dollars auprès de prestigieux investisseurs pour donner vie à leur vision : démocratiser l’accès aux contenus vidéo grâce au doublage IA. Leur premier produit BodyTalk combine ainsi :

• Un moteur de traduction audio dans 29 langues
• Une synthèse vocale qui imite à la perfection la voix du locuteur original
• Un algorithme de lipsync et de modification des mouvements du corps pour coller au nouveau discours

BodyTalk, un outil de doublage IA aussi simple qu’un éditeur vidéo

Concrètement, il suffit de charger sa vidéo sur la plateforme BodyTalk pour obtenir en quelques minutes seulement une version doublée d’une qualité bluffante. L’outil s’appuie sur des modèles de langage et autres briques d’IA générative provenant de fournisseurs tiers, mais c’est bien Panjaya qui a développé en interne les algorithmes de lipsync et d’animation des mouvements, introuvables sur le marché.

Notre moteur de lipsync a été entièrement conçu par notre équipe de recherche en IA, car nous n’avons rien trouvé qui atteigne ce niveau de qualité pour plusieurs locuteurs, angles et cas d’usage.

Guy Piekarz, CEO de Panjaya

L’interface de BodyTalk se veut intuitive avec un dashboard permettant de gérer et d’éditer ses vidéos doublées. À terme, Panjaya compte proposer une API pour intégrer son outil dans des workflows et vise un traitement en quasi temps réel.

Le doublage IA, un marché à fort potentiel dans les médias et au-delà

Si la startup cible pour l’instant uniquement une clientèle B2B, son ambition est grande. Parmi ses premiers clients figurent l’éditeur de logiciels JFrog et l’organisation média TED. À travers BodyTalk, Panjaya espère séduire les acteurs des médias, du sport, de l’éducation, du marketing, de la santé…

Car le doublage IA offre de nombreux avantages par rapport aux techniques traditionnelles : un gain de temps et d’argent significatif, mais aussi un rendu plus naturel et engageant qu’avec de simples sous-titres. Selon les premiers retours de TED, les vidéos doublées avec BodyTalk ont vu leur nombre de vues augmenter de 115% et leur taux de complétion doubler par rapport aux versions originales.

Les garde-fous éthiques, un impératif pour éviter les dérives des deepfakes

Si la technologie de Panjaya s’apparente à celle des deepfakes, Guy Piekarz tient à s’en distinguer, ce terme ayant une connotation négative associée à la désinformation. Il préfère parler de « deep real », une IA générative au service d’un doublage vidéo de haute qualité, éthique et transparent.

Pour éviter toute dérive, plusieurs garde-fous ont été mis en place comme le fait de se concentrer uniquement sur le marché B2B, de contrôler qui a accès à l’outil ou encore de réfléchir à des techniques de watermarking pour tracer les contenus modifiés par IA. Car le deepfake et ses déclinaisons dans d’autres domaines suscitent de nombreux débats sur les dérives potentielles de l’IA générative.

Vers un nouvel âge d’or des contenus vidéo multilingues ?

Avec son approche innovante du doublage IA, Panjaya s’attaque à un véritable enjeu à l’heure de la mondialisation des contenus. Si l’anglais reste la lingua franca du web, de nombreuses études montrent que les utilisateurs sont plus engagés lorsqu’on s’adresse à eux dans leur langue maternelle, en particulier dans un contexte B2B.

Dans ce contexte, BodyTalk pourrait bien devenir un outil précieux pour les créateurs et diffuseurs de contenus vidéo à l’international. En rendant le doublage IA accessible, rapide et qualitatif, Panjaya ouvre la voie à une nouvelle ère de vidéos multilingues qui effacent les barrières de la langue. Une petite révolution dont on n’a pas fini d’entendre parler.