Lors de l’Augmented World Expo mardi dernier, Snap a dévoilé en avant-première une version préliminaire de son modèle révolutionnaire de diffusion d’image en temps réel, fonctionnant directement sur l’appareil. Cette innovation promet de générer des expériences de réalité augmentée (AR) d’une grande richesse visuelle. La société a également annoncé de nouveaux outils d’IA générative destinés aux créateurs AR.

Un modèle compact et ultra-rapide

Bobby Murphy, co-fondateur et directeur technique de Snap, a souligné sur scène les prouesses de ce modèle. Suffisamment compact pour tourner sur un smartphone, il se montre assez véloce pour re-générer des images en temps réel, guidé par un simple prompt textuel.

Si l’émergence des modèles génératifs de diffusion d’image a suscité beaucoup d’enthousiasme, Murphy a expliqué que ces derniers doivent gagner significativement en rapidité pour avoir un réel impact en réalité augmentée. C’est précisément sur cet axe d’accélération des modèles de machine learning que se sont concentrées les équipes de Snap.

Les utilisateurs de Snapchat pourront expérimenter les premiers Lenses intégrant ce modèle génératif dans les mois à venir. Snap prévoit de mettre cet outil à disposition des créateurs d’ici la fin de l’année.

Ce modèle, ainsi que les futurs modèles génératifs de ML temps réel embarqués, ouvrent une direction passionnante pour la réalité augmentée. Ils nous amènent à reconsidérer totalement notre façon d’imaginer, de créer et de rendre les expériences AR.

– Bobby Murphy, co-fondateur et CTO de Snap

Lens Studio 5.0 : l’IA générative au service des créateurs AR

Murphy a également annoncé le lancement ce jour de Lens Studio 5.0, offrant aux développeurs l’accès à de nouveaux outils d’IA générative. Ces derniers promettent d’accélérer drastiquement le processus de création d’effets AR, réduisant potentiellement des semaines voire des mois de travail.

Grâce à ces outils, les créateurs AR pourront :

• Générer des effets de visage ML ultra-réalistes pour des Lenses selfie
• Créer des effets de stylisation personnalisés, appliquant une transformation réaliste sur le visage, le corps et l’environnement de l’utilisateur en temps réel
• Générer un asset 3D en quelques minutes et l’intégrer dans leurs Lenses
• Créer des avatars comme des aliens ou des sorciers à partir d’un prompt textuel ou d’une image, en utilisant la technologie Face Mesh de Snap
• Générer des masques faciaux, des textures et des matériaux en un rien de temps

De plus, la dernière version de Lens Studio intègre un assistant IA capable de répondre aux questions des créateurs AR.

Snap à la pointe de l’innovation AR

Avec ces annonces, Snap confirme son statut de leader dans le domaine de la réalité augmentée. En mettant la puissance de l’IA générative entre les mains des créateurs, la société ouvre la voie à une nouvelle génération d’expériences AR plus immersives et interactives que jamais.

La démocratisation de ces outils de pointe devrait stimuler la créativité et faire émerger des usages inédits de la réalité augmentée, aussi bien dans le domaine du divertissement que dans des secteurs comme l’éducation ou le commerce.

Reste à voir comment les utilisateurs de Snapchat accueilleront ces innovations dans les prochains mois. Une chose est sûre : avec son modèle de diffusion d’image en temps réel et ses outils d’IA générative pour les créateurs, Snap semble bien armé pour révolutionner notre rapport à la réalité augmentée.