Lors de la conférence des développeurs WWDC 2024, Apple a présenté sa nouvelle technologie d’IA générative baptisée « Apple Intelligence ». Plus qu’une simple fonctionnalité destinée aux consommateurs, elle sera aussi mise à disposition des développeurs pour intégrer des expériences alimentées par l’IA dans leurs propres applications.
Des SDK mis à jour avec de nouvelles API pour l’IA
Les SDK d’Apple ont été enrichis avec une variété d’API et de frameworks permettant aux créateurs d’apps d’intégrer facilement des fonctionnalités IA. Par exemple, le « Image Playground » pour la génération d’images par IA ne nécessite que quelques lignes de code. Apple a montré comment une app comme Craft pourrait l’utiliser pour rendre les documents plus visuels en y ajoutant des illustrations générées par IA.
De même, les outils d’écriture assistée par IA seront automatiquement disponibles dans toute app utilisant la vue standard d’édition de texte. L’app Bear Notes pourra ainsi directement proposer de réécrire, corriger ou résumer des notes.
Siri pourra contrôler les apps tierces
Apple développe aussi de nouvelles façons pour Siri d’interagir avec les apps. Les développeurs ayant déjà adopté SiriKit bénéficieront immédiatement de nombreuses améliorations sans effort supplémentaire, dans des domaines comme les listes, notes, média, messagerie, paiements, réservations, appels VoIP ou suivi d’activité.
Siri pourra invoquer n’importe quel élément des menus d’une app. Par exemple, demander « montre mes notes de présentation » dans une app de diapositives. L’assistant pourra aussi accéder à tout texte affiché à l’écran avec les systèmes de texte standard d’Apple, permettant de le référencer dans des commandes vocales.
Apple Intelligence au service des App Intents
Le framework App Intents, qui permet des interactions légères façon mini-apps sans installation, va aussi tirer parti d’Apple Intelligence. Apple définit de nouveaux « intents » pour les développeurs dans un premier ensemble de catégories : livres, navigateurs, caméras, lecteurs de documents, gestion de fichiers, journaux, mail, photos, présentations, tableurs, tableaux blancs et traitements de texte.
Prédéfinis et testés par Apple, ces intents seront plus faciles à adopter. Une app de retouche photo comme Darkroom pourrait utiliser l’intent « Apply Filter » pour qu’un utilisateur puisse dire « Applique un effet cinéma sur la photo d’Ian prise hier ». D’autres domaines viendront s’ajouter avec le temps. Initialement pilotables via Raccourcis, les intents seront à terme directement déclenchables par Siri.
Des capacités conversationnelles améliorées pour Siri
Les apps rentrant dans les domaines existants de SiriKit profiteront aussi de l’IA pour des échanges plus naturels. Siri comprendra mieux les hésitations, les références à des éléments précédents de la conversation, et répondra de façon plus pertinente même en cas de formulation maladroite.
De plus, une nouvelle API Spotlight permettra à Siri de rechercher des données dans les apps, en s’appuyant sur l’indexation sémantique des photos, messages, fichiers, événements et autres entités.
Engouement des développeurs pour l’IA d’Apple
Ces annonces ont suscité un vif intérêt chez les développeurs présents, impatients de proposer des expériences plus intelligentes et personnalisées dans leurs apps. Avec Apple Intelligence, la firme confirme sa volonté d’être un acteur majeur de l’IA, au service des utilisateurs mais aussi de son écosystème de créateurs tiers.
D’autres nouveautés ont été dévoilées en marge d’Apple Intelligence, comme une app de gestion de mots de passe maison, des Bitmoji générés par IA, une calculatrice sur iPad ou encore l’arrivée des puces M1 sur Mac.
- Apple démocratise l’IA pour les développeurs avec Apple Intelligence
- Intégration facilitée dans les apps via de nouvelles API
- Siri pourra interagir avec les apps et leur contenu de façon plus naturelle
Nous avons hâte de faire des intégrations avec d’autres modèles, y compris Google Gemini par exemple, à l’avenir.
Craig Federighi, vice-président senior de l’ingénierie logicielle chez Apple
Nul doute qu’Apple Intelligence, en donnant plus de pouvoir à Siri et aux développeurs, va contribuer à façonner l’avenir des interactions homme-machine sur les appareils de la marque. Une nouvelle ère s’ouvre, où l’IA s’invite au cœur de l’écosystème Apple pour le rendre toujours plus intelligent.
