Apple présente en avant-première les nouvelles fonctionnalités d'accessibilité basées sur l'IA fournies avec iOS 18
Apple apportera de nouvelles fonctionnalités d'accessibilité basées sur l'IA sur iPhone, iPad, Mac, CarPlay et Vision Pro avec iOS 18 et d'autres mises à jour qui seront disponibles cet automne.
iOS 18 et iPadOS 18 apporteront plus d'une douzaine de nouvelles fonctionnalités d'accessibilité, notamment le suivi oculaire, l'haptique musicale, les signaux de mouvement du véhicule, la saisie en survol et bien d'autres qui seront disponibles sur iPhone, iPad, Mac, CarPlay et Vision Pro cet automne.
Beaucoup semblent utiliser l’intelligence artificielle (IA), qui devrait être le principal thème sous-jacent d’iOS 18 et des autres mises à jour du système d’exploitation Apple à venir cet automne. Une fonctionnalité intéressante vise à prévenir le mal des transports lors de l’utilisation d’un iPhone dans un véhicule en mouvement.
Les nouvelles fonctionnalités d'accessibilité Apple à venir cet automne
Apple a présenté en avant-première plusieurs nouvelles fonctionnalités d'accessibilité avant la Journée mondiale de sensibilisation à l'accessibilité. L'annonce dans le Salle de presse Apple confirme que bon nombre de ces fonctionnalités sont basées sur l’intelligence artificielle et l’apprentissage automatique, vous donnant un avant-goût de ce qui va arriver avec les capacités d’IA supposées d’iOS 18.
Naviguez sur un iPhone ou un iPad avec vos yeux, à la manière de Vision Pro
Cela vous permettra de naviguer sur un iPhone ou un iPad avec seulement vos yeux. En tirant les leçons du casque Vision Pro, Apple vous permettra de naviguer dans l'interface utilisateur et les applications iOS uniquement avec vos yeux. Le suivi oculaire tire parti de la caméra frontale et de l’apprentissage automatique sur l’appareil.
Ressentez la musique grâce au retour haptique
Music Haptics utilisera votre Taptic Engine, le moteur vibratoire personnalisé de l'iPhone, pour produire des vibrations raffinées telles que des tapotements et des textures afin que les personnes malentendantes puissent ressentir la musique. Apple affirme que Music Haptics fonctionne « sur des millions de chansons » dans le catalogue Apple Music. De plus, la société fournira une API aux développeurs pour « rendre la musique plus accessible dans leurs applications ».
Un trackpad virtuel redimensionnable
AssistiveTouch obtient un trackpad virtuel pour naviguer sur votre iPhone ou iPad en déplaçant votre doigt sur une petite région de l'écran. Ce trackpad virtuel est redimensionnable.
Énonciations Siri personnalisées pour des raccourcis de lancement rapide
Les raccourcis vocaux sont une autre nouvelle fonctionnalité avec du potentiel. Il vous permet de créer des énoncés personnalisés permettant à Siri de lancer des raccourcis pour effectuer des tâches complexes.
Vous choisirez une action et enregistrerez une phrase parlée personnalisée trois fois pour apprendre à votre iPhone à la reconnaître. Cela vous permettra de déclencher des raccourcis et d'effectuer des tâches complexes en prononçant une phrase appropriée.
La saisie au survol agrandit la police dans les champs de texte
Ne détestez-vous pas qu'une page Web ou une application utilise une petite police pour un champ de texte qui vous oblige à plisser les yeux ? Avec Hover Typing, un iPhone détectera lorsque vous interagissez avec un champ de texte et affichera un texte plus grand au-dessus lors de la saisie. Cela fonctionnera partout où vous pouvez saisir du texte dans des champs, y compris pour discuter dans Messages.
Prévenez le mal des transports lorsque vous utilisez un iPhone dans un véhicule en mouvement
Le mal des transports est causé lorsque votre cerveau reçoit une entrée sensorielle contradictoire où vos yeux ressentent une chose, mais votre corps en ressent une autre, comme lorsque vous utilisez un iPhone (regardant un contenu statique) pendant que vous conduisez un véhicule (sensation de mouvement).
Vehicle Motion Cues vise à atténuer ce conflit sensoriel en animant des points sur les bords de l'écran en fonction des changements de mouvement du véhicule. La fonctionnalité utilise des capteurs intégrés et peut être configurée pour entrer automatiquement en action lorsqu’elle détecte que vous êtes dans un véhicule en mouvement, mais vous pourrez également l’activer dans le centre de contrôle.
CarPlay gagne le contrôle vocal, les filtres de couleur et la reconnaissance sonore
La commande vocale pour CarPlay vous permettra d'utiliser votre voix pour naviguer dans l'interface et les applications CarPlay avec votre voix. La fonctionnalité prendra en charge les vocabulaires personnalisés et les mots complexes. CarPlay reprendra également deux fonctionnalités d'accessibilité existantes de l'iPhone : les filtres de couleur et la reconnaissance sonore.
Les filtres de couleur utilisent une police de caractères plus audacieuse et des tailles de police plus grandes pour rendre l'interface CarPlay visuellement plus facile à utiliser. La reconnaissance sonore informera l'utilisateur des bruits de circulation importants comme les klaxons et les sirènes de voiture.
VoiceOver : raccourcis clavier personnalisés et bien plus encore
Les utilisateurs Mac pourront personnaliser les raccourcis clavier VoiceOver. De plus, VoiceOver bénéficiera de nouvelles voix, de la prise en charge d'un Voice Rotor flexible et d'un contrôle de volume personnalisé.
Mode lecteur et autres informations sur la loupe
Magnifier apportera une nouvelle fonctionnalité appelée Reader Mode, mais Apple n'a pas précisé à quoi elle sert. Cela ressemble au mode Lecteur dans Safari. Peut-être que cela présentera le texte reconnu de votre environnement (comme les menus de restaurant, la signalisation, etc.) sous forme de texte brut. Les utilisateurs d’iPhone 15 et d’iPhone 15 Pro pourront ouvrir rapidement le mode de détection de la loupe en appuyant sur le bouton d’action.
4 nouvelles fonctionnalités d'accessibilité pour Vision Pro
Apple n'a pas oublié visionOS. À l'automne, visionOS 2 bénéficiera de quatre améliorations liées à l'accessibilité. La fonctionnalité Live Captions existante sera disponible dans tout le système, pas seulement sur FaceTime.
'Apple Vision Pro ajoutera la possibilité de déplacer les sous-titres à l'aide de la barre de fenêtre pendant Apple Immersive Video, ainsi que la prise en charge d'appareils auditifs Made for iPhone et de processeurs auditifs cochléaires supplémentaires', déclare Apple.
De plus, Vision Pro bénéficiera des fonctionnalités Réduire la transparence, Inversion intelligente et Lumières clignotantes faibles qui étaient disponibles sur d'autres appareils Apple mais n'ont pas été retenues pour la version initiale de visionOS.
Titdibts : mises à niveau de la voix personnelle, écoute des discours atypiques
Les utilisateurs du braille bénéficieront d'une nouvelle façon de démarrer et de rester dans la saisie d'écran en braille pour un contrôle et une édition de texte plus rapides. En parlant de cela, la prise en charge de la langue japonaise arrive dans Braille Screen Input et du braille multiligne dans Dot Pad. Il y aura également la possibilité de choisir différentes tables d'entrée et de sortie.
La voix personnelle sera disponible en chinois mandarin. FApple a modifié l'intégration de Personal Voice pour utiliser des phrases raccourcies pour les personnes qui ont des difficultés à prononcer ou à lire des phrases complètes. Live Speech inclura des catégories et une « compatibilité simultanée avec Live Captions ».
Voice Control prendra en charge les vocabulaires personnalisés et les mots complexes, et Switch Control utilisera l’appareil photo d’un iPhone pour détecter les gestes du doigt en tant que commutateurs.
Enfin, une fonctionnalité appelée Listen for Atypique Speech améliorera la reconnaissance vocale en utilisant l'apprentissage automatique sur l'appareil pour reconnaître vos modèles de parole. Apple affirme que cette fonctionnalité améliore la reconnaissance vocale « pour un plus large éventail de paroles ».
Propulsé par l'IA, bien sûr !
J'ai trouvé intéressant que bon nombre des fonctionnalités ci-dessus fassent largement appel à l'intelligence artificielle et à l'apprentissage automatique. J'ai compté : l'annonce d'Apple Newsroom mentionne trois fois chacune « l'intelligence artificielle » et « l'apprentissage automatique ».
Ceci n’est qu’un aperçu des autres fonctionnalités basées sur l’IA qui devraient arriver sur iOS 18 et sur les autres plates-formes logicielles d’Apple à l’automne, en particulier les améliorations de Siri. basé sur de grands modèles de langage intégrés à l'appareil et capacités d'IA générative .