Le SSLI Lab (Signal, Speech and Language Interpretation Laboratory) de l’Université de Washington (UW) vient de mettre au point un nouveau type de souris : le "vocal joystick (VJ)". Cette souris est dirigée à l’aide de la voix et est destinée aux personnes éprouvant un handicap manuel. Cette innovation s’inscrit dans un vaste programme de recherche de l’UW, sur les technologies d’assistance aux personnes handicapées. Les chercheurs travaillent notamment en collaboration avec l’UWCTDS (University of Washington Center for Technology and Disability Studies). Ce projet est par ailleurs financé par la National Science Foundation.
La force de ce projet réside dans la simplicité d’utilisation de la souris et dans sa capacité d’adaptation. Des expériences réalisées sur des personnes handicapées ont montré que l’utilisation du VJ était très intuitive et donc facile à apprendre. Les patients pouvaient s’en servir plusieurs heures de suite sans sentir de fatigue dans la voix. Bien que ce système ne s’appuie pas sur les développements récents réalisés en ASR (Automatic Speech Recognition), il est en mesure de reconnaître les types de commandes vocales indépendamment des dialectes et des accents de prononciation. Il requiert peu de ressource informatique et devrait être supporté par une grande majorité des applications.
Pour diriger la souris l’utilisateur émet des voyelles, chacune définissant une direction. Par exemple un "ahhhhh" bougera le curseur vers le nord-est, un "houuuuu" vers le sud (en référence aux points cardinaux). Le schéma ci-dessous montre le rapport entre les voyelles et les directions. Un avantage de ce système est qu’il est plus rapide que l’ARS. Selon le professeur Jeff Bilmes : "Il serait plus lent de déplacer le curseur à l’aide de commande discrètes comme "bouge à droite", "va plus vite" ; La voix est capable de commandes continues rapides et faciles à dire". Par ailleurs en plus de la prononciation des voyelles, d’autres caractéristiques de la voix sont également prises en compte comme l’énergie et le ton. L’énergie permet de régler la vitesse du curseur. Une voix faible produira un mouvement lent de la souris alors qu’au contraire une voix forte produira un mouvement rapide. Le ton bien qu’il soit mesuré, est pour le moment inutilisé ce qui laisse un degré de liberté supplémentaire pour le futur. Les sons ‘ch’ et ‘t’ permettent quant à eux de simuler les clicks de la souris.
Le fonctionnement du "Joystick vocal" est divisé en 3 modules. Le premier consiste a capturer le son en temps réel (100 fois par seconde) et d’en extraire certaines caractéristiques comme l’énergie, des coefficients d’auto corrélation, un spectre de fréquences. Ces informations sont en suite traitées pour obtenir un lissage de l’énergie, une authentification des voyelles ainsi qu’un décryptage du ton. Ces caractéristiques sont ensuite transformées en vitesse et en direction pour déplacer le curseur.
Il est vrai que de nombreux autres systèmes alternatifs à la souris manuelle existent. L’un d’eux s’appuie sur une traque de l’oeil, reproduisant ses mouvements sur le curseur. Un autre un peu similaire utilise la traque de la tête. Cependant ces systèmes restent coûteux. Ils obligent par ailleurs l’utilisateur à déplacer le curseur tout en lisant l’information ce qui peut prêter à confusion. Le "ip-and-puff joystick" se manie quant à lui avec la bouche. Il peut être fatigant pour une utilisation longue. A l’opposé le VJ requiert uniquement un microphone et une carte graphique, et ne semble pas poser de problème dans la durée.
Le "Vocal Joystick" n’en est encore qu’à ses premiers stades de développement. Dans les prochaines versions, J. Bilmes espère ainsi prendre en compte de nouvelles caractéristiques de la voix comme la répétition de sons, la vibration de la voix, ou même le degré d’émotion. Ce système pourrait être appliqué à d’autres domaines. Des essais préliminaires ont été effectués pour diriger un bras robotique.
Source :
– "Computer mouse driven by sound" – The Seattle Times – 10/09/08 – https://www.physorg.com/news142776976.html
– "The Vocal Joystick"-rapport du SSLI: https://seattletimes.nwsource.com/html/businesstechnology/2008272219_fccbroadband16.html
– "Generating ‘oohs’ and ‘aahs’: Vocal Joystick uses voice to surf the Web" : Hannah Hickey – 10/09/08 – https://uwnews.org/article.asp?articleID=37134
Pour en savoir plus, contacts :
– Site du laboratoire SSLI : https://ssli.ee.washington.edu/
– Description brève du "sip-n-puuf joystick" : https://www.axistive.com/what-are–sip-n-puff–mouth-controlled-joysticks-.html
– Site du programme WATAP (Washington Assistive Technology Act Program): https://watap.org/
Code brève
ADIT : 56407
Rédacteur :
Arnaud Souillé ; [email protected]
