Fabrice Barbin, de Synergiz, seul MVP Kinect en France, présente cette session qui n’est pas que technique, mais également sur les usages qui peuvent être faits de la Kinect pour des applications de terrain.
Kinect, ce n’est en effet pas que le capteur de mouvements de la XBox qui permet de jouer sans manette, mais également un matériel dédié au PC. Celui-ci est basé sur le même capteur, mais avec quelques toutes petites différences, en particulier le fait que l’usage commercial n’est possible que sur cette dernière version.
Kinect Studio enregistre et rejoue les gestes, ce qui est très pratique pour mettre en place des tests unitaires des développements. Le test est d’ailleurs un des aspects sur lesquels il faut faire bien attention lorsqu’on crée une application Kinect. En effet, en fonction des personnes, le même geste sera réalisée de plusieurs manières potentiellement très différentes. Il est important que l’algorithme prenne ceci en compte, et ne se base pas sur une version trop stricte du geste.
Fabrice insiste ensuite sur l’aspect “libérateur” de Kinect :
- par l’hygiène (non contact)
- par la capacité de navigation hors-horaire dans un stock
- par l’aspect user-centric (passer les pubs sur un écran)
- par l’économie (scan 3D abordable)
- par l’adaptation au contexte
On peut détecter la proximité pour n’afficher que des grandes images lorsque la personne est loin, ou du texte en plus lorsqu’elle se rapproche. La gamification est également de mise, en rendant la technologie, et donc son utilisation, plus naturelle.
Éducation, santé et marketing sont dans l’ordre les trois domaines où la Kinect a à ce jour le plus d’utilisation :
- Dans l’éducation, cela peut passer par l’éveil par le geste avant la connaissance du texte, l’utilisation exploratoire (cosmos, ADN, etc.)
- Dans la santé, Kinect peut aider par la gestion des commandes sans contact (milieu aseptisé) ou par une approche plus ludique et moins technique des maladies pour rassurer les jeunes malades.
- Dans le marketing, il s’agit de la prise de mesures, de l’essayage virtuel, de l’animation de lieu de vite et de l’accès au catalogue, voire au configurateur virtuel, ce qui donne accès a un spectre très large de matériels qu’il serait impossible de garder en stock.
Fabrice montre ensuite un usage de Kinect + Lync pour une borne d’accueil remplaçant un standard physique hors horaire. La personne cherche dans un annuaire et appelle la personne choisie, le tout par des gestes.
Je n’ai malheureusement pas eu le temps de prendre en photo le code montré, mais les classes .NET principale à utiliser sont SpeechRecognitionEngine et LyncClient pour ce qui est de la voix. Pour ce qui est de la reconnaissance des gestes, je ne crois pas qu’il ait été précisé s’il s’agissait des gestures reconnues en standard par le SDK Kinect ou si du code spécifique a été créé. Klynect est le nom de l’appli, il faudra voir si elle est open source.
La session finit par un retour d’expérience sur la borne B-Ki, qui est déjà utilisée en production. Il s’agit d’une borne interactive pilotée par Kinect. Elle embarque une couche unifiée de récupération des gestes, qui appelle des services indépendants, avec un cache pour les données en provenance d’office 365.
Un autre exemple est une vitrine interactive basée sur un automate a états finis. Dans les deux cas, Fabrice insiste sur l’importance du feedback, car les utilisateurs ne sont pas encore habitués à ce type d’interaction. Il cite l’exemple courant des utilisateurs qui essaient de manipuler l’interface en touchant l’écran. Comme quoi ces gestes, qui ne sont pourtant pas vieux, sont déjà très ancrés dans la culture informatique…
Il faut également faire attention à la configuration des lieux : adapter pour un utilisateur séparé des spectateurs, sinon la Kinect a du mal à suivre la personne en charge de commander l’application. Une personne portant un sac peut également poser des problèmes de reconnaissance du squelette. Ces cas de non-reconnaissance doivent être correctement gérés et communiqués aux utilisateurs par un retour visuel, sinon ils risquent de croire que l’application ne fonctionne pas du tout. Dans les exemples montrés, l’interface affiche toujours un petit squelette en bas, avec un code couleur indiquant que la personne est trop près ou pas assez.
Enfin, Fabrice finit sur l’importance de calibrer les gestes (enfant / adulte, différence sur la position de la Kinect au sol, en haut, etc.). Comme il le faisait remarquer en début de session, peu de gestes sont innés, et les nuances de personne a personne sont très fortes.
Au final, session très intéressante : on aurait pu tomber sur une simple explication de quelques exemples du SDK (et c’est peut-être ce qu’attendaient quelques personnes), mais il s’agissait bien, comme le titre l’indiquait, de retours d’expérience de niveau industriel, ce qui, mais c’est un avis perso, était bien plus enrichissant.
