Co-animateurs de l’axe : Jean-Claude Martin (CNRS/LIMSI), Mounim El-Yacoubi (Telecom SudParis/SAMOVAR), Eric Brunet-Gouet (UVSQ/HANDIReSP)

Le mouvement corporel est un moyen par lequel un agent qu’il soit un humain ou artificiel (robot ou personnage virtuel) participe à la dynamique de son environnement (réel ou simulé). C’est aussi ce par quoi cet agent est perçu / reconnu et que son activité, ses actions sont interprétées et trouvent leur sens par exemple en termes d’émotions, d’actions et, plus généralement, d’activité intentionnelle. Autour du point de rencontre qu’est l’interaction motrice au sens large, cet axe confronte les apports théoriques, les méthodes, les résultats de disciplines de recherche telles que l’informatique, la robotique, la linguistique (langue des signes), les neurosciences sociales et la santé (handicap psychique et neuro-cognitif). De ces rapprochements, cet axe vise à susciter des innovations significatives en termes théoriques, d’approche expérimentale chez l’humain, de conception et évaluation de nouveaux usages de la technologie en situation normale ou de handicap. Il dispose de deux plateformes de recherche : EVR@ (RV/RA) et Mii Smart Home (appartement intelligent).

Sous-thème 1 : Cognition sociale : évaluation et intervention thérapeutique (Social cognition: assessment and therapy)

PI: Christine Le Scanff (CIAMS), Edith Filaire (CIAMS), Eric Brunet-Gouet (HANDIReSP), Mario Speranza (HANDIReSP), Adriana Tapus (U2IS)

L’approche cognitive de l’interaction interpersonnelle s’intéresse aux traitements de l’information et aux représentations mises en oeuvre durant celle-ci. De nombreuses preuves expérimentales démontrent l’implication de structures cérébrales particulières durant ces traitements cognitifs et témoignent de la pertinence de cette approche. Il est de surcroit particulièrement intéressant et novateur de mettre en rapport les mécanismes de la cognition sociale dans toute leur complexité avec les profils de personnalité et les dispositions empathiques. Enfin, l’étude des pathologies pourvoyeuses de handicap d’origine psychiatriques  (schizophrénie, troubles de la personnalité, etc.), développementales (autisme, etc.) ou encore cérébrales (traumas crâniens, pathologies neurodégénératives, etc.) met en lumière des déficits plus ou moins spécifiques affectant les performances ou les stratégies des traitements des informations sociales. L’enjeu du développement des connaissances dans le cadre de ce sous-thème est de mieux évaluer les profils individuels dans les populations cibles, cliniques ou non (par exemple les sportifs), et d’intervenir de manière plus efficace pour améliorer les performances des personnes (remédiation ou entrainement cognitif). L’innovation technologique, par exemple la réalité virtuelle et les agents affectifs, ouvrent des perspectives larges pour stimuler et entrainer cette forme de cognition de manière dynamique, incarnée, motivante et ludique (jeux sérieux).

Plateforme MARC, Jeu de carte testant la compréhension des intentions d’aide

Sous-thème 2 : Reconnaissance et génération de mouvements expressifs chez l’humain et les machines (Recognition and generation of expressive movements in humans and machines)

PI : Mounim A. El Yacoubi (Telecom SudParis/SAMOVAR), Fakhreddine  Ababsa (IBISC), Guillaume Bouyer (IBISC), Samia Bouchafa-Bruneau (IBISC), Laurent Lucat (CEA LIST / LVCI), Michèle Gouiffès (LIMSI), Sarah Fdili Alaoui (LRI), Adriana Tapus (U2IS)

Le second sous-thème comprend un ensemble de recherches sur la détection, et l’interprétation des mouvements générés par les êtres humains ou des robots/agents artificiels. En particulier la reconnaissance des expressions des affects faciaux, des gestes, postures et mouvements/actions. Par exemple, les techniques d’analyse vidéo sont  développées pour détecter, localiser et reconnaître  les personnes, déterminer leur activité (lecture, repas, cuisine…) dans un environnement très réaliste (plateforme Mobile Mii) contribuant aux nouvelles applications en domotique: maisons intelligentes (smart home)/environnements professionnels (smart office). L’analyse du mouvement est aussi considérée dans le contexte des interfaces homme-machine tels qu’il apparaissent actuellement en qualité de nouveaux médias (Kinect, EMG, objets connectés, robots, stylet, caméra, …). A l’opposé des développements sont mis en oeuvre pour modéliser et générer chez des agents virtuels et des robots humanoïdes.

Analyse du mouvement corporel à l’aide de différentes technologie de capture

Analyse du mouvement corporel.

Analyse de vitesse durant l’écriture.

Sous-thème 3 : Langue des signes (Sign Language)

PI : Annelies Braffort (LIMSI), Michèle Gouiffès (LIMSI), Bastien Berret (CIAMS)

Ce sous-thème est centré sur l’étude des mouvements langagiers et plus particulièrement ceux de la Langue des Signes Française (LSF). L’objectif est de produire d’une part des ressources langagières avec des systèmes de captures variés tels que la capture de mouvement, les gants numériques… et d’autre part, des modèles de mouvements pour les phénomènes linguistiques étudiés. Une des applications possible est la synthèse automatique d’animations de signeur virtuel (ou avatar  signant). En amont à la conception de tels modèles, il faut s’intéresser à des questions fondamentales ayant trait aux aspects production (études sur des lois du mouvement) et perception (études sur les paramètres linguistiques). Ces études pluridisciplinaires se font en collaboration avec des spécialistes en sciences du mouvement et en traitement automatique des langues, mais aussi avec des chercheurs en sciences du langage.

Annotation d’un corpus de mocap de LSF

Ouvrages de référence

• Advances in Virtual Agents and Affective Computing for the Understanding and Remediation of Social Cognitive Disorders, Frontiers in Human Neurosciences, 2015.
• Langue des Signes Française : description, ressources, modélisation et ingénierie. A. Braffort (ed.), ISTE (pub.), à paraître.
• The Neuroscience of Handwriting, Michael P . Caligiuri and Linton A . Mohammed, CRC Press, 2012
• Computational Studies of Human Motion: Tracking and Motion Synthesis,  David A. Forsyth, Okan Arikan, Leslie Ikemoto, James O’Brien4, and Deva Ramanan. NOW Publishers Inc, 2006.
• Gait Analysis: Normal and Pathological Function, Jacquelin Perry, Judith Burnfield, Slack Incorporated,  New Jersey; 2nd edition, 2010.
• Probabilistic Robotics, Sebastian Thrun, Wolfram Burgard, and Dieter Fox, MIT Press, 2005.