Reconnaissance audiovisuelle de la parole par les Modèles de Markov Cachés

Abstract

Dans ce mémoire, nous présentons un système de reconnaissance audiovisuelle de la parole (RAVP) combinant les données acoustiques et les données visuelles. Ce système de reconnaissance audiovisuelle utilise comme moteur de reconnaissance les Modèles de Markov Cachés continus (Continuous Hidden Markov Model, CHMM). L’information visuelle utilisée conjointement avec les données acoustiques est basée sur la forme et les mouvements des lèvres lors de l’élocution. Les expériences pour la reconnaissance des mots isolés indiquent que l’utilisation conjointe de la modalité acoustique et de la modalité visuelle augmente la performance du système de RAP en milieu réel (fortement bruité).