Soutenance de thèse : Paul, Nicolas COMPAGNON

Sequence Metric Learning, Application to Human Activity Recognition

Doctorant : Paul, Nicolas COMPAGNON

Laboratoire INSA : LIRIS

Ecole doctorale : ED512 : Informatique et Mathématiques de Lyon

Cette thèse cifre a été réalisée avec Orange Labs Grenoble et le laboratoire LIRIS à Lyon. Elle a pour objet d'étude la conception d'algorithmes de machine learning pour reconnaitre les comportements habituels des usagers (routines), ceci à des fins de suivi médical à domicile des personnes fragiles en respectant leur vie privée et en évitant la stigmatisation. Pour cela, nous nous concentrons sur l'exploitation des données produites par des capteurs de mouvement (accéléromètre, gyroscope magnétomètre, etc.) portés présents dans les téléphones mais aussi dans les montres connectées, des objets de la vie quotidienne. Dans une première partie, nous proposons d'utiliser un modèle de few- shot learning (matching network) pour apprendre un modèle personnalisé et flexible de reconnaissance d'activités à partir de peu de données. Ce modèle s'adapte à partir de quelques exemples à une nouvelles classe et permet donc de mieux gérer les activités très variées qu'une personne peut réaliser dans une journée. Dans une seconde partie, nous proposons une formalisation mathématique du concept de routine et nous en déduisons une méthode de reconnaissance de celles-ci grâce à l'apprentissage de métrique. Nous proposons un modèle qui combine apprentissage de représentation avec un modèle "Sequence to Sequence" et apprentissage de métrique comme un réseau de neurones siamois. Le modèle est appris sans étiquette d'activité uniquement grâce à l'horodatage des données. Nous proposons ensuite d'identifier les routines grâce à un clustering et les scores associés. Dans la dernière partie, nous proposons un nouveau modèle de réseau de neurones siamois récurrents dit couplés. Ce modèle a été conçu en s'inspirant de la théorie des systèmes dynamiques dans le but d'améliorer l'architecture "siamese GRU", notamment en ce qui concerne les exemples difficiles (hard positive/negative samples). Nous expérimentons cette architecture en reconnaissance d'activités et de routines.