Soutenance de thèse : Pierre MARZA

Learning spatial representations for single-task navigation and multi-task policies

Doctorant : Pierre MARZA

Laboratoire INSA : LIRIS

École doctorale : ED512 Informatique Et Mathématiques de Lyon

Agir de manière autonome dans notre monde en 3 dimensions requiert un large éventail de compétences, parmi lesquelles la perception du milieu environnant, sa représentation précise et suffisamment efficace pour garder une trace du passé, la prise de décisions et l'action en vue d'atteindre des objectifs précis. Les animaux, par exemple les humains, font preuve de capacités très robustes lorsqu'il s'agit d'agir dans le monde. Ils se distinguent notamment par leur capacité à s'adapter efficacement à de nouveaux environnements dans diverses conditions (éclairage, conditions météorologiques, etc.), mais aussi à maîtriser rapidement de nombreuses tâches d'intérêt à partir de quelques exemples. Ce manuscrit étudie la manière dont les réseaux neuronaux artificiels peuvent être entrainés pour atteindre un sous-ensemble de ces capacités. Nous nous concentrerons tout d'abord sur l'entrainement d'agents neuronaux capables d'effectuer une cartographie sémantique, à la fois à partir d'un signal de supervision augmenté et avec des représentations neuronales de scènes. Les agents neuronaux sont souvent formés par apprentissage par renforcement (RL) à partir d'un signal de récompense peu dense. Guider l'apprentissage des capacités de cartographie de la scène en augmentant le signal de supervision de l'apprentissage par renforcement avec des tâches auxiliaires facilitant le raisonnement spatial aidera à naviguer plus efficacement. Au lieu d'améliorer le signal d'entraînement des agents neuronaux, nous verrons également comment l'incorporation de représentations neuronales spécifiques de la sémantique et de la géométrie dans l'architecture de l'agent peut contribuer à améliorer les performances de navigation lorsqu'il s'agit d'atteindre des objectifs sémantique spécifiques. Ensuite, nous étudierons la meilleure façon d'explorer un environnement 3D afin de construire des représentations neuronales de l'espace qui soient aussi satisfaisantes que possible sur la base de métriques pensées pour la robotique que nous proposerons. Enfin, nous passerons d'agents de navigation entraînés à généraliser à de nouveaux environnements à des agents multi-tâches et nous verrons à quel point il est important d'adapter les caractéristiques visuelles extraites des observations des capteurs à la tâche à accomplir afin de réaliser une grande variété de tâches, mais aussi d'essayer de généraliser à de nouvelles tâches inconnues à partir de quelques démonstrations seulement. Ce manuscrit abordera donc différentes questions importantes telles que : Comment représenter une scène 3D et garder une trace de l'expérience passée dans un environnement? — Comment s'adapter de manière robuste à de nouveaux environnements, à de nouveaux scénarios et potentiellement à de nouvelles tâches ? — Comment entrainer des agents à des tâches séquentielles à long terme? — Comment maîtriser conjointement toutes les sous-compétences requises? — Quelle est l'importance de la perception en robotique ?