Apprendre ou modéliser, prendre le meilleur

Les dernières années ont été marquées par l’essor du Machine Learning (ML), qui a permis des gains en performances significatifs dans plusieurs domaines d'application. Outre les progrès méthodologiques indéniables, ces gains sont souvent attribués à des grandes quantités de données d'entraînement et à la puissance de calcul, qui ont conduit à des avancées dans la reconnaissance de la parole, la vision par ordinateur et le traitement automatique de la langue. Dans ce projet, nous proposons d'étendre ces avancées à la prise de décision séquentielle d'agents dans un contexte de planification et de contrôle.

Dans le contexte du contrôle robuste d’agents tels que les drones, les robots mobiles, les bras robotiques etc., nous proposons un projet de recherche fondamentale. Dans ce cadre, les méthodes de l'automatique (théorie du contrôle) se sont établies comme méthodologies dominantes pour les applications où un modèle physique de l'agent et/ou de l'environnement peut être obtenu. Ces approches fondées sur un modèle sont puissantes car elles reposent sur une compréhension approfondie du système et peuvent exploiter des relations physiques établies. En revanche, cette modélisation est difficile à obtenir en présence de grandes incertitudes, par exemple dans le cas du contrôle à partir d'observations visuelles dans les environnements complexes.

L’intelligence artificielle, et surtout le Machine Learning, est une méthodologie alternative qui vise à apprendre des modèles complexes à partir de quantités souvent massives de données. Les processus décisionnels de Markov (MDP) et l'apprentissage par renforcement (RL) fournissent un cadre mathématique pour les applications de contrôle dans lesquelles les agents sont entraînés à partir d'interactions passées avec un environnement. Ces dernières années, cette méthodologie a été associée aux réseaux de neurones profonds, qui jouent le rôle d'approximateurs de fonctions. Cette stratégie a permis de lever de nombreux verrous scientifiques dans certaines applications comme le contrôle des jeux (Go, Atari, DOTA, etc).

Alors que dans de nombreuses applications, l'apprentissage automatique est devenu la méthodologie prédominante, le contrôle robuste et bas niveau (horizon court) d'agents physiques reste un domaine dans lequel l'ingénierie de contrôle ne peut pas être remplacée à l'heure actuelle. Cela s'explique principalement par (i) un manque de stabilité des agents entraînés à partir de données, (ii) l'absence de garanties fournies pour l'apprentissage automatique, (iii) le manque de puissance de calcul d'un grand nombre de plateformes embarquées.

Dans ce contexte, le projet le projet DeLiCio propose des recherches fondamentales à cheval entre les domaines IA/ML d’un coté et de l’automatique de l’autre coté, ciblant des contributions algorithmiques prévues sur l'intégration de modèles, de connaissances a priori et de l’apprentissage automatique pour le contrôle et les boucles perception / action. Nous proposons

- l’apprentissage automatique (l’identification) de modèles pour le contrôle ;

- l’apprentissage de représentations de l’état d’un agent pour le contrôle ;

- l’ajout de biais inductive pour les agents appris par apprentissage par renforcement garantissant stabilité et robustesse;

- Le contrôle robuste et décentralisé de système multi-agents basé sur le ML et l’automatique.

Site internet du projet : https://projet.liris.cnrs.fr/delicio