Apprentissage fédéré en segmentation en imagerie cérébrale

Doctorant : Matthis MANTHE

Laboratoire INSA : CREATIS - Centre de Recherche en Acquisition et Traitement de l'lmage pour la Santé

École doctorale : ED160 EEA - Electronique, Electrotechnique Automatique de Lyon

L'apprentissage profond en analyse d'image médicale peut amener des outils cliniques intéressants, en accélérant les tâches rébarbatives et ouvrant la porte à des propositions de diagnostique automatiques. Ces modèles entraînés en laboratoire montrent souvent une pauvre capacité de généralisation, principalement dûe au manque de données d'entraînement ce qui limite leur utilité clinique. La construction de bases de données inter-institutionnelles et internationales se heurte aux questions de sensibilité des données de santé. Construire de grandes bases de données dans le domaine médical est excessivement difficile, que ce soit dû aux régulations de données strictes ou aux nombreuses barrières humaines et systémiques. L'apprentissage fédéré a été proposé en 2016 comme un paradigme d'apprentissage décentralisé, collaboratif et sécurisé. Il pourrait être une réponse partielle au problème de partage de données, permettant la collaboration entre différentes entités médicales pour l'entraînement de gros modèles profonds pour un coût légal et de sécurité des données limité. L'algorithme pionnier FedAvg donne des résultats convaincants sur un grand nombre de tâches, mais son utilisation pose de nombreuses questions telles que la justice dans la fédération, sa robustesse aux données aberrantes et ses réelles capacités en sécurité des données. Entre autre apparaissent de sérieuses contraintes sur la distribution des données dans ces fédérations, chaque institution ne possédant qu'une fraction des données biaisée et non représentative. Cette configuration hétérogène des données a été montrée comme altérant significativement la convergence des apprentissages. L'objectif de cette thèse est principalement exploratoire à travers la question de recherche suivante: Comment entraîner des réseaux profonds de manière fédérée pour des tâches de segmentation d'images neurologiques, dans des configurations cross-silo (entre 10 et 100 institutions) et hétérogènes (avec différents modes d'acquisition et de labellisation des données entre institution)?Les organisateurs du challenge Brain Tumor Segmentation (BraTS) ont publié le partitionnement par institution de cette base de données populaire, créant la première (et seule à l'époque) grande base fédérée publique réaliste pour cette préciseuse tâche; FeTS 2021 et 2022. L'étude de l'apprentissage fédéré profond cross-silo et hétérogène pour cette tâche est le point focal de cette thèse. Nous avons dans un premier temps produit un large benchmark de méthodes d'apprentissage fédéré sur la base FeTS 2022. Nous avons exploré pour la première fois les performances de méthodes personalisées et clusterisées pour cette tâche. Nous avons montré que extit{FedAvgJ performe déjà très bien, mais peut être légèrement battu par certaines autres méthodes globales, personalisées ou clusterisées. Nous avons complété ce travail par une méthode basée de comparaison des coûts de ces algorithmes fédérés dans toute leur complexité. De plus, nous avons proposé un nouvel algorithm de rafinement fédéré clusterisé par patient specifiquement pour la segmentation automatique de tumeurs cérébrales. Par un clustering côté serveur basé sur des mesures radiomiques par volume, nous pouvons ratiner un modèle fédéré par type d'acquisition, améliorant légèrement les performances de segmentation. Enfin, nous avons généralisé ce paradigm d'apprentissage fédéré clusterisé par image pour une hétérogénéité d'apparence en segmentation. Nous proposons un clustering dans l'espace des gradients d'un modèle pendant son apprentissage fédéré, montrant une correspondance surprenamment précise avec des aprioris sur l'origine des données. Nous sommes sortis du champ biomédical dans ce travail, évaluant ce paradigme avec une base de données jouet ainsi qu'une tâche de segmentation courante en adaptation de domaine, Cityscapes et GTAS.

Unsupervised anomaly detection in neuroimaging: contributions to representation learning and density support estimation in the latent space. »

Doctorant : Nicolas PINON

Laboratoire INSA : CREATIS
Ecole doctorale : ED 160 : EEA (Electronique, Electrotechnique, Automatique)

This PhD thesis covers the topic of deep unsupervised anomaly detection (UAD) in neuroimaging. This research is partially grounded on the UAD model that was proposed in [Alaverdyan, MEDIA 2020], whose novelty was to perform the detection step in the latent representation space by adjusting density support model of the normative distribution. This model developed was applied to the detection of subtle epileptogenic zones in multiparametric MRI and evaluated on a private database. As a first part of this PhD, we optimize the architecture and hyperparameter setting of this UAD model, and evaluate its performance on different open datasets, including the non medical MVTec anomaly detection [Pinon, GRETSI 2023], the WMH challenge [Pinon, MIDL 2023], and the Parkinson's Progression Markers Initiative database [Ramirez, Pinon, MLCN 2021][Pinon, ISBI 2023]. This allows comparison with state of the art deep UAD methods, especially with the most common methods based on reconstruction error in the image space. The second main phase of this PhD work is to build on the limits of this model [Alaverdyan, MEDIA 2020] and propose original methodological contributions to 1) design patient specific models, relaxing the strong constraint to accurately coregister all control subjects and patients [Pinon, MIDL 2023], 2) provide a probabilistic detection framework to enable ensemble learning and probability calibration, 3) fuse the representation learning step and the outlier detection step, by proposing a novel end-to- end deep learning model.

Development of multiscale liquid phase electron tomography and its application to the study of ultra-sensitive materials

Doctorant : Louis-Marie LEBAS

Laboratoire INSA : MATEIS

É​cole doctorale : ED34 : Matériaux de Lyon

The demand for characterizing a single beam-sensitive sample at the nanoscale is increasing for applications in both materials science and biology.
This study presents a protocol with a software solution that enables precise control over the electron microscope and a custom sample holder, facilitating automated acquisition of fast 3D data from a single object under environmental conditions. This method allows for imaging with a controlled low electron dose and multimodal electron signals. It can be used in environmental scanning or transmission electron microscopes for easy sample preparation and to benefit from high resolution. The software has several key features, including automatic eucentricity adjustment, automatic acquisition with a new drift correction algorithm that eliminates the need for an extra validation step, and focus and astigmatism adjustment assistance.
To demonstrate its effectiveness, the morphology of typical samples such as latex nanoparticles, silica aerogels, and gold nanoparticles is investigated. As an example of a more comprehensive study, a multi-scale test was performed using AlOOH to evaluate its morphological properties at different scales. The Environmental Scanning Electron Microscope (ESEM) was used to monitor the sample in 3D during a dehydration-rehydration cycle and also to evaluate the penetration of gold nanoparticles. The Transmission Electron Microscope (ETEM) provided better resolution and allowed for the quantification of sample porosity down to the nanoscale.
One major achievement of the protocol is that it allows for recording tilt series for electron tomography investigations in STEM mode at multiple scales while using a total electron dose that is an order of magnitude lower than what is accepted in cryo electron tomography. Therefore, this study represents a significant advancement in the analysis of different samples at varying humidity levels. Additionally, it provides a simpler sample preparation process compared to cryo-TEM techniques, while maintaining a similar or even lower radiation dose.

 

Formation de voies adaptative et identification de microbulles pour l'imagerie par localisation ultrasonore

Doctorant : Alexandre CORAZZA

Laboratoire INSA : CREATIS
Ecole doctorale : ED160 : EEA

Caractériser le réseau vasculaire est essentiel pour diagnostiquer des pathologes liées à la structure vasculaire et au flux sanguin. Pour cela, l’imagerie par localisation ultrasonore (ILU) a récemment été élaborée. Son principe réside dans l’injection de microbulles (MBs) par voie veineuse. Des mesures ultrasonores (US) sont acquises au cours du temps. Des séquences d’images US sont construites à partir de celles-ci avec la méthode de formation de voies (FV) standard du Delay and Sum (DAS). Sur ces images, des points brillants en mouvement correspondant aux MBs peuvent être visualisés. L’ILU consiste à identifier les MBs, localiser avec précision leur centre et les suivre au cours du temps pour tracer la carte du réseau vasculaire avec une résolution de l’ordre de la dizaine de micromètre. L’objectif de cette thèse est d’étudier l’influence de l’étape de FV sur les résultats de l’ILU. Cette interrogation est motivée par la capacité de méthodes de FV adaptatives à améliorer la résolution des images US, et/ou à atténuer les tissus biologiques et le bruit sur ces images, ce qui permettrait de faciliter l’identification des MBs. Les contributions s’inscrivent tout d’abord dans l’évaluation des méthodes de FV adaptatives dans le contexte de l’ILU, montrant une augmentation du nombre de MBs détectées sur des données in silico. Sur des données in vivo, il est montré que les méthodes d’identification des MBs de la littérature ne sont pas adaptées pour une comparaison équitable des méthodes de FV. Puis, une nouvelle méthode d’identification de MB basée sur la théorie de la décision est proposée. D’abord évaluée avec le DAS sur des données in vivo, cette méthode d’identification offre une amélioration de la complétion et de la résolution des cartes de réseau vasculaire. Enfin, en combinant cette méthode à la FV adaptative, des cartes du réseau vasculaire plus complètes peuvent être générées.

.

Outil de diagnostic largement éprouvé en milieu hospitalier, l’IRM permet souvent de mettre une image sur des maux. En laboratoire de recherche, c’est un outil d’expérimentation tout aussi indispensable pour l’étude du vivant. Le centre de recherche en acquisition et traitement de l’image pour la santé (CREATIS¹), s’est récemment doté d’un appareil de pointe, l’IRM 11,7T. Un outil rare qui vient compléter les autres équipements lyonnais dans le domaine. Interview d’Olivier Beuf, directeur du laboratoire CREATIS.
 
Cet outil d’IRM semblait très attendu par la communauté des chercheurs de la région. Pour quelles raisons ?
Les IRM sont essentielles pour les recherches en laboratoires car ils permettent de faire des observations à différentes échelles. Notre plateforme d’imagerie expérimentale « PILoT » au sein du laboratoire CREATIS vient de se doter d’un outil dont le champ magnétique est assez exceptionnel, soit 11,7 teslas. À titre de comparaison, lorsque l’on vous fait une exploration IRM de la cheville ou du genou à l’hôpital, son champ magnétique est de 1,5 ou 3 teslas. Ce nouvel outil est aussi un équipement qui permettra d’étudier plusieurs noyaux car en règle générale, les IRM observent le proton 1H présent dans la molécule d’eau et principal constituant des tissus du corps. Ce nouvel appareil est capable d’exploiter les propriétés magnétiques des noyaux de carbone 13, phosphore 31 ou sodium 23, ce qui s’avère très utile pour mesurer l’état physiopathologique de petits animaux de manière non-invasive. L’IRM 11,7 T est aussi équipé de sondes refroidies permettant d’abaisser le niveau de « bruit » sur les images, donc de gagner en sensibilité. En somme, d’y voir plus clair !

Cet appareil va-t-il permettre de faire de grandes découvertes ?
En tous cas, nous l’espérons ! C’est un système de pointe qui va permettre de développer des techniques d’imagerie quantitative et d'aller plus loin dans l’analyse des tissus vivants. Nos objectifs sont à la fois ambitieux et très pragmatiques : être capable de diagnostiquer au plus tôt pour prévenir les maladies et contribuer à soigner des pathologies à l'aide de l'imagerie. Pour cela, nous avons besoin de mieux comprendre les aspects du vivant, et l’IRM 11,7T est une avancée incroyable pour l’observation in vivo. L’IRM est non-invasive mais elle permet aujourd’hui d'obtenir des informations anatomiques et de structure qui ne pouvaient pas être visibles avec les appareils à plus faible champ magnétique. Les techniques développées vont contribuer à une meilleure compréhension des mécanismes physiologiques, d’abord sur les petits animaux qui reproduisent des pathologies de l’homme, puis sur des mécanismes de réparation ou thérapeutiques. 

Cet outil va-t-il être mutualisé ?
Il faut savoir qu’il n’y a que quatre équipements IRM de ce type en France, et une trentaine dans le monde. Cette IRM est un nouvel atout pour la recherche lyonnaise et la région Auvergne-Rhône-Alpes. La plateforme a été aménagée sur 800m² pour accueillir des chercheurs extérieurs. C’est une structure qui contribue à la dynamique transdisciplinaire entre acteurs de l’imagerie et les autres domaines scientifiques : physique, chimie, biologie, médecine et bio-ingénierie. Cet IRM 11,7T pourra bénéficier à tous les chercheurs de la communauté de la recherche académique ou industrielle à réaliser leurs projets pouvant bénéficier de l’imagerie. Cela permettra aux chercheurs de CREATIS de poursuivre leurs travaux de développement de méthodes quantitatives avancées et transférer ces techniques et les expertises associées au bénéfice de tous.

    Tractographie des fibres d’un cerveau de rat obtenu ex vivo par IRM de diffusion des molécules d’eau.
Durée d’acquisition d’environ 1h20

 

Journée thématique de l'INS2I « Sciences de l’Information et Santé »

Dans le cadre de l’année thématique « Sciences de l’Information et Santé » de l’Institut des Sciences de l’Information et de leurs Interactions (INS2I) du CNRS, une première journée est organisée le mardi 25 mars 2020.
Ce workshop scientifique, organisé par Laure Blanc-Féraud (I3S, Nice) et Hervé Liebgott (CREATIS, Lyon), portera sur le thème des nouvelles imageries.

Au programme, 6 interventions inscrites au cœur des dernières avancées et enjeux du domaine de l’imagerie biomédicale et une séance de posters.

Questionner la pertinence du « travailler ensemble » pour mieux envisager l’avenir, c’est tout l’intérêt du séminaire mis en place au laboratoire en cotutelle CREATIS (unité CNRS UMR 5220 – INSERM U1206 – Université Lyon 1 – INSA Lyon - Université Jean Monnet Saint-Etienne). En toile de fond, l’audit du Haut Conseil de l’Évaluation de la Recherche et de l’Enseignement Supérieur (HCERES) chargé de labelliser la poursuite des activités de recherche du laboratoire pour les cinq ans à venir. Rencontre avec Olivier Beuf, Directeur du laboratoire CREATIS et Sophie Gaillard, ingénieure d’études de la Plateforme d’imagerie PiloT du laboratoire.

Pourquoi ce séminaire ?
Olivier Beuf : Pour pouvoir être labellisé par le HCERES, il faut que l’on travaille tous ensemble sur des thématiques précises. Nous sommes une équipe composée de 200 personnes provenant de divers établissements. Avec les emplois du temps de chacun, cela peut être compliqué de pouvoir mener à bien ce travail primaire avant l’évaluation. Cette année, elle porte sur trois aspects : la qualité des activités et des produits de la recherche, l’organisation et la vie de l’unité de recherche ainsi que le projet scientifique à cinq ans. Un séminaire est donc l’approche favorable à ce travail de groupe.
Sophie Gaillard : Comme pour notre ancien séminaire, nous avons fait appel à une entreprise extérieure, ce qui nous permet de donner la parole à tout le monde sans distinction. Les personnels de CREATIS créent la matière, l’entreprise permet à chaque groupe de suivre un gabarit précis afin d’obtenir des idées résumées et de pacifier les échanges.
O.B. : Les équipes ont fait remonter toutes les informations utiles avant le séminaire. La base de travail était un SWOT (Strenghts, Weeknesses, Opportunities, Treats ou forces, faiblesses opportunités et menaces) que chaque équipe ou service du laboratoire a rempli. Le niveau de bilan était donc très rapide et nous avons pu consacrer la majorité du séminaire à travailler sur les objectifs.

Que ressort-il de ce travail d’équipe après deux jours de séminaire ?
O.B. : Nous avons pu poser le grand domaine scientifique sur lequel CREATIS devait se positionner. Ensuite, nous avons identifié sept thèmes de préoccupation principaux :

• la recherche translationnelle
• l’aspect « intelligence artificielle »
• les relations avec nos partenaires médecins
• l’adéquation entre les compétences et les ressources disponibles
• les forces et motivations ainsi que les moyens et les applications pour l’imagerie multimodale
• l’Open-Science, afin de donner accès aux publications mais également aux données pour permettre la reproductibilité des travaux
• les relations avec les industriels.

Nous avons abouti à une feuille de route avec la préoccupation de poursuivre la co-construction au quotidien.

Que retenez-vous de cette expérience ?
S.G. : D’un point de vue purement personnel, cela permet de découvrir des personnes avec qui on travaille ou non et d’apprendre à les connaître dans un contexte autre que le laboratoire. Grâce à ces initiatives, on peut décadenasser des attitudes ou des positions, certaines personnes qui pouvaient être sceptiques peuvent changer de regard. Les enseignants-chercheurs et les BIATSS doivent vivre et construire ensemble, cela ouvre le champ des possibles.
O.B. : Effectivement, on invite tous les personnels du laboratoire à participer. Par exemple, les jeunes doctorants n’hésitent pas à donner leur avis, habituellement ils ne le feraient peut-être pas et c’est pertinent car ils ont plein d’idées. Dans ce type de processus, chacun a un rôle à jouer. Grâce à ce séminaire, nous avons fait remonter beaucoup de contenu, maintenant que l’on a initié, il faut aller au bout !