Soutenance de thèse de MARTIN Sandra
Titre de thèse
Algorithmes d'apprentissage profond pour la segmentation et l'accélération des acquisitions IRM dans le cadre du suivi des pathologies neuromusculaires
Deep learning algorithms for the segmentation and acceleration of MRI acquisitions in the context of neuromuscular pathology follow-up
Résumé de la thèse
L'Imagerie par Résonance Magnétique (IRM) est une modalité non invasive offrant un excellent contraste des tissus mous. L'IRM est fréquemment utilisée pour le diagnostic et le suivi des patients atteints de maladies neuromusculaires, des maladies rares caractérisées par de la faiblesse musculaire liée au remplacement du tissu musculaire par de la graisse. Ce remplacement peut être mesuré par IRM quantitative via des biomarqueurs d'intérêt comme la fraction graisseuse (FG).
Les maladies neuromusculaires affectent différemment les muscles, nécessitant une évaluation de la FG par muscle. Cependant, la segmentation des muscles est fastidieuse. Pour y remédier, des méthodes automatiques ont été proposées notamment à base de réseaux de neurones convolutifs comme U-Net. Leur efficacité dépend du nombre de paramètres, de l'architecture et de la complexité. Plusieurs versions de U-Net ont été développés, avec un nombre croissant de paramètres pour améliorer la segmentation. Cette complexification augmente le temps d'entraînement et la mémoire requise, nécessitant des GPU puissants. Dans la première partie de cette thèse, nous avons évalué l'impact de la complexité d'U-Net pour la segmentation des muscles individuels de patients atteints de maladies neuromusculaires. Nous avons comparé différentes versions de U-Net, avec divers niveaux de complexité, à nnU-Net, la méthode de référence en segmentation d'images médicales. Les performances ont été évaluées selon la robustesse de la segmentation, l'estimation de la FG et du nombre de paramètres. De manière étonnante, la quantification de la FG s'est révélée robuste aux erreurs de segmentation. Ces résultats s'expliquent par la localisation des pixels mal classés. Notamment U-Net avec seulement 1,33% des paramètres de nnU-Net obtient de très bons résultats de segmentation et d'estimation de la FG. Cette réduction diminue la mémoire GPU et le temps d'entraînement et suggère qu'un réseau allégé suffit pour suivre la FG.
L'autre défi majeure de l'IRM est le long temps d'acquisition qui peut être source d'inconfort pour les patients ainsi que d'artefacts de mouvement. Pour réduire ce temps, l'espace d'acquisition (semblable à un espace de Fourier) est sous échantillonné puis des techniques de reconstruction sont employées pour corriger les artefacts. En complément des techniques utilisées en clinique, des méthodes d'apprentissage profond ont été développées dans le but d'améliorer la reconstruction. Plus particulièrement, les réseaux de neurones « déroulés » sont basés sur le déroulement des méthodes de reconstruction itérative, chaque itération étant composée d'un terme d'attache aux données et d'un réseau agissant comme un régularisateur.
Dans le cadre du challenge FastMRI, deux réseaux VarNet et DIRCN ont montré de bonnes performances, y compris sur notre base de données 3D d'IRM quantitatives de la cuisse. Cependant, leurs entrainements sont couteux en mémoire. Nous proposons deux nouveaux réseaux allégés : HalfVarNet et HalfDIRCN. Le régularisateur utilisé dans ces architectures est « Half U-Net ». Initialement conçu pour la segmentation 2D, ce réseau réduit fortement le nombre de paramètres et la consommation mémoire, tout en maintenant de bonnes performances de segmentation. À notre connaissance, il n'avait encore jamais été utilisé en reconstruction IRM. Ces réseaux ont été évalués avec les métriques standards de reconstruction et d'estimation de FG. Nous avons comparé VarNet et DIRCN aux versions « Half » avec autant ou plus de cascades. La première option permet de réduire la mémoire utilisée ainsi que le temps de calcul, tout en maintenant les performances de reconstruction. La seconde option permet d'améliorer la reconstruction mais augmente la mémoire utilisée et le temps de calcul. Pour finir, un réseau de segmentation entrainé sur des données complètement échantillonnées a obtenu des performances équivalentes lorsqu'il a été appliqué aux données reconstruites par nos méthodes.
Thesis resume
Magnetic Resonance Imaging (MRI) is a non-invasive imaging modality offering strong soft tissue contrast. MRI is widely used for the diagnosis and monitoring neuromuscular disorders (NMD). NMD are rare diseases characterized by progressive muscle weakness and loss of motor skills, due to muscle tissue being replaced by fat. This replacement can be monitored by quantitative Magnetic Resonance Imaging (qMRI) enabling the assessment of sensitive biomarkers such as the Fat Fraction (FF).
NMDs affect each muscle and each patient differently so that fatty infiltration must be assessed in each individual muscle. The corresponding manual delineation (segmentation) of the muscle is tedious. To address this issue, numerous automatic alternatives have been proposed, notably based on Convolutional Neural Networks (CNNs) such as U-Net, have been largely employed for this task. Their effectiveness depends on the number of learning samples, the number of parameters, architecture and complexity. Multiple versions of U-Net more parameters were developed. However, this complexity increase training time and memory usage, requiring powerful GPU. In the first part of the proposed work, we investigated the impact of U-Net complexity on MRI segmentation of individual muscles from neuropathic patients. We compared various U-Net architectures with different complexities considering nnU-Net as the leading method in the medical image segmentation field. The performance was assessed by segmentation robustness, FF accuracy and training features. As expected, reducing the number of parameters led to a decrease in segmentation performance. Surprisingly, FF quantification was robust to segmentation errors. This was explained by the location of the misclassified pixels. The U-Net architecture with 1.33% of nnU-Net complexity provided a high segmentation quality with a low FF quantification error. This reduction decreased GPU memory usage and the training time. This first study showed that CNN complexity could be considerably reduced if one intends to compute biomarkers such as FF in NMD.
Another major challenge in MRI is the long acquisition times. Reducing scan time enhances patient comfort and reduces motion artefacts. Acceleration techniques consist in undersampling the acquisition space which is equivalent to a frequency domain. Reconstruction algorithms are then used to remove artifacts. Besides clinically-used techniques, deep learning algorithms have also been used with the aim of improving the reconstruction accuracy. Particularly, unrolled neural networks are based on the unrolling of iterative reconstruction methods: one iteration being composed of a data consistency update and a neural network acting as a regularizer update. As part of the FastMRI challenge, both VarNet and DIRCN, two unrolled networks, demonstrated strong reconstruction performance and performed well with our 3D qMRI database. However, both networks can overwhelm the GPU memory. In the second part of our work, we introduced two original memory-efficient and time-efficient deep learning reconstruction methods, HalfVarNet and HalfDIRCN, for which Half U-Net was used as the regularizer CNN. Half U-Net was designed for 2D segmentation purposes and has enabled to reduce the number of parameters and memory usage but it has not yet been used in MRI reconstruction. Neural networks were evaluated using standard reconstruction metrics and FF computation. We compared VarNet and DIRCN with the proposed approach either by using the same number of cascades or by increasing it. The first option led to save GPU memory while maintaining the performance while the second option led to improve reconstruction performance by increasing training time and GPU memory utilization. Finally, the neural network dedicated to automatic segmentation and trained to compute FF values from the fully sampled data performed equally well with the data reconstructed with our methods.