Soutenance de thèse de NIMJE Swetali
Titre de thèse
Apprentissage automatique pour accélérer l'acquisition et la reconstruction d'images multi-paramétriques du cerveau par résonance magnétique
Machine learning to accelerate acquisition and reconstruction of multi-parametric brain Magnetic Resonance Imaging
Résumé de la thèse
L'IRM est une technologie polyvalente fournissant une multitude de contrastes, mais elle est réputée être lente. Réduire la durée d'un examen IRM tout en conservant une qualité diagnostic est un enjeu important. Récemment, les approches basées sur de l'apprentissage automatique ont été proposées. Parmi ces approches, certaines focalisent sur la reconstruction de données sous-échantillonnées dans la ligne de l'imagerie parallèle avec des apprentissages spécifiques à la séquence d'imagerie. La contribution de ce travail est d'évaluer différentes implémentations, tant sur les options d'acquisition expérimentales que sur l'apprentissage des modèles de reconstruction, tout en proposant une métrique originale pour quantifier le niveau d'artefact résiduel.
Après une introduction de la physique de l'IRM et de l'apprentissage automatique associé, le premier point abordé concerne les métriques de qualité d'image pour lequel la métrique COrreletion-Based Residual Artifact Index (COBRAI) est présentée. C'est une nouvelle mesure basée sur la corrélation qui est sensible aux résidus structurés dans les images reconstruites. Le principe de conception de cette mesure est présenté, ainsi que plusieurs exemples pour illustrer son intérêt.
Par la suite, les approches d'apprentissage spécifique à la séquence d'imagerie employée sont évaluées. La méthode prend pour famille d'architecture de modèles l'approche RAKI (robust artificial-neural-networks for k-space interpolation). C'est au départ un réseau neuronal convolutif qui est entraîné pour la tâche de reconstruction en imagerie parallèle qui effectue l'interpolation de données manquantes dans l'espace-k pour des sous-échantillonnages structurés. Initialement proposé avec des réseau contenant des couches de convolution à valeurs réelles pour l'imagerie 2D et avec des données d'apprentissage en mode dit 'intégré', i.e. qui ont le même contraste que les données à reconstruire, il est considéré dans ce travail l'extension des modèles à valeurs complexes et avec une connexion résiduelle, ainsi que l'évaluation et l'optimisation des hyperparamètres. L'influence des non-linéarités est étudiée, et ce, en particulier en lien avec le mode d'acquisition des données d'apprentissage, mode intégré versus mode séparé, qui est propice à produire des artefacts résiduels du type hallucination. La faisabilité de ces approches est démontrée pour plusieurs contrastes standards en 2D, pour finir avec une extension en 3D. Enfin, une extension de la méthode scan-spécifique, SANGRIA, utilisant une stratégie d'apprentissage adversarial en tant que régularisation basée sur les données a été explorée. Un discriminateur par patch est mis en oeuvre dans l'espace image, ce qui signifie que des patches sont extraits d'une seule image entièrement échantillonnée utilisé pour discriminé des patchs réalistes. Cette approche améliore la qualité visuelle et les performances des images reconstruites avec des taux de sous-échantillonnage plus élevés.
Ces travaux interpellent notamment sur l'utilisation de modèles neuronaux utilisés pour la reconstruction d'image IRM entraînés avec peu de données d'apprentissage du type spécifique à la séquence. La caractérisation complémentaire permise par COBRAI laisse envisager des stratégies d'acquisition plus optimales et des modèles de reconstruction optimisés.
Thesis resume
MRI is a versatile medical imaging technology that provides a multitude of contrasts; however, it is notoriously slow. Reducing the duration of an MRI examination while maintaining the diagnostic quality is a major challenge. Recently, approaches based on machine learning have been proposed. Among these approaches, some focus on the reconstruction of undersampled data in parallel imaging with learning specific to the imaging sequence employed (said scan-specific). The contribution of this study is to evaluate different strategies for the practical implementation of these approaches, both in terms of experimental acquisition options and the training of reconstruction models, while proposing an original metric for quantifying the level of artifacts in reconstructions.
After a state-of-the-art introduction to the physics of gls{mri} and associated machine learning, the first point addressed in this work concerns image quality metrics, for which the COrreletion-Based Residual Artifact Index (COBRAI) metric is proposed. This is a new correlation-based metric that is sensitive to structured residuals in the reconstructed images. The design principle of this metric is presented, along with several examples to illustrate its interest.
Subsequently, deep-learning scan-specific approaches were evaluated. This method takes the RAKI (robust artificial neural networks for the k-space interpolation (RAKI) approach as its model architecture family. Initially, a convolutional neural network was trained for the parallel imaging reconstruction task by performing k-space interpolation of missing data for structured undersampling. Initially proposed with networks containing real-valued convolution layers for two-dimensional imaging and with training data in so-called integrated mode, i.e. having the same contrast as the data to be reconstructed, this work considers the extension of models to complex values and with a residual connection, as well as the evaluation and optimization of hyperparameters. The influence of nonlinearities is investigated, particularly in relation to the mode of acquisition of training data, integrated versus separated mode, which is prone to producing residual artifacts assimilated to hallucinations. The feasibility of these approaches is demonstrated for several standard 2D contrasts, ending with an extension to 3D contrasts.
Finally, an extension of the scan-specific reconstruction method, SANGRIA, using an adversarial training strategy as data-driven regularization, was explored. A patch-based discriminator is implemented in the image space, meaning that patches are extracted from a single fully sampled image and used to discriminate realistic patches. This approach improves the quality of the reconstructed images both visually and in terms of performance in achieving higher undersampling rates.
In particular, this work calls into question the use of neural networks for MRI image reconstruction trained with a low amount of scan-specific training data. The characterization made possible by COBRAI suggests a complementary characterization to state-of-the-art metrics, enabling more optimal MRI data acquisition strategies and optimized reconstruction models to be envisaged.