Soutenance de thèse de LANZARONE Matisse
Titre de thèse
Modèles et de transport turbulent rapides et précis dans les plasmas de fusion magnétique
Fast and accurate machine learning surrogate models for turbulent transport in magnetic fusion plasmas
Résumé de la thèse
La fusion nucléaire représente une source prometteuse d'énergie de base propre, complémentaire aux technologies renouvelables, offrant plusieurs avantages par rapport aux sources de base existantes telles que les combustibles fossiles et la fission nucléaire conventionnelle. Cependant, atteindre les conditions requises pour la fusion sur Terre reste un défi considérable, nécessitant un contrôle précis et une compréhension approfondie des plasmas à haute température.
Le tokamak est l'une des principales approches pour réaliser des centrales à fusion, et la simulation précise des plasmas de tokamak est au cœur de la recherche moderne sur la fusion. Les simulations complètes de plasma utilisent des cadres de modélisation intégrée qui couplent une multitude de modules physiques différents, chacun opérant à un niveau d'approximation approprié, afin d'évoluer l'état du plasma de manière auto-consistante. Une modélisation intégrée rapide et précise est cruciale pour permettre des itérations rapides et une utilisation efficace des ressources informatiques limitées. Actuellement, une contrainte majeur dans la modélisation intégrée est l'exécution de simulations gyrocinétiques pour calculer les flux de transport, même les modèles réduits les plus rapides utilisant l'approximation quasi-linéaire restant plusieurs ordres de grandeur trop lents pour un usage routinier ou en temps réel.
Pour ceci, des modèles de substitution basés sur l'apprentissage automatique ont été explorés comme moyen d'accélérer significativement les prédictions de transport. Des travaux précédents ont démontré l'utilisation de ces modèles par réseaux de neurones (NN) capables de fonctionner en temps réel, entraînés sur des simulations QuaLiKiz, pour prédire les flux quasi-linéaires de transport du cœur du tokamak ainsi que les valeurs propres des instabilités linéaires.
Ce travail vise à ouvrir la voie à des modèles de substitution pour le transport turbulent plus rapides et plus précis. À cette fin, des arbres de décision gradient boosted (GBDT), en particulier XGBoost, sont utilisés comme approche novatrice pour la modélisation du transport turbulent. Les GBDT sont populaires dans la communauté de l'apprentissage automatique et ont rencontré un succès particulier par rapport aux NN sur des données structurées ou tabulaires, telles que les sorties de simulations gyrocinétiques, tant en termes de vitesse d'entraînement que d'inférence. L'apprentissage actif est également étudié pour optimiser la génération de données, ce qui est particulièrement important lorsqu'on utilise des simulations plus coûteuses mais plus fidèles pour améliorer les prédictions du modèle de substitution.
Une comparaison complète des GBDT et des NN est fournie à des niveaux élevés d'optimisation des hyperparamètres, montrant que les deux méthodes atteignent une précision similaire à la fois pour la classification de stabilité et la régression des taux de croissance. Cependant, les modèles XGBoost sont environ 50 fois plus rapides en inférence et 40 fois plus rapides à l'entraînement. Un inconvénient des GBDT est toutefois leurs prédictions discontinué, qui peuvent poser un problème lorsqu'on a besoin de gradients des quantités prédites, contrairement aux prédictions lisses des NN.
Une étude d'évolution de la performance est aussi réalisée,mais avec moins d'optimisation des hyperparamètres, montrant que XGBoost performe de manière égale ou meilleure que les NN sur une plage de 10^2 à 10^6 points d'entraînement, avec des performances nettement supérieures dans la partie basse de cette plage.
Enfin, un apprentissage actif exploratoire est appliqué aux NN, montrant que même une approche simple surpasse l'échantillonnage aléatoire. Cela malgré le fait que les points choisis par la fonction d'acquisition simple, utilisant l'écart-type de 10 NN, ne correspondent pas à la distribution de l'ensemble de test ni ne semblent suivre une intuition physique, ce qui motive des investigations futures.
Thesis resume
Nuclear fusion represents a promising source of clean base-load power to complement renewable energy technologies, offering several advantages over existing base-load sources such as fossil fuels and conventional nuclear fission. However, achieving the conditions required for fusion on Earth remains a formidable challenge, requiring precise control and understanding of high-temperature plasmas.
The tokamak is one of the leading approaches to achieve fusion power plants and accurate simulation of tokamak plasmas is a cornerstone of modern fusion research. Full plasma simulations use integrated modelling frameworks which couple host of different physics modules, each operating at an appropriate level of approximation, to evolve the plasma state self-consistently. Fast and accurate integrated modelling is crucial to enable rapid iteration and efficient use of limited computational resources. Currently, a major bottleneck in integrated modelling is the running of gyro-kinetic simulations to calculate transport fluxes, with even the fastest reduced models using the quasi-linear approximation still being orders of magnitude too slow for extensive routine or real-time use.
To address this challenge, machine learning surrogate models have been explored as a means of significantly accelerating transport predictions. Previous work has demonstrated the use of real time capable Neural Network (NN) surrogate models trained on QuaLiKiz simulations to predict core tokamak transport quasi-linear fluxes and as linear instability eigenvalues.
This work aims to pave the way for faster and more accurate surrogate models for turbulent transport. To this end, gradient boosted decision trees (GBDTs), specifically XGBoost, are used as a novel approach for turbulent transport surrogate modelling. GBDTs are popular in the machine learning community and have found particular success relative to NNs on structured or tabular data, such as the outputs of gyrokinetic simulations and in terms of training and inference speeds. Active learning is also investigated to optimise data generation, of particular importance when using more expensive, higher fidelity simulations to generate data to improve the surrogate model's predictions.
A comprehensive comparison of GBDTs and neural networks is provided at high levels of hyperparameter optimisation finds that both methods perform with similar accuracy in both stability classification and growth rate regression. However, XGBoost models are $sim50$ times faster in inference and $sim40$ times faster in training. A drawback of GBDTs however are their step function predictions which can be problematic when requiring gradients of predicted quantities, as opposed to the NNs smooth predictions.
A scaling study is done, this time with less focus on hyperparameter optimisation finds that XGBoost performs better or equal to NNs across a range of 10^2 to 10^6 training points, with markedly better performance at the lower end.
Finally, exploratory active learning is applied to NNs, finding that even a simple approach outperforms random sampling. This is despite the points chosen by the simple acquisition function, using the standard deviation of 10 NNs, not corresponding to the test set distribution or seeming to follow intuitive physics, motivating further investigation in the future.