Soutenance de thèse de PIETRI Mathieu

Résumé de la thèse

Le streaming graphique est une technique de transmission de données permettant le rendu à distance de la sortie graphique d'un logiciel. Contrairement au streaming vidéo qui effectue le rendu sur le serveur avant d'en transmettre le flux vidéo au client, le streaming graphique transmet des commandes graphiques, exécutées côté client pour un rendu local. Cette technique trouve des applications notamment dans le domaine du cloud gaming, comme mis en œuvre par notre partenaire nothing2install, qui commercialise un service de cloud gaming pour plateforme mobile Android.
Dans ce contexte, la transmission des personnages animés représente la part dominante de la consommation de bande passante. Ceux-ci prennent la forme de maillages dynamiques : des maillages évolutifs à topologie constante, dont la compression constitue un domaine de recherche bien établi. Cependant, l'état de l'art de la compression de maillages dynamiques n'est pas directement applicable à notre contexte. En effet, ces approches s'appuient généralement sur les données de mouvement de l'intégralité de l'animation, ce qui est incompatible avec la compression en direct, c'est-à-dire. en temps réel sans connaissance préalable de l'animation. Ainsi, adapter la compression de maillages dynamiques au streaming en direct représente un enjeu majeur pour n2i et pour l'ensemble des domaines d'application du streaming graphique.
Cette thèse porte sur la conception d'une technique de compression de maillages dynamiques répondant aux contraintes du streaming en direct. Dans un premier temps, nous présentons une approche de compression par segmentation, dans laquelle le mouvement des sommets au cours du temps est encodé sous forme de transformations des segments. Dans un deuxième temps, nous proposons une extension de cette approche, qui lisse l'aspect des zones de jointure en introduisant du blending. Cette technique s'appuie sur Dem Bones, une bibliothèque de décomposition en poids de skinning, conçue pour transformer une animation brute en animation par squelette.
La validation expérimentale de notre méthode montre qu'elle réduit significativement la quantité de données nécessaires à l'encodage des maillages dynamiques tout en respectant les contraintes du streaming en direct. En effet, les taux de compression observés sont suffisants pour transmettre des scènes typiques de jeux mobiles, et la distorsion induite par la compression reste acceptable compte tenu des contraintes temporelles. Les performances sont largement compatibles avec le streaming en direct et promettent une latence faible. Cependant, plusieurs limitations subsistent, comme la forte dépendance de l'approche au choix de plusieurs hyperparamètres. L'automatisation du choix de ces paramètres constitue une des principales perspectives d'amélioration de nos travaux.