Soutenance de thèse de CAUZINILLE Jules

Résumé de la thèse

Cette thèse s'articule sur une approche innovante dans l'étude de la communication vocale basée sur l'apprentissage auto-supervisé de représentations acoustiques. Au vu de l'influence croissante des grands modèles d'apprentissage profond en traitement du son, elle questionne la capacité de modèles pré-entraînés sur de la parole à produire des représentations bioacoustiques.
Les humains et leurs plus proches cousins (les primates) partagent un ensemble de similitudes, que ce soit d'un point de vue génétique comme dans leurs mécanismes de perception et de production vocale, ainsi que dans leurs capacités cognitives et leurs comportements communicatifs. Néanmoins, les approches abordées dans la littérature autour du traitement automatique de vocalisations de primates par apprentissage automatique semblent relativement éloignées des dernières avancées en matière de traitement de la parole.
À partir de ces observations, une première solution visant à développer l'apprentissage automatique de vocalisations de primates consiste à étudier les capacités de transfert de connaissances de représentations latentes auto-supervisées pré-entraînées sur de la parole. Après une revue de littérature approfondie sur la recherche en bioacoustique computationnelle relative aux primates ainsi qu'un état de l'art sur les méthodes récentes de traitement automatique de la parole, nous menons une première expérience basée sur l'hypothèse suivante : le transfert de connaissance depuis la parole vers les primates non-humains présente un certain avantage, en comparaison avec le pré-entraînement sur des vocalisations d'oiseaux ou des données acoustiques généralistes, en raison de leur proximité phylogénétique et des similitudes qu'elle implique dans leurs systèmes de communication vocale.
Après avoir discuté cette hypothèse initiale et ses implications potentielles dans l'étude de l'évolution du langage, nous étendons notre approche à une perspective plus systématique : les représentations basées sur la parole peuvent-elles encoder des informations bioacoustiques indépendamment de la proximité phylogénétique entre les humains et un taxon cible ? Bien qu'ils ne réfutent pas nécessairement notre hypothèse initiale, les résultats obtenus sur un ensemble de 11 tâches et espèces à différents niveaux de proximité avec l'humain montrent une tendance générale de certains modèles de parole à atteindre des performances compétitives en classification bioacoustique.
Nous discutons les variations de performance observées, de la robustesse de ces modèles au bruit environnant, à l'overlap de vocalisations et aux plages fréquentielles jusqu'à l'effet de la taille du modèle ou d'un pré-entraînement multilingue.
Enfin, nous abordons les perspectives théoriques et pratiques qui émergent de nos observations. Premièrement, les architectures propres aux modèles de parole auto-supervisés semblent générer de bonnes représentations bioacoustiques, grâce à la disponibilité de grands jeux de données de parole, donc à la taille conséquente de ces architectures, et au fait qu'elles soient directement conçues pour encoder des informations contextuelles de haut niveau à partir d'un flux acoustique continu grâce à des mécanismes d'attention adaptés aux données vocales. Deuxièmement, l'efficacité du transfert de connaissances de la parole aux sons d'animaux semble pouvoir être justifiée par des considérations liées à l'évolution convergente de la communication acoustique et à l'existence de stratégies communes et de principes fondamentaux partagés par toutes les espèces animales qui communiquent par le son.
En conclusion, ce travail vise à introduire à la fois l'utilisation de modèles de parole dans l'effort de recherche sur les textit{foundation models} en bioacoustique ainsi que l'idée qu'une étude plus approfondie de leurs capacités de transfert de connaissances permet d'adopter de nouvelles perspectives sur la phylogénie et l'évolution de la communication vocale.