Ecole Doctorale

SCIENCES POUR L'INGENIEUR : Mécanique, Physique, Micro et Nanoélectronique

Spécialité

Sciences pour l'ingénieur : spécialité Acoustique

Etablissement

Aix-Marseille Université

Mots Clés

perception,synthèse sonore,contrôle perceptif,,

Keywords

perception,sound synthesis,perceptual control,,

Titre de thèse

Des non-linéarités physiques à la perception sonore
Physical nonlinearity and auditory perception

Date

Vendredi 3 Décembre 2021 à 14:00

Adresse

31 chemin Joseph Aiguier 13009 Marseille Amphithéatre DESNUEL

Jury

Directeur de these M. Richard KRONLAND-MARTINET CNRS / PRISM
Rapporteur M. Philippe DEPALLE Université McGill
Rapporteur Mme Stefania SERAFIN Aalborg university
Examinateur M. Sylvain MARCHAND Université de La Rochelle
CoDirecteur de these M. Stefan BILBAO University of Edinburgh

Résumé de la thèse

La synthèse numérique des sons a connu ces dernières années une évolution significative qui permet de reproduire des percepts sonores complexes de façon réaliste en s'appuyant sur des modèles physiques et de signaux. Les enjeux scientifiques se situent désormais au niveau des stratégies pour un contrôle intuitif des processus de synthèse sonore dont la manipulation et le réglage demande le plus souvent une grande expertise. Il s'agit de proposer des stratégies de contrôle prenant en compte les relations liant la physique des sources sonores, la morphologie des signaux rayonnés et leur perception. D'autre part, l'essor des environnements interactifs requiert de concevoir des modèles dynamiques et peu coûteux en temps de calcul plutôt que de reproduire le plus fidèlement possible la réalité physique. L'aspect dynamique dans la production sonore est principalement porté par les phénomènes non-linéaires qui induisent des modifications du comportement de la source lorsque la sollicitation change. La prise en compte de ces phénomènes dans la conception des processus de synthèse doit permettre d'améliorer les capacités d'expression de l'utilisateur, et la conception de modèles simplifiés pour la synthèse de sons correspondant à des cas fortement non-linéaires, notamment pour le cas des gongs et cymbales, constitue également un enjeu. Le travail effectué dans cette thèse a pour objectif de concevoir un modèle pour la synthèse de son d'environnement prenant en compte les phénomènes non-linéaires intervenant dans la modélisation physique des sources sonores. Nous cherchons à proposer un modèle simplifié du signal sonore en adéquation avec la perception humaine. La méthodologie suivie consiste à : - générer un corpus par la simulation physique de sources sonores dont le comportement non-linéaire est représentatif de percepts sonores préalablement classifiés ; - déterminer les morphologies sonores correspondantes à partir de l'analyse des signaux non-stationnaires du corpus ; - concevoir un modèle de signal simplifié cohérent avec la perception ; - évaluer et calibrer la transcription du phénomène dans le modèle de signal à l'aide de tests d'écoute ; - faire évoluer le modèle de signal et proposer des stratégies de contrôle intuitif des processus de synthèse. Après avoir précisé le contexte et les enjeux de ce sujet, nous présentons la génération d'un corpus de sons et les déterminations des morphologies sonores associées pour deux cas de figures caractéristiques des phénomènes non-linéaires dans la production des sons solidiens : la perturbation des vibrations d'une corde raide par un obstacle rigide et les vibrations d'une plaque mince pour de grandes amplitudes de vibrations élastiques. Nous en avons déduit qu'un aspect commun à ces deux cas de figure était les transferts d'énergie vers les hautes fréquences. Nous proposons ensuite un modèle de signal pour les transferts d'énergie entre les modes et son utilisation pour la synthèse de son correspondant à des phénomènes non-linéaires. Enfin, nous évaluons la transcription des phénomènes par le modèle de signal à l’aide de tests d'écoute et nous calibrons le modèle pour proposer un contrôle intuitif des processus de synthèse développés pendant la thèse. Ce travail d'évaluation perceptive de la retranscription des évènements sonores nous permet d'envisager la synthèse de sons inouïs portant un sens : les métaphores sonores.

Thesis resume

Digital sound synthesis has undergone a significant evolution in recent years, allowing the realistic reproduction of complex sound percepts based on physical and signal models. The scientific challenges are now to define intuitive control strategies of sound synthesis processes whose manipulation and adjustment often require a great expertise. It involves proposing control strategies that take into account the relationships between the physics of the sound sources, the morphology of the radiated signals and their perception. On the other hand, the rise of interactive environments requires the design of dynamic models with low computational cost rather than reproducing physical reality as faithfully as possible. The dynamic aspect in sound production is mainly driven by non-linear phenomena that induce changes in the behavior of the source when the solicitation changes. Taking these phenomena into account in the design of synthesis processes should improve the user's expressive capabilities. The design of simplified models for the synthesis of sounds corresponding to highly nonlinear cases, especially for the case of gongs and cymbals, is also an issue. The work done in this thesis aims at designing a model for environmental sound synthesis taking into account the nonlinear phenomena involved in the physical modeling of sound sources. We seek to propose a simplified model of the sound signal in adequacy with human perception. The methodology followed consists in: - generating a sound corpus by simulating sound sources whose non-linear behavior is representative of previously classified sound percepts; - determining the corresponding sound morphologies from the analysis of the non-stationary signals of the corpus; - designing a simplified signal model consistent with the perception; - evaluating and calibrating the transcription of the phenomenon in the signal model using listening tests; - proposing strategies for intuitive control of synthesis processes. After having specified the context and the stakes of this subject, we present the generation of a corpus of sounds and the determinations of the associated sound morphologies for two characteristic cases of non-linear phenomena in the production of solid sounds: the perturbation of the vibrations of a stiff string by a rigid obstacle and the vibrations of a thin plate for large elastic vibration amplitudes. We deduce that a common aspect of these two cases is the transfer of energy towards high frequencies. We then propose a signal model for the energy transfers between modes and its use for the synthesis of sounds corresponding to nonlinear phenomena. Finally, we evaluate the transcription of the phenomena by the signal model using listening tests and we calibrate the model to propose an intuitive control of the synthesis processes developed during the thesis.