Soutenance de thèse de HUTTNER Lena-Marie
Titre de thèse
La catégorisation des sons de la parole en tant que processus de décision collective
Categorization of speech sounds as a collective decision process
Résumé de la thèse
Dans la perception de la parole, les auditeurs intègrent des informations sur divers indices acoustiques pour attribuer de manière cohérente le signal à sa catégorie perceptive. Ces catégories perceptuelles ne sont pas entièrement définies par les propriétés acoustiques du signal mais sont établies dans l'interaction sociale. Même les membres de la même communauté linguistique présentent des schémas de catégorisation différents. En dialogue, deux interlocuteurs peuvent alors devoir convenir d'une catégorisation d'un signal afin de se comprendre mutuellement. Cependant, la façon dont cela peut se produire est un phénomène peu compris. Selon le inter- active alignment account les interlocuteurs réussissent à communiquer en alignant automatiquement leurs représentations à chaque niveau linguistique, y compris au niveau phonologique. Cette thèse explore si les interlocuteurs en viennent à partager la catégorisation d'un signal. Et comment les adaptations de la perception pourraient être liées aux adaptations de la production. Les deux premières expériences visent à étudier l'influence de l'interaction sociale sous forme d'échange d'informations entre dyades interactives sur la catégorisation des sons de la parole : Dans une tâche d'association son-image, les participants regroupés en dyades devaient convenir d'une correspondance entre cinq stimuli acoustiques sur un continuum et deux images. Il y avait deux conditions expérimentales. Dans l'une, les partenaires recevaient des com- mentaires sur le fait que leur association correspondait à celle de leur partenaire, dans l'autre, les participants effectuaient la tâche eux-mêmes, sans recevoir de commentaires. Nous avons demandé si l'échange d'informations entre les dyades interactives influencerait l'accord et la catégorisation des stimuli entendus. Dans une deuxième expérience, les participants ont réalisé une tâche de catégorisation individuelle après la catégorisation interactive pour examiner si l'interaction avait un effet durable sur la perception des participants. L'interaction a eu une influence significative sur la catégorisation globale des stimuli. Le mécanisme sous-jacent permettant aux participants de se coordonner reste cependant encore peu clair. L'alignement, en tant que mécanisme automatique permettant la compréhension, présuppose également la parité des représentations. Deux expériences ont été menées pour examiner comment les adaptations de la perception pourraient être liées aux adaptations de la production. Dans une expérience en ligne avec des conditions 2x2, les participants ont été invités à catégoriser neuf stimuli sur un continuum de VOT et à produire de la parole avant et après avoir joué à un jeu avec un bot. Pendant le jeu, les participants ont été formés sur une correspondance son-mot avec une tendance vers l'un des points terminaux ; la moitié des participants ont ensuite alterné entre la catégorisation et la production des stimuli. Les résultats indiquent que la perception et la production ne s'ajustent pas symétriquement au cours d'une interaction. Dans une quatrième expérience, ce lien est exploré plus avant en demandant à la moitié des participants d'imiter ou de répéter la production du locuteur modèle pendant la tâche interactive. L'imitation a été dé- montrée pour affecter la convergence phonétique dans la production. Nous avons en outre inclus une deuxième paire minimale en tant que stimuli. Les adaptations de la perception et de la production semblent être non corrélées. Dans l'ensemble, les résultats suggèrent que les participants peuvent facilement adapter leur comportement de catégorisation les uns aux autres. La perception et la production sont toutes deux influencées par le stimulus, mais les adaptations ne sont pas parallèles. Cela indique que les interlocuteurs peuvent ajuster dynamiquement leurs besoins communicatifs mutuels dans l'interaction.
Thesis resume
In speech perception, listeners integrate information over various acoustic cues to consistently attribute the signal to a perceptual category. These categories are not fully defined by the acoustic properties of the signal but are learned and established in social interaction. Even members of the same linguistic community do not all categorize sounds in the same way. In dialogue two or more interlocutors may then have to come to agree on a categorization of a variably produced signal in order to understand one another. How this may happen is a little understood phenomenon This thesis explores if interacting partners come to share the categorization of a sig- nal. And further how adaptations in perception might be related to adaptations in production. According to the interactive alignment account, interlocutors achieve communicative success by automatically aligning their representations on every lin- guistic level, including the phonological level. During interaction, a perceived signal will activate a representation which then is also used in the production of speech, which leads to an increase in similarity in speech patterns. This further requires an intrinsic link between perception and production. The first two experiments study the influence of information exchange among interacting dyads on speech sound categorization: In a sound-to-picture matching task participants grouped into dyads were asked to agree on a correspondence between five acoustic stimuli on a contin- uum and two pictures. There were two experimental conditions. In one, partners were given feedback on whether their association matches their partner's, in another participants did not receive feedback. We asked whether exchanging information among interacting dyads would influence agreement and categorization of the heard stimuli. In a second experiment participants completed an individual categorization task after interactive categorization to examine whether the interaction had a lasting effect on the participants' perception. Interaction had a significant influence on the overall categorization of the stimuli. The underlying mechanism allowing participants to coordinate remains however unclear. Alignment, as an automatic mechanism enabling understanding, further presupposes the parity of representations. Two exper- iments were conducted to examine how adaptations in perception might be related to adaptations in production. In an online experiment with 2x2 conditions participants were asked to categorize nine stimuli on a VOT continuum and produce speech before and after playing a game with a bot. During the game participants were trained on a sound to word correspondence with a bias towards one of the endpoints; half of the participants further alternated categorizing and producing the stimuli. The results suggest that perception and production do not adjust symmetrically over the course of an interaction. In a fourth experiment, this link is further explored by asking half of the participants to imitate or repeat the model speaker's production during the interactive task. Imitation has been shown to affect phonetic convergence in production. We further included a second minimal pair as stimuli. The results show that if an adaptation is made, it is likely to occur on the phonemic level rather than the lexical. Further, adaptations in perception and production appear to be uncorrelated. The results suggest that participants can readily adapt their categorization behavior to one another. Perception and production are both influenced by the stimulus, yet adaptations are not parallel. This indicates that interlocutors can dynamically adjust to one another's communicative needs in interaction.