Ecole Doctorale

COGNITION, LANGAGE, EDUCATION

Spécialité

Sciences du langage

Etablissement

Aix-Marseille Université

Mots Clés

production du langage,comportement adapté au partenaire,co-représentation,alignement linguistique,interaction homme-robot,EEG

Keywords

language production,partner-adaptive behavior,co-representation,linguistic alignment,human-robot interaction,EEG

Titre de thèse

Marqueurs comportementaux et électrophysiologiques de l'adaptation au partenaire dans la production conjointe du langage
Behavioral and electrophysiological markers of partner-adaptation in joint language production

Date

Vendredi 9 Décembre 2022

Adresse

5, Avenue Pasteur 13100 Aix-en-Provence France B011

Jury

Directeur de these M. Noël NGUYEN Aix Marseille Université
CoDirecteur de these Mme Cristina BAUS Department of cognition development and educational psychology - Universitat de Barcelona
Rapporteur Mme Chiara GAMBI University of Warwick
Rapporteur Mme Anna KUHLEN RWTH Aachen University
Examinateur M. François-Xavier ALARIO Aix-Marseille Université
Examinateur M. Raphael FARGIER Laboratoire Bases, Corpus, Langage - UMR 7320 - Université Côte d'Azur

Résumé de la thèse

L'interaction linguistique est une forme d'action conjointe dans laquelle les individus coordonnent leur comportement verbal et non verbal pour communiquer avec succès. Pour ce faire, les interlocuteurs en viennent à se représenter mutuellement dans de multiples dimensions du langage, de la conceptualisation à la sélection lexicale et à la représentation phonologique. Ils en viennent également à copier les mots et les expressions des autres. La présente thèse vise à explorer les dynamiques sociales et cognitives qui amènent les interlocuteurs à se tourner vers la perspective de leur partenaire et à discuter des effets que les comportements d'adaptation au partenaire ont sur la mémoire (encodage de l'information), la prédiction et la production (choix des mots). Dans trois études empiriques, nous avons fourni des preuves des processus de co-représentation et d'adaptation qui sous-tendent l'interaction homme-homme et homme-robot. Dans la première étude, nous avons utilisé une tâche partagée de type go/no-go dans laquelle des paires de participants classaient des objets affichés sur un écran. Les objets variaient selon qu'ils nécessitaient une réponse d'un seul participant, des deux participants ou d'aucun des deux. Chaque participant réagissait soit en fonction de l'animation (tâche sémantique), soit en fonction de la première lettre/phonème de l'objet (tâche de suivi du phonème). Nous avons testé si l'attention partagée sur des propriétés linguistiques distinctes et sélectives affecte le traitement du langage. Nous avons constaté que les participants qui portaient leur attention sur le niveau phonétique répondaient plus rapidement dans les essais conjoints. Cela suggère que la phonétique bénéficie de la coprésence de la sémantique. Les résultats d'un test de rappel ont révélé, en outre, un avantage de mémoire sociale pour les deux groupes de participants lorsqu'ils repondent aux objets ensemble. Dans les deuxième et troisième études, nous avons testé la prédiction et l'adaptation aux choix lexico-sémantiques produits par un robot humanoïde dans une tâche conjointe de dénomination d'images en utilisant des mesures électrophysiologiques (étude 2) et comportementales (étude 3). Le robot était programmé pour donner le nom de la catégorie sémantique supérieure (p. ex., outil) au lieu du nom de niveau de base plus typique (p. ex., marteau) des objets appartenant à des catégories sémantiques spécifiques. Les résultats électrophysiologiques ont révélé que 1) les partenaires humains sont capables de surveiller et de prédire les mots à venir du robot, comme le signale l'activité comparable lorsqu'ils se préparent à parler et lorsque le robot se prépare à parler, et que 2) ils peuvent s'adapter aux modèles lexico-sémantiques idiosyncrasiques du robot. D'après les analyses comportementales, nous avons constaté que les participants produisaient progressivement les noms superordonnés dans les mêmes contextes sémantiques que le robot, indiquant un alignement conceptuel sur les choix de mots du robot. La présente thèse offre un regard exploratoire sur la dynamique d'adaptation affectant le traitement du langage, combinant des étapes de production pertinentes (lexico-sémantique, lexicale, phonétique) avec des dimensions cognitives spécifiques (prédiction, production, mémoire) dans des contextes contrôlés et écologiquement valides.

Thesis resume

Language interaction is a form of joint action in which individuals coordinate their verbal and non-verbal behavior to communicate successfully. To do so, interlocutors come to co-represent each other at multiple language dimensions, from conceptualization down to lexical selection and to phonological representation. They also come to copy each other’s words and expressions. The present thesis aimed at exploring the social and cognitive dynamics that bring interlocutors to shift towards the perspective of their partner and discuss the effects that partner-adaptive behaviors have on memory (information encoding), prediction and production (word choices). In three empirical studies, we provided evidence for co-representation and adaptation processes underlying human-human and human-robot interaction. In the first study, we employed a shared go/no-go task in which pairs of participants categorized objects displayed on a screen. Objects varied in whether they required a response of only one participant, both participants or neither. Each participant reacted either according to the animacy (semantic task) or to the first letter/phoneme of the object (phoneme-monitoring task). We tested whether shared attention over separate, selective linguistic properties affects language processing. We found that participants attending to the phonetic level were faster at responding in joint trials, suggesting that phonetics benefits from co-representing semantics. Results from a recall test revealed, in addition, a social memory advantage for both groups of participants when attending objects together with their partner. In the second and third study we tested prediction and adaptation to the lexico-semantic choices produced by a humanoid robot in a joint picture naming task using electrophysiological (study 2) and behavioral measures (study 3). The robot was programmed to give the superordinate, semantic category name (e.g., tool) instead of the more typical basic-level name (e.g., hammer) of objects belonging to specific semantic categories. Electrophysiological results revealed that 1) human partners are able to monitor and predict a robot’s upcoming words, as signaled by the comparable activity when preparing to speak and when the robot prepares to speak and that 2) they can adapt to the idiosyncratic lexico-semantic patterns of the robot. From the behavioral analyses, we found that participants progressively produced the superordinate names in same semantic contexts of the robot, indicating conceptual alignment towards the robot’s word choices. The present thesis offers an explorative overlook on the adaptation dynamics affecting language processing, combining relevant production stages (lexico-semantic, lexical, phonetic) with specific cognitive dimensions (prediction, production, memory) within controlled and ecologically-valid settings.