Voir et être vu : une interaction sociale avec un agent conversationnel animé peut-elle induire un sentiment d'être vu chez un interlocuteur humain ? - Sorbonne Université Access content directly
Conference Poster Year : 2021

Seeing and being seen: can a social interaction with an animated conversational agent induce a feeling of being seen in a human interlocutor?

Voir et être vu : une interaction sociale avec un agent conversationnel animé peut-elle induire un sentiment d'être vu chez un interlocuteur humain ?

Abstract

Social interactions can be studied in detail using virtual environments that allow communication between a human and a virtual partner. The use of animated conversational agents (ACAs) with their ability to produce multimodal social signals (speech, gestures, gaze, etc.) allows the creation of interactive and socially engaging paradigms with good experimental control. The present study focuses on the agent's social gaze and its effect on human behaviour. Previous research has shown that in a face-to-face interaction between two people, the feeling of being seen -which corresponds to the sensation that a person is able to see us- manifests itself in modifications of the non-verbal behaviour directly linked to this belief of being looked at. We sought to determine the effects of the gaze of an ACA on the feeling of being seen in a human interlocutor. Fifteen participants (18-25 years old) took part in two successive interactions in which they had to buy fruit/vegetables from two CBAs (GRETA platform), salesmen behind a food stand. To interact with the two agents, the participants had to indicate their choice of fruit/vegetables by the direction of their gaze, then verbally announce the desired quantity and make head movements (yes/no) in response to the agent's questions. These two physically identical virtual agents differ in the verbal and non-verbal eye signals they communicate: Emma makes direct gazes and correctly infers product choices; Vanessa makes mostly deviated gazes and makes errors in determining the participant's choices. We performed automatic analyses of the human's behaviour from video recordings and assessed her subjective experience of the interactions using questionnaires. We will present our experimental procedure and our first results.
Les interactions sociales peuvent être étudiées finement en utilisant des environnements virtuels permettant la communication entre un humain et un partenaire virtuel. L’utilisation des agents conversationnels animés (ACA) grâce à leur capacité de produire des signaux sociaux multimodaux (parole, gestes, regard, etc.) permettent de créer des paradigmes interactifs et socialement engageants avec un bon contrôle expérimental. La présente étude se focalise sur le regard social de l’agent et son effet sur le comportement de l’humain. Des recherches antérieures ont montré que dans une interaction de face-à-face entre deux personnes, le sentiment d’être vu –qui correspond à la sensation qu’une personne est capable de nous voir– se manifeste par des modifications du comportement non verbal directement lié à cette croyance d’être regardé. Nous cherchons à déterminer les effets du regard d’un ACA sur le sentiment d’être vu chez un interlocuteur humain. Quinze participants (18-25 ans) ont participé à deux interactions successives où ils devaient acheter des fruits/légumes auprès de deux ACAs (plateforme GRETA), vendeurs derrière un stand alimentaire. Pour interagir avec les deux agents, les participants devaient indiquer par la direction de leur regard leur choix de fruits/légumes, puis annoncer verbalement la quantité souhaitée et réaliser des mouvements de tête (oui/non) comme réponse aux questions de l’agent. Ces deux agents virtuels, identiques physiquement, diffèrent par les signaux verbaux et non-verbaux oculaires qu’ils communiquent : Emma effectue des regards directs et déduit correctement les choix de produits ; Vanessa effectue des regards majoritairement déviés et commet des erreurs dans la détermination des choix du participant. Nous avons réalisé des analyses automatiques du comportement de l’humain à partir d’enregistrements vidéo et évalué son expérience subjective des interactions à l’aide de questionnaires. Nous présenterons notre procédure expérimentale et nos premiers résultats.
Fichier principal
Vignette du fichier
Grondin_Chaby21_poster_RV_PSY.pdf (1.06 Mo) Télécharger le fichier
Origin Files produced by the author(s)

Dates and versions

hal-04073260 , version 1 (18-04-2023)

Identifiers

  • HAL Id : hal-04073260 , version 1

Cite

Mickaëlla Grondin-Verdon, Nezih Younsi, Michele Grimaldi, Catherine Pelachaud, Laurence Chaby. Voir et être vu : une interaction sociale avec un agent conversationnel animé peut-elle induire un sentiment d'être vu chez un interlocuteur humain ?. VR-PSY, Sep 2021, Boulogne-Billancourt, France. ⟨hal-04073260⟩
25 View
48 Download

Share

Gmail Mastodon Facebook X LinkedIn More