D.Sc. in Philology, Associate Professor, Leading Researcher of the Centre for Socio-Cognitive Studies of Moscow State Linguistic University; Leading Researcher; Laboratory for multichannel communication Institute of Linguistics, RAS
доктор филологических наук, доцент, ведущий научный сотрудник Центра Cоциокогнитивных исследований дискурса Московского государственного лингвистического университета ; ведущий научный сотрудник Лаборатории мультиканальной коммуникации Института языкознания РАН
Junior Researcher at the Center for Socio-Cognitive Discourse Studies (SCoDis), Moscow State Linguistic University; Junior Researcher, Laboratory for multichannel communication Institute of Linguistics, RAS
младший научный сотрудник Центра Cоциокогнитивных исследований дискурса (СКоДис) Московского государственного лингвистического университета, младший научный сотрудник Лаборатории мультиканальной коммуникации Института языкознания РАН
Researcher at the Center for Socio-cognitive Discourse Studies (SCoDis), Moscow State Linguistic University ; Researcher, Laboratory for multichannel communication Institute of Linguistics, RAS
научный сотрудник Центра Cоциокогнитивных исследований дискурса (СКоДис) Московского государственного лингвистического университета, научный сотрудник Лаборатории мультиканальной коммуникации Института языкознания РАН
The study explores the distribution and structure of multimodal clusters presenting a series of communicative moves in expositive dialogues: Request, Elaboration, and Response. We hypothesize that multimodal clustering of moves will be predetermined by the use of either common (for both participants) or novel topic elaboration as a nucleus move within the cluster. To proceed, we conduct a multimodal experiment which recorded the participants’ gesture with motion capture system (Perception Neuron Motion Capture) and gaze with eye-tracking glasses (Tobii Pro Glasses 2), as well as their speech and overall multimodal behavior with a stationary camera. The study reveals significant differences in the use of both face-oriented gaze and contactestablishing gesture as modulated by Request and Response moves within common or novel topic elaboration clusters; however, face-oriented gaze use manifests both higher frequency and diversity. Mutual face-oriented gaze prevails at the Request move preceding common topic elaboration, whereas elaborating a novel topic is found to produce a more involved gaze reaction of the listener during the Response moves. Additionally, simultaneous (by both participants) verbal move is more typical of common topic elaboration. The results evidence that social interaction and communication in expositive dialogue is processed multimodally and predetermines the role of gaze, gesture and verbal moves in communicative moves clusters.
Устанавливается распределение и структура мультимодальных кластеров, включающих коммуникативные действия запроса, развития темы и ответного действия в экспозитивном диалоге. Гипотеза исследования заключается в том, что формирование мультимодальных кластеров действий определяется развитием общей (для двух участников диалога) или новой темы - коммуникативного действия, которое определяет ядро кластера. Для проверки гипотезы проводится мультимодальный эксперимент, в ходе которого организуется запись жестового поведения участников с применением технологии захвата движения (Perception Neuron Motion Capture) и их зрительного поведения с помощью очков-айтрекеров (Tobii Pro Glasses 2), а также их речи и мультимодального поведения в целом с помощью стационарной камеры. В результате установлены значительные различия в использовании взгляда, направленного на лицо собеседника, и контактоустанавливающих жестов под влиянием запроса и ответного действия в кластерах с ядром - развитием общей или новой темы; при этом использование взгляда, направленного на лицо собеседника, демонстрирует большую активность (частотность) и разнообразие. Исследование показало, что использование взаимно направленного взгляда преобладает в ходе запроса в составе кластера развития общей темы, в то время как развитие новой темы определяет более интенсивное использование взгляда слушающим в ходе ответного действия. Также выявлено, что одновременное (обоими участниками) вербальное развитие темы чаще происходит на этапе развития общей темы. Результаты доказывают, что социальное взаимодействие и коммуникация в экспозитивном диалоге характеризуются мультимодальностью и определяют роль взгляда, жеста и вербального действия в структуре мультимодальных кластеров.