Мультимодальные коммуникативные действия в экспозитивном диалоге: развитие общей и новой темы

Обложка

Цитировать

Полный текст

Аннотация

Устанавливается распределение и структура мультимодальных кластеров, включающих коммуникативные действия запроса, развития темы и ответного действия в экспозитивном диалоге. Гипотеза исследования заключается в том, что формирование мультимодальных кластеров действий определяется развитием общей (для двух участников диалога) или новой темы - коммуникативного действия, которое определяет ядро кластера. Для проверки гипотезы проводится мультимодальный эксперимент, в ходе которого организуется запись жестового поведения участников с применением технологии захвата движения (Perception Neuron Motion Capture) и их зрительного поведения с помощью очков-айтрекеров (Tobii Pro Glasses 2), а также их речи и мультимодального поведения в целом с помощью стационарной камеры. В результате установлены значительные различия в использовании взгляда, направленного на лицо собеседника, и контактоустанавливающих жестов под влиянием запроса и ответного действия в кластерах с ядром - развитием общей или новой темы; при этом использование взгляда, направленного на лицо собеседника, демонстрирует большую активность (частотность) и разнообразие. Исследование показало, что использование взаимно направленного взгляда преобладает в ходе запроса в составе кластера развития общей темы, в то время как развитие новой темы определяет более интенсивное использование взгляда слушающим в ходе ответного действия. Также выявлено, что одновременное (обоими участниками) вербальное развитие темы чаще происходит на этапе развития общей темы. Результаты доказывают, что социальное взаимодействие и коммуникация в экспозитивном диалоге характеризуются мультимодальностью и определяют роль взгляда, жеста и вербального действия в структуре мультимодальных кластеров.

Об авторах

Мария Ивановна Киосе

Московский государственный лингвистический университет; Институт языкознания РАН

Автор, ответственный за переписку.
Email: maria_kiose@mail.ru
ORCID iD: 0000-0001-7215-0604
Scopus Author ID: 56642747500
ResearcherId: AAB-7989-2019

доктор филологических наук, доцент, ведущий научный сотрудник Центра Cоциокогнитивных исследований дискурса Московского государственного лингвистического университета ; ведущий научный сотрудник Лаборатории мультиканальной коммуникации Института языкознания РАН

119034, Российская Федерация, г. Москва, ул. Остоженка, 38; 125009, Российская Федерация, г. Москва, Б. Кисловский переулок, 1

Анна Васильевна Леонтьева

Московский государственный лингвистический университет; Институт языкознания РАН

Email: lentevanja27@gmail.com
кандидат филологических наук, научный сотрудник Центра Cоциокогнитивных исследований дискурса (СКоДис) Московского государственного лингвистического университета, младший научный сотрудник Лаборатории мультиканальной коммуникации Института языкознания РАН 119034, Российская Федерация, г. Москва, ул. Остоженка, 38; 125009, Российская Федерация, г. Москва, Б. Кисловский переулок, 1

Ольга Владимировна Агафонова

Московский государственный лингвистический университет; Институт языкознания РАН

Email: olga.agafonova92@gmail.com
ORCID iD: 0000-0002-2184-163X
SPIN-код: 3516-1947

младший научный сотрудник Центра Cоциокогнитивных исследований дискурса (СКоДис) Московского государственного лингвистического университета, младший научный сотрудник Лаборатории мультиканальной коммуникации Института языкознания РАН

119034, Российская Федерация, г. Москва, ул. Остоженка, 38; 125009, Российская Федерация, г. Москва, Б. Кисловский переулок, 1

Андрей Андреевич Петров

Московский государственный лингвистический университет; Институт языкознания РАН

Email: petrov.drew@yandex.ru
ORCID iD: 0000-0003-0368-8800
SPIN-код: 7290-4450

научный сотрудник Центра Cоциокогнитивных исследований дискурса (СКоДис) Московского государственного лингвистического университета, научный сотрудник Лаборатории мультиканальной коммуникации Института языкознания РАН

119034, Российская Федерация, г. Москва, ул. Остоженка, 38; 125009, Российская Федерация, г. Москва, Б. Кисловский переулок, 1

Список литературы

  1. Carlson, L. (1983). Dialogue Games. An Approach to Discourse Analysis. Dordrecht: D. Reidel Publ.
  2. Баранов А.Н., Крейдлин Г.Е. Иллокутивное вынуждение в структуре диалога // Вопросы языкознания. 1992. № 2. С. 84-99.
  3. Shvedova, N.Yu. (2003). Essays on the syntax of Russian spoken speech. Moscow: Azbukovnik. Шведова Н.Ю. Очерки по синтаксису русской разговорной речи. М.: Азбуковник, 2003.
  4. Kendon, A. (1995). Gestures as illocutionary and discourse structure markers in Southern Italian conversation. Journal of Pragmatics, 23(3), 247-279.
  5. Brône, G., Feyaerts, K. & Oben, B. (2013). Multimodal turn-taking in dialogue: on the interplay of eye gaze, speech and gesture. In: Proceedings of AFLiCo5: Empirical approaches to multi-modality and to language variation. Lille. pp. 21-22.
  6. Kendrick, K.H. & Holler, J. (2017). Gaze direction signals response preference in conversation. Research on Language and Social Interaction, 50, 12-32.
  7. Коротаев Н.А. Мультиканальное взаимодействие при совместном построении синтаксических конструкций в диалоге // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной Международной конференции «Диалог», 22, Москва. 2023. С. 250-258.
  8. Haxby, J.V., Hoffman, E.A. & Gobbini, M.I. (2000). The distributed human neural system for face perception. Trends in Cognitive Sciences, 4, 223-233.
  9. Senju, A. & Johnson, M.H. (2009). The eye contact effect: mechanisms and development. Trends in Cognitive Sciences, 13, 127-134.
  10. Burgoon, J.K., Guerrero, L.K. & Floyd, K. (2010). Nonverbal Communication. London: Routledge.
  11. Givón, T. (1987). Beyond foreground and background. In: R.S. Tomlin (Ed.) Coherence and grounding in discourse. Amsterdam: Benjamins. pp. 175-188.
  12. Chafe, W. (1994). Discourse, Consciousness, and Time. The Flow and Displacement of Conscious Experience in Speaking and Writing. Chicago: The University of Chicago Press.
  13. Longacre, R. (1983). The grammar of discourse. New York: Plenum.
  14. Duncan, S. (1974). On the structure of speaker-auditor interaction during speaking turns. Language and Society, 3, 161-180.
  15. Mann, W.C. & Thompson, S.A. (1987). Rhetorical Structure Theory. A Theory of text Organization. California: University of Southern California.
  16. Kibrik, A.A. & Podlesskaya, V.I. (2009). Night Dream Stories. A corpus study of spoken Russian discourse. Moscow: Languages of Slavic Culture.
  17. Maschler, Y. & Schiffrin, D. (2015). Discourse Markers: Language, Meaning, and Context. In: The Handbook of Discourse Analysis. Second Edition. Vol. I. London: Bloomsbury Publishing Plc. pp. 189-221.
  18. Шаронов И.А. Дискурсивные слова и коммуникативы // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной Международной конференции «Диалог», Москва, 01-04 июня 2016 года. Вып. 15(22). М.: Российский государственный гуманитарный университет, 2016. С. 605-615.
  19. Sherstinova, T.Yu. (2016). The Structure of everyday dialogue as the sequence of speech acts. In: Computational Linguistics and Intellectual Technologies. Proceedings from the Annual International Conference “Dialogue”, 15. Moscow. pp. 616-631.
  20. Bogdanova-Beglarian, N., Sherstinova, T., Blinova, O. & Martynenko, G. (2017). Linguistic Features and Sociolinguistic Variability in Everyday Spoken Russian. In: Karpov A., Potapova R., Mporas I. (eds) Speech and Computer. SPECOM 2017. Lecture Notes in Computer Science. Vol. 10458. Springer: Cham. pp. 503-511.
  21. Troshchenkova, E.V. & Blinova, O.V. (2020). Pragmatic markers in the aspect of communicative alignment. Science Journal of Volgograd State University. Linguistics, 19(3), 49-58.
  22. Nippold, M.A. & Scott, C.M. (eds.). (2010). Expository discourse in children, adolescents, and adults: Development and disorders. New York: Psychology Press.
  23. Lundine, J.P. (2016). The Language of Learning: Expository Discourse and the Influences of Cognition and Language [dissertation]. Columbus: The Ohio State University publ.
  24. Iriskhanova, O.K., Kiose, M.I., Leonteva, A.V. & Agafonova, O.V. (2023). Vague reference in expository discourse: multimodal regularities of speech and gesture. In: Computational Linguistics and Intellectual Technologies. Proceedings from the Annual International Conference “Dialogue”, 22. Moscow. pp. 172-180.
  25. Schiffrin, D. (1987). Discourse Markers. Studies in Interactional Sociolinguistics. Vol. 5. Cambridge: Cambridge University Press.
  26. Blakemore, D. (2002). Relevance and Linguistic Meaning: The Semantics and Pragmatics of Discourse Markers. Cambridge: Cambridge University Press.
  27. Fraser, B. (2015). The combining of Discourse Markers. A beginning. Journal of Pragmatics, 86, 48-53.
  28. Путина О.Н. Функционирование дискурсивных маркеров в диалогическом единстве вопрос-ответ: на материале русского и английского языков: дис. … канд. филол. наук. Пермь, 2021.
  29. Булыгина Т.В., Шмелев А.Д. Диалогические функции некоторых типов вопросительных предложений // Известия АН ССР. Серия литературы и языка. 1982. Т. 41. № 4. С. 314-326.
  30. Curioni, A., Knoblich, G.K., Sebanz, N. & Sacheli, L.M. (2020). The engaging nature of interactive gestures. PLoS ONE, 15(4). https://doi. org/10.1371/journal.pone.0232128
  31. Bavelas, J.B., Chovil, N., Coates, L. & Roe, L. (1995). Gestures Specialized for Dialogue. Personality and Social Psychology Bulletin, 21(4), 394-405. https://doi. org/10.1177/0146167295214010
  32. Alibali, M.W., Spencer, R., Knox, L. & Kita, S. (2011). Spontaneous gestures influence strategy choices in problem solving. Psychological Science, 22, 1138-1144.
  33. Gukson, T., Goldin-Meadow, S., Newcombe, N. & Shipley, T. (2013). Individual differences in mental rotation: What does gesture tell us? Cognitive Processing, 14, 153-162.
  34. Kang, S., Tversky, B. & Black, J.B. (2014). Gesture and speech in explanations to experts and novices. Spatial Cognition and Computation, 15, 1-26.
  35. Tam, G. & Tellier, M. (2021). Gesture Helps Second and Foreign Language Learning and Teaching. In: Morgenstern, A. & Goldin-Meadow, S. (eds). Gesture in Language: Development Across the Lifespan. Berlin: Mouton de Gruyter. pp. 336-363.
  36. Beilock, S.L. & Goldin-Meadow, S. (2010). Gesture changes thought by grounding it in action. Psychological Science, 21, 1605-1611.
  37. Yasui, E. (2013). Collaborative idea construction: Repetition of gestures and talk in joint brainstorming. Journal of Pragmatics, 46(1), 157-172.
  38. Rodero, E. (2022). Effectiveness, Attractiveness, and Emotional Response to Voice Pitch and Hand Gestures in Public Speaking. Frontiers in Communication, 7, 869084. https:// doi: 10.3389/fcomm.2022.869084
  39. George, N. & Conty, L. (2008). Facing the gaze of others. Neurophysiologie Clinique, 38(3), 197-207.
  40. Brône, G., Oben, B., Jehoul, A., Vranjes, J. & Feyaerts, K. (2017). Eye gaze and viewpoint in multimodal interaction management. Cognitive Linguistics, 28(3), 449-483.
  41. Richardson, D.C. & Dale, R. (2005). Looking to understand: The coupling between speakers’ and listeners’ eye movements and its relationship to discourse comprehension. Cognitive Science, 29(6), 1045-1060.
  42. Clark, H.H. & Krych, M.A. (2004). Speaking while monitoring addressees for understanding. Journal of Memory and Language, 50(1), 62-81.
  43. Amati, F. & Brennan, S.E. (2018). Eye gaze as a cue for recognizing intention and coordinating joint action. In: Brône, G. & Oben, B. (eds.), Eye-tracking in Interaction: Studies on the role of eye gaze in dialogue, 21-46. Amsterdam / Philadelphia: John Benjamins Publ.
  44. Rossano, F. (2012). Gaze in conversation. In: J. Sidnell & T. Stivers (eds.) The handbook of conversation analysis. Malden, MA: Wiley-Blackwell. pp. 308-329.
  45. Goodwin, C. (1981). Conversational organization: Interaction between speakers and hearers. New York: Academic Press.
  46. Beattie, G.W. (1979). Planning units in spontaneous speech: Some evidence from hesitations in speech and speaker gaze direction in conversation. Linguistics, 17, 61-78.

Дополнительные файлы

Доп. файлы
Действие
1. Fig. 1. Experiment setting

Скачать (73KB)
Метаданные
2. Fig. 2. Typical multimodal Request: in Common Topic Elaboration (a); in Common Topic Elaboration (b)

Скачать (148KB)
Метаданные
3. Fig. 3b. Typical multimodal Elaboration in Novel Topic Elaboration: both participants are advancing verbal moves (a); one participant is advancing a verbal move (b)

Скачать (178KB)
Метаданные
4. Fig. 4. Typical multimodal Response: in Common Topic Elaboration (a); in Novel Topic Elaboration (b)

Скачать (152KB)
Метаданные

© Киосе М.И., Леонтьева А.В., Агафонова О.В., Петров А.А., 2023

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial 4.0 International License.

Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах