Особенности конструирования события в тексте и иллюстрации. Глазодвигательные реакции и дискурсивные интерпретации

Обложка

Цитировать

Полный текст

Аннотация

В работе исследуются комбинаторные эффекты в выборе техник конструирования события в гетеросемиотическом единстве текста и изображения на материале иллюстрированных книг. Гипотеза исследования, заключающаяся в том, что активность и сопряженность параметров конструирования события будет определять интерпретацию гетеросемиотического единства, верифицируется в ходе окулографического анализа и последующего анализа дискурсивных ответов участников. Анализу подвергаются 12 групп параметров: параметры истинности, общего типа, типа отношений, управляемости, завершенности, моментальности, результативности, оценочности, локализации в пространстве, локализации во времени, повторяемости, причинно-следственных отношений; в ходе анализа устанавливается их роль в создании текста и изображения, а также особенности их резонанса, или особенности дублирования их активности в тексте и изображении. Для отбора стимульных образцов используется методика определения их типичности и уникальности с помощью факторного анализа с привлечением показателей параметров конструирования; показатели уникальности установлены в диапазоне от 0.111 до 0.675, что обеспечивает вариативность привлекаемых образцов. В ходе эксперимента выявлено, что продолжительность пребывания взгляда в зонах текста и изображения обусловлена особенностями конструирования события. Увеличение продолжительности фиксаций в зонах текста наблюдается, если событие в изображении представлено как задействующее отношения физического контакта, как статическое и желательное. Если в тексте не представлены событие создания и разрушения, событие-достижение цели, событие, имеющее временные отсылки, событие с выраженными причинными и следственными отношениями, то возрастает продолжительность фиксаций в зоне изображения. Активность параметров также определяет выбор дискурсивных паттернов в дескриптивном, нарративном дискурсах и дискурсе-рассуждении. Установлено ограниченное количество параметров конструирования события, сопряженных с выбором нарративных паттернов; выбор дискурса-рассуждения сопряжен одновременно с ограниченным количеством параметров конструирования текста и с достаточно большим их количеством в изображении. Полученные данные позволяют использовать разработанную систему параметров конструирования события в тексте и изображении для реализации прогностической оценки успешности интерпретации гетеросемиотических единств. Результаты также способствуют интегрированию на единых основаниях достижений лингвокогнитивной и когнитивно-семиотической парадигм к анализу гетеросемиотических единств.

Об авторах

Мария Ивановна Киосе

Московский государственный лингвистический университет

Автор, ответственный за переписку.
Email: maria_kiose@mail.ru
ORCID iD: 0000-0001-7215-0604

доктор филологических наук, доцент, ведущий научный сотрудник Центра социокогнитивных исследований дискурса

119034, Российская Федерация, Москва, ул. Остоженка, 38

Список литературы

  1. Itti, L. (2005). Quantifying the contribution of low-level saliency to human eye movements in dynamic scenes. Visual Cognition, 12 (6), 1093-1123.
  2. Komogortsev, O. & Khan, J.I. (2006). Perceptual attention focus prediction for multiple viewers in case of multimedia perceptual. In: ETRA 2006 - Proceedings of the Eye Tracking Research and Application Symposium, Räihä K-J., Duchowski A.T (eds.). California: San Diego. pp. 101-108.
  3. Wilming, N., Onat, S., Ossandón, J.P., Açık, A., Kietzmann, T.C., Kaspar, K., Gameiro, R.R., Vormberg, A. & König, P. (2016). An extensive dataset of eye movements during viewing of complex images. Scientific Data, 4. URL: https://www.nature.com/articles/sdata2016126. pdf (accessed: 12.05.2020).
  4. Lautenbacher, O.P. (2012). From still pictures to moving pictures: eye-tracking text and image. In: Eye Tracking in Audiovisual Translation, E. Perego (Ed.). Roma: Aracne Editrice. pp. 133-154.
  5. Antipov, V.N. & Zhegallo, A.V. (2017). Three-dimensional perception of flat images in computerized environment. Experimental Psychology, 7(3), 97-111.
  6. Kaspar, K. & König, P. (2011). Viewing behavior and the impact of low-level image properties across repeated presentations of complex scenes. Journal of Vision, 11, 1-29.
  7. Kirtley, C. (2018). How images draw the eye: an eye-tracking study of composition. Empirical Studies of the Arts, 36 (1), 41-70.
  8. Steptoe, W., Oyekoya, O. & Steed, A. (2010). Eyelid kinematics for virtual characters. Journal of Visualization and Computer Animation, 21 (3), 161-171.
  9. Voroshiliva, М.B. & Zlokazov, К.V. (2017). Psychological methods of Creole texts study. Political Science, 2, 126-137. (In Russ.).
  10. Baldry, A.P. & Thibault, P.J. (2006). Multimodal Transcription and Text. London: Equinox.
  11. Giora, R. (2003). On our mind: Salience, context, and figurative language. Oxford: Oxford University Press.
  12. Gibbs, R. & Tendal, M. (2006). Cognitive effort and effects in metaphor comprehension: Relevance theory and psycholinguistics. Mind and Language, 21(3), 379-403.
  13. Schmid, H-J. (ed.) (2016). Entrenchment and the psychology of language learning. How we reorganize and adapt linguistic knowledge. Washington DC: Mouton de Gruyter.
  14. Merleau-Ponty, M. (2005). Phenomenology of perception, C. Smith (transl.). London: Routledge.
  15. Clark, A. (2006). Language, embodiment and the cognitive niche. Trends Cogn. Sci., 10, 370-374.
  16. Danziger, E. & Rumsey, A. (eds.) (2013). Intersubjectivity across Languages and Cultures. Special issue of Language and Communication. Amsterdam: Elsevier,
  17. Sinha, C. (2015). Language and other artifacts: Socio-cultural dynamics of niche construction. Frontiers in Psychology, 6. URL: https://www.frontiersin.org/articles/10.3389/fpsyg.2015.01601/full (accessed: 12.01.2021).
  18. Pustejovsky, J. (1995). The Generative Lexicon. Cambridge, Massachusetts: MIT Press.
  19. Talmy, L. (1996). Fictive motion in language and caption. In: Language and Space, P. Bloom, M. Peterson, L. Nadel, and M. Garrett (eds.). Cambridge, MA: MIT Press. pp. 211-276.
  20. Jackendoff, R. (2002). Foundations of language: Brain, meaning, grammar, evolution. Oxford: Oxford University Press.
  21. Bergen, B. (2015). Embodiment. In: Handbook of Cognitive Linguistics, E. Dabrowska, D. Divjak (eds.). BerlIn: Walter de Gruyter. pp. 10-30.
  22. Vendler, Z. (1967). Facts and Events. In: Linguistics in Philosophy. Ithaca, NY. pp. 12-146.
  23. Аrutunova, N.D. (1988). Types of linguistic meanings: Assessment, event, fact. Мoscow: Nauka. (In Russ.). Арутюнова Н.Д. Типы языковых значений. Оценка, событие, факт. М.: Наука, 1988.
  24. Paducheva, Е.V. (1985). Utterance and its coreference with reality. Мoscow: Nauka. (In Russ.) Падучева Е.В. Высказывание и его соотнесенность с действительностью (Референциальные аспекты семантики местоимений). М.: Наука, 1985.
  25. van Dijk, T.A. (1981). Studies in the pragmatics of discourse. The Hague-BerlIn: Mouton.
  26. Tomlin, R.S. (1987). Linguistic reflections of cognitive events. In: Coherence and Grounding in Discourse, R.S. Tomlin (Ed.). Amsterdam: Benjamins. pp. 455-480.
  27. Tenny, C. & Pustejovsky, J. (eds.) (1991). Events as Grammatical Objects: The Converging Perspectives of Lexical Semantics and Syntax. Stanford, Ca: CSLI Publications.
  28. Novikov, L.А. (2001). Dynamic composition. In: Selected Papers. Vol. II. Esthetic aspects in language. Miscellanea. Moscow: RUDN publ. pp. 409-412. (In Russ.).
  29. Novikov, L.А. (1991). Stylistic of ornamental prose of Andrej Belyi. Мoscow: RUDN publ. (In Russ.).
  30. Demyankov, V.Z. (1983). Event in semantics, pragmatics and interpretation coordinates. Izvestiya АN USSR. Literature and language series, 42 (4), 320-329. (In Russ.).
  31. Labov, W. (1972). Language of the Inner City. Studies in the Black English Vernacular. Philadelphia: University of Pennsylvania Press.
  32. Cienki, A. & Iriskhanova, O. (eds.) (2018). Aspectuality across languages. Event construal in speech and gesture. Amsterdam: John Benjamins.
  33. Boldyrev, N.N. & Vinogradova, S.G. (2016). Composite sentence and its metacognitive modeling. Issues of cognitive linguistics, 3, 69-76. (In Russ.). https://doi.org/10.20916/1812-3228-2016-3-69-76
  34. Baker, P. & Egbert, J. (eds.) (2016). Triangulating methodological approaches in corpuslinguistic research. London: Routledge.
  35. Kiose, M.I. & Efremov, A.A. (2020). HETEROSTAT software. Registered in FIPI 21.09.2020, registration number 2020661240.
  36. Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient estimation of word representations in vector space. In: Proceedings of ICLR Workshop. pp. 430-443. URL: https://www.arxiv-vanity.com/papers/1301.3781/ (accessed: 1.04.2021).
  37. Paradis, C., Löhndorf, S., van de Weijer, J. & Willners, C. (2015). Semantic profiles of antonymic adjectives in discourse. Linguistics, 53 (1), 153-191.
  38. Kiose, M.I. (2021). Linguistic creativity and discourse profiles of English language children’s novels. Russian Journal of Linguistics, 25 (1), 147-164. https://doi.org/10.22363/2687-0088-2021-25-1-147-164

Дополнительные файлы

Нет дополнительных файлов для отображения


© Киосе М.И., 2022

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial 4.0 International License.

Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах