Polymodality of perception and its reflection in fiction text: Сognitive and semiotic perspectives

Cover Page

Cite item

Full Text

Abstract

The issues related to the polymodality of perception and various forms of intermediality are widely discussed in linguistics whereas the aspect of their interrelation is seldom considered. This research is aimed at tracing the participation of various modes of perception in the process of interaction with the world, the reflection of this process in our consciousness and memory in the form of various images up to the manifestation of those images in the intermedial relations in fiction text. The study draws on cognitive semiotics, text linguistics, polymodality and intermediality. The theoretical analysis sugessts that the polymodality of perception results in the formation of synesthetic mental images represented in the phenomenon of intermediality. The empirical material of the research includes text fragments from the works by Virginia Woolf, James Joyce, Joyce Cary and Adam Thorpe containing samples of linguа-artistic and linguа-musical techniques of writing as forms of intermediality. The intermedial analysis of the empirical material shows how the polymodality of perception determines the specificity of the authors’ creative thinking represented in the choice of language means that activate musical and visual images in the readers’ minds. As a result, such fiction texts are constituted as related to a specific art whose forms and devices are used in it. The analysis has also revealed that in the process of verbal representation of musical or artistic images language exploits all forms of its semiotic signs: symbols (for naming colours, shades of light, sounds of music), indices (allusions to works of art or their authors) and icons (the use of forms and devices characteristic of other arts). The study confirms the productivity of exploring intermedial interaction in the cognitive and semiotic perspectives to demonstrate the relations between perception, conceptualization and the embodiment of the results in fiction text.

About the authors

Lyubov A. Kozlova

Altai State Pedagogical University; Polzunov Altai State Technical University

Email: lyubovkozlova@list.ru
ORCID iD: 0000-0002-0247-3843

Doctor Habil., Professor of the Department of English Philology at Altai State Pedagogical University. Her research interests embrace cognitive-cultural linguistics, intercultural communication and comparative typology.

Barnaul, Russia

Anna V. Kremneva

Altai State Pedagogical University; Polzunov Altai State Technical University

Author for correspondence.
Email: annakremneva@mail.ru
ORCID iD: 0000-0001-8788-2779

Doctor Habil., Professor and Chair of the Foreign Languages Department at Polzunov Altai State Technical University. Her research interests include theory of intertexuality and intermediality, cognitive semantics and translation studies.

Barnaul, Russia

References

  1. Ананьев Б.Г. Сенсорно-перцептивная организация человека // Познавательные процессы: ощущения, восприятие. Москва: Педагогика, 1982. [Ananyev, Boris G. 1982. Sensorno-pertseptivnaya organizatsiya cheloveka (Sensory Perceptive Organization of an Invividual). Poznavatelniye protsessi: oshchushcheniya, vospriyatiye. Moscow: Pedagogika. (In Russ.)].
  2. Бразговская Е.Е. Экфрасис как семиотический эксперимент // Критика и семиотика. 2020. № 1. С. 52-72 [Brazgovskaya, Elena E. 2020. Ekphrasis as a semiotic experiment. Critique and Semiotics 1. 52-72. (In Russ.)]. https://doi.org/10.25205/2307-1737-2020-1-52-72
  3. Буцан А.С. «Русские сезоны» С.П. Дягилева в контексте синтеза искусств // Вестник МГУКИ. 2012. №5 (49). Сентябрь - октябрь. С. 86-89 [Butsan, Anastasiya S. 2012. ‘Russian Ballets’ of S. P. Dyagilev in the context of synthesis of cultures. Vestnik MGUKI. 5 (49). 86-89. (In Russ.)].
  4. Гаспаров Б.М. Язык. Память. Образ. Лингвистика языкового существования. М.: Новое литературное обозрение, 1996. [Gasparov, Boris M. 1996. Yasik. Pamyat. Obraz. Lingvistika Yasikovogo Sushchestvovaniya (Language. Memory. Image. The Linguistics of Language’s Being). Moscow: Novoye Literaturnoye Obozreniye. (In Russ.)].
  5. Гвишиани Н.Б. Лингвопрагматические особенности взаимодействия вербального и невербального компонентов мультимодального ‘текста’ в коммуникативном пространстве различных видов дискурса // Вопросы когнитивной лингвистики. 2022. №1. C.5-17 [Gvishiani, Natalia V. 2022. A multimodal ‘Text’: The linguopragmatic peculiarities of verbal and non-verbal components interacting in different communicative types of discourse. Voprosy Kognitivnoy Lingvistiki 1. 5-17. (In Russ.)].
  6. Гедина М.А. Феномен синестезии в контексте когнитивной лингвистики // Язык. Человек. Общество. II международный сборник научных трудов (к 65-летию профессора В.Т. Малыгина). Санкт-Петербург - Владимир, 2010. С. 15-18 [Gedina, Marina A. 2010. Fenomen sinestezii v kontexte kognitivnoy lingvistiki (The Synaesthesia phenomenon in the context of cognitive linguistics). Yasik. Chelovek. Obshchestvo. II mezhdunarodniy sbornik nauchnich trudov (k 65-letiyu professor V.T. Maligina). St. Petersburg - Vladimir. 15-18. (In Russ.)].
  7. Геллер Л. Воскрешение понятия, или Слово об экфрасисе // Экфрасис в русской литературе: труды Лозаннского симпозиума / под ред. Л. Геллера. Москва: МИК, 2002. С. 5-22 [Geller, Leonid M. (ed.). 2002. Voskresheniye ponyatiya, ili slovo ob ekfrasise (The resurrection of a concept, or a word for ecphrasis). Ekfrasis v russkoy literature: Trudi lozannskogo simposiuma. 5-22. Moscow: MIK. (In Russ.)].
  8. Грегори Р.Л. Разумный глаз. Москва: Мир, 1972 [Gregory, Richard L. 1972. Eye and Brain. Moscow: Mir. (In Russ.)].
  9. Игнатенко А.В. Живопись в прозе А.П. Чехова: Интермедиальный анализ. М., ЛЕНАНД, 2022. [Ignatenko, Alexandr V. 2022. Zhivopis’ v proze A. P. Chekhova: Intermedial’nyi analiz (Painting in Anton Chekhov’s Prose). Moscow: Lenand. (In Russ.)].
  10. Каркавина О.В. Взаимодействие литературы и музыки в творчестве Тони Моррисон // Вопросы лингвистики и линводидактики. Система. Функционирование. Обучение: Межвузовский тематический сборник научных трудов. Омск: Изд-во Ом. Гос.ун-та, 2009. С. 215-223 [Karkavina, Oksana V. 2009. Vzaimodeistvie literatury i muzyki v tvorchestve Toni Morrison (The interaction of literature and music in the works of Tony Morrison). Voprosy Lingvistiki i Linvodidaktiki. Sistema. Funkcionirovanie. Obuchenie: Mezhvuzovskii Tematicheskii Sbornik Nauchnyh Trudov. 215-223. Omsk: Izd-vo Om. Gos.un-ta. (In Russ.)].
  11. Козлова Л.А., Кремнева А.В. Лингвоживописная техника письма как один из приемов интермедиальности и ее роль в создании образа художника // Russian Journal of Linguistics. 2022. Vol. 26 No. 3. C. 721-743. [Kozlova, Lyubov & Anna Kremneva. 2022. Lingua-artistic technique of writing and its role in portraying an artist. Russian Journal of Linguistics 26 (3). 721-743. (In Russ.)]. https://doi.org/10.22363/2687-0088-30060
  12. Колесов И.Ю. Проблемы концептуализации и языковой репрезентации зрительного восприятия (на материале английского и русского языков): монография. Барнаул: БГПУ, 2008 [Kolesov, Igor Yu. 2008. Problemi kontseptualizatsii i ayzikovoy representatsii zritelnogo vospriyatiya (na materiale angliyskogo i russkogo yazikov) (The issues of conceptualization and representation of visual perception (A case study of English and Russian). Barnaul: BGPU (In Russ.)].
  13. Кремнева А.В. Образ как одна из форм интертекстуальной переклички // Критика и семиотика. 2015. № 2. С. 240-250. [Kremneva, Anna V. 2015. Image as a way of intertexual cross-talk. Critique and Semiotics. 2. 240-250 (In Russ.)].
  14. Кремнева А.В. Интертекстуальность как одна из форм межтекстового взаимодействия в семиотическом пространстве культуры: монография. Барнаул: АлтГТУ им. И.И. Ползунова, 2017 [Kremneva, Anna V. 2017. Intertekstual`nost` kak odna iz form mezhtekstovogo vzaimodejstviya: V semioticheskom prostranstve kul`tury`: Monografiya (Intertextuality as a form of text interaction in the semiotic space of culture: A monograph). Barnaul: AltGTU im. I. I.Polzunova. (In Russ.)].
  15. Кубрякова Е.С. О тексте и критериях его определения // Текст. Структура и семантика. Москва: Владос, 2001. Т. 1. С. 72-81 [Kubryakova, Elena S. 2001.O texte i kriteriyah ego opredeleniya (On text and the criteria of its definition) Text. Stuctura i Semantika 1. 72-81. Moscow: Vlados. (In Russ.)].
  16. Леонтович О.А. «Чувственный образ бесконечности»: интерсемиотический перевод русской классики для зарубежной аудитории // Russian Journal of Linguistics. 2019. Т. 23. №2. C. 399-414. [Leontovich, Olga A. 2019. A sensible image of the infinite: Intersemiotic translation of Russian classics for foreign audiences. Russian Journal of Linguistics 23 (2). 399-414. (In Russ.)]. https://doi.org/10.22363/2312-9182-2019
  17. Лотман Ю.M. Текст и полиглотизм культуры // Лотман Ю.М. Избранные статьи: в 3 т. Т. 1. Таллин: Александра, 1992а. С. 142-147 [Lotman, Juriy M. 1992a. Tekst i poliglotizm kulturi (Text and poliglottism of culture). In Lotman Yu.M. Izbrannye stat'i: In 3 vols. Vol. 1. 142-147. Tallin: Alexandra Publ. (In Russ.)].
  18. Лотман Ю.М. Память в культурологическом освещении // Избранные статьи в трех томах. Издание при содействии Открытого Фонда Эстонии. Том 1. Статьи по семиотике и типологии культуры. Таллин: Александра, 1992б. С. 200-203 [Lotman, Yuriy M. 1992b. Pamyat v kulturologicheskom osveshchenii (Memory in the light of cultural studies). Izbranniye statyi v tryoh tomah. Izdaniye pri sodeystvii Otkritogo fonda Estonii. Tom 1. Statyi posemiotike i tipologii kulturi. 200-203.Tallin: Alexandra. (In Russ.)].
  19. Нестерова Н.М., Наугольных Е.А. Деформация языка в произведениях Дж. Джойса: проблема интерпретации и перевода // Russian Journal of Linguistics. 2019. Т. 23. № 2. С. 460-472. [Nesterova, Natalya M & Evgeniya Naugolnykh A. 2019. The Deformation of language in James Joyce’s literary works: Interpretation and translation challenges. Russian Journal of Linguistics 23 (2). 460-472. (In Russ.)]. https://doi.org/10.22363/2312-9182-2019-23-2-460-472
  20. Можаева Т.Г. Время и пространство в литературе и живописи: в поисках общего знаменателя // Филология и человек. 2011. № 1. С.67-79. [Mozhaeva, Tatiana G. 2011. Time and space in literature and painting: Looking for the common denominator. Filologiya i Chelovek 1. 67-79. (In Russ.)].
  21. Пирс Ч. Начала прагматизма. Санкт-Петербург: Лаборатория метафизических исследований философского факультета СПбГУ, Алетейя, 2000 [Pierce, Charles S. 2000. Nachala pragmatizma (Introduction to Pragmatism). St. Petersburg: Laboratoriya metafizicheskih issledovaniy filosofskogo fakulteta SPbGU, Aleteya. (In Russ.)].
  22. Самигуллина А.С. Метафора в когнитивно-семиотическом освещении. Уфа: РИЦ БашГУ, 2008 [Samigullina, Anna S. 2008. Metafora v kognitivno-semioticheskom osveshchenii (Metaphor in the light of cognitive semiotics). Ufa: BashGU Publ. House (In Russ.)].
  23. Синельникова Л.Н. Ризома и дискурс интермедиальности // Вестник РУДН. Серия: Лингвистика. 2017. 21 (4). С. 805-821. [Sinelnikova, Lara N. 2017. Rhizome and discourse of intermediality. Russian Journal of Linguistics 21 (4). 805-821. (In Russ.)]. https://doi.org/10.22363/2312-9182-2017-21-1-224-229
  24. Соснин А.В. Лондонский текст как когнитивно-семиотический конструкт // Вестник Воронежского государственного университета. Серия: Лингвистика и межкультурная коммуникация. 2014. № 4. С. 53-57 [Sosnin, Alexey V. 2014. Londonskiy text kak kognitivno-semioticheskiy konstrukt (‘London text’ as a cognitive-semiotic modelling construct). Proceedings of Voronezh State University. Series: Linguistics and Intercultural Communication 4. 53-57. (In Russ.)].
  25. Соссюр Ф. Труды по языкознанию. Переводы с французского языка под редакцией А.А. Холодовича. Москва: Прогресс, 1977. [de Saussure, Ferdinand. 1977. Trudi po yasikoznaniyu (Works on Phylology). Moscow: Progress (In Russ.)].
  26. Степанов Ю.С. Вводная статья. В мире семиотики // Семиотика: Антология. М.: Академический проект; Екатеринбург: Деловая книга, 2001. [Stepanov, Juriy S. 2001. Vvodnaya statia. V mire semiotiki. (Introduction. In the world of semiotics) Semiotika. Antologiya. Moscow: Akademicheskiy Proekt Publ.; Ekaterinburg: Delovaya kniga Publ. (In Russ.)].
  27. Тимашков А.Ю. К истории понятия интермедиальности в российской и зарубежной науке // Žmogus ir žodis. 2007. 11. С. 21-26. [Timashkov, Aleksey J. 2007. K istorii ponyatiya intermedial’nisti v rossiyskoy i zarubezhnoy nauke (To the history of concept of intermediality in the Russian and world science). Man and the Word 11. 21-26 (In Russ.)].
  28. Хаминова А.А., Зильберман Н.Н. Теория интермедиальности в контексте современной гуманитарной науки // Вестник Томского государственного университета. 2014. 389. С. 38-45. [Haminova, Anastasya A. & Nadezhda Zilberman N. 2014. The theory of intermediality in the context of modern humanities. Tomsk State University Journal 389. 38- 45 (In Russ.)]. https://doi.org/10.17223/15617793/389/5 10/
  29. Фуко М. Археология знания. Санкт-Петербург: Гуманитарная Академия: Университетская книга, 2004 [Foucault, Michel. 2004. Archeologiya znaniya (The archeology of knowledge). St. Petersburg: Gumanitarnaya Akademiya: Universitetskaya Kniga. (In Russ.)].
  30. Durst-Andersen, Per. 2011. Linguistic stereotypes: A cognitive-semiotic theory of human communication. Semiotics, Communication and Cognition [SCC]. Berlin & New York: Mouton de Gruyter.
  31. Elleström, Lars. 2010. Introduction. In Lars Elleström, Jørgen Bruhn, Siglind Bruhn, Claus Clüver, Christina Ljungberg, Silvestra Mariniello, Jürgen E. Müller & Valerie Robillard (eds.), Media borders, multimodality and intermediality, 1-8. London: Palgrave Macmillan.
  32. Elleström, Lars. 2010. The modalities of media: A model for understanding intermedial relations. In Lars Elleström, Jørgen Bruhn, Siglind Bruhn, Claus Clüver, Christina Ljungberg, Silvestra Mariniello, Jürgen E. Müller & Valerie Robillard (eds.), Media borders, multimodality and intermediality, 11-48. London: Palgrave Macmillan.
  33. Fusaroli, Riccardo & Simone Morgagni. 2013. Conceptual metaphor theory: Thirty years after. Journal of Cognitive Semiotics 5 (1/2). 1-13.
  34. Hansen-Löwe, Aage A. 1983. Intermedialität und intertextualität. Probleme der korelation von Wort-und Bildkunst. Am beispiel der russischen moderne. In Wolf Schmid & Wolf-Dieter Stempel (eds.), Dialog der texte. Hamburger kolloquium zur intertextualität, 291-360. Wien: Wiener Slawistischer Almanach.
  35. Lachmann, Renata. 1997. Memory and Literature: Intertextuality in Russian Modernism. Minneapolis; London : University of Minnesota Press.
  36. Ljungberg, Christina. 2010. Intermedial Strategies in Multimedia Art. Media Borders, Multimodality and Intermediality. 81-96. London and New York: Palgrave Macmillan.
  37. Nash, Walter. 1971. Our Experience of Language. New York: St. Martin’s Press.
  38. Pethő, Ágnes. 2010. Intermediality in film: A historiography of methodologies. Acta univ. Sapientiae, Film and Media Studies 2. 39-72.
  39. Rajewsky, Irina. 2005. Intermediality, intertextuality, and remediation: A literary perspective on intermediality. Intermédialités 6. 43-64.
  40. Shlain, Leonard. 2000. The Alphabet versus the Goddess. London : Penguin Arkana.
  41. Werner, Wolf. 1999. The Musicalization of Fiction: A Study in the Theory and History of Intermediality. Amsterdam: Rodopi.
  42. Zlatev, Jordan. 2012. Cognitive semiotics: An emerging field for transdisciplinary study of meaning. The Public Journal of Semiotics 4 (1). 2-24.
  43. Влияние музыки на творчество Вирджинии Вулф [Vliyanie Musiki na Tvorchestvo Virginii Woolf (The impact of Music on Virginia Woolf’s Writings)]: Retrieved from: livelib.ru: vulf[livelib.ru:https://www.livelib.ru/translations/post/95314-vliyanie-muzyki-na-tvorchestvo-virdzhinii-vulf (assessed 20 October 2023). [In Russ.)].
  44. Синестезия: URL: https://experimental-psychic.ru/sinestezia (Дата обращения: 1.10.2023). Retrieved from: https://experimental-psychic.ru/sinestezia (assessed 01 October 2023).
  45. Федякин С.Р. Рахманинов. Москва: Молодая гвардия, 2018 [Fedyakin, Sergei R. 2018. Rachmaninov. Moscow: Molodaya Gvardiya (In Russ.)].
  46. Шишкин М.П. Буква на снегу: три эссе. Москва: АСТ, 2019 [Shishkin, Michail P. 2019. Bukva na snegu: tri esse (A Letter in the Snow: Three Essays). Moscow: AST (In Russ.)].
  47. Cary Joyce. The Horse’s Mouth. New York: Harper and Brothers, 1994. Retrieved from: https://www.academia.edu/44742705/The_Dead_James_Joyce ( accessed 1 November 2023)
  48. Joyce James. The Dead // Modern English Short Stories. M.: Foreign Languages Publishing House, 1963. P. 35-77.
  49. Thorpe Adam. Ulverton. London: Vintage Books, 2012.
  50. Varga, Adriana L. 2014. Virginia Woolf and Music. Bloomington: Indiana University Press. Retrieved from https://www.litres.ru/adriana-l-varga/virginia-woolf-and-music/chitat-onlayn/ (accessed 20 October 2023). doi: 10.7771/1481-4374.1790
  51. Wagner, Richard. 1895. The Art-Work of The Future. Retrieved from: http://www.public-library.uk/ebooks/107/74.pdf (accessed 1 September 2023).
  52. Wilson Jean Moorcroft.1988. Virginia Woolf. Life and London. A Biography of Place. New York, London: W.W. Norton & Company.
  53. Woolf Virginia. Mrs Dalloway. London: Vintage, 1990.

Copyright (c) 2024 Kozlova L.A., Kremneva A.V.

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies