Doctor habil. of Philology, Associate Professor, Leading Researcher of the Centre for Socio-Cognitive Studies
доктор филологических наук, доцент, ведущий научный сотрудник Центра социокогнитивных исследований дискурса
The study explores the combinatorial prevalence effect in Event construal techniques in text and image components of heterosemiotic book pages. We hypothesize that their activity and contingency affect their interpretation, here tested in the oculographic experiment and discourse responses check. To proceed, we develop the parametric system applied for 100 book pages annotation and further statistical analysis. This study reveals the relevance of Truth, Type, Relation, Manageability, Completeness, Instantness, Achievement, Evaluation, Space location, Time location, Repeatability, Cause and effect parameter groups in Event construal in text and image as well as their resonance in concomitant activity. To select the samples serving as stimuli in the oculographic experiment, we apply Principal component analysis, which assigns Uniqueness indices to the samples, here ranging from 0.111 to 0.675, and provides diversity of Event construal techniques to be tested in terms of their interpretation. The results evidence that participants applied different text and image attention distribution patterns with longer fixations on text component in case the image displayed physical contact, static and desirable events. When the creation or destruction events, events-achievement, events located in time or causal events were not present in the text, the participants were more likely to address the image, not the text. Parameter activity also affects the choice of Descriptive, Narrative and Speculative discourse responses, with a restricted number of parameters stimulating Narrative discourse, with a restricted in text and vast in image number of parameters stimulating Speculative discourse, which evidences in favor of their more predetermined and predicted character. Hopefully, the results may be used to predict the interpretation effects and to further cognitive linguistic and semiotic research coordination.
В работе исследуются комбинаторные эффекты в выборе техник конструирования события в гетеросемиотическом единстве текста и изображения на материале иллюстрированных книг. Гипотеза исследования, заключающаяся в том, что активность и сопряженность параметров конструирования события будет определять интерпретацию гетеросемиотического единства, верифицируется в ходе окулографического анализа и последующего анализа дискурсивных ответов участников. Анализу подвергаются 12 групп параметров: параметры истинности, общего типа, типа отношений, управляемости, завершенности, моментальности, результативности, оценочности, локализации в пространстве, локализации во времени, повторяемости, причинно-следственных отношений; в ходе анализа устанавливается их роль в создании текста и изображения, а также особенности их резонанса, или особенности дублирования их активности в тексте и изображении. Для отбора стимульных образцов используется методика определения их типичности и уникальности с помощью факторного анализа с привлечением показателей параметров конструирования; показатели уникальности установлены в диапазоне от 0.111 до 0.675, что обеспечивает вариативность привлекаемых образцов. В ходе эксперимента выявлено, что продолжительность пребывания взгляда в зонах текста и изображения обусловлена особенностями конструирования события. Увеличение продолжительности фиксаций в зонах текста наблюдается, если событие в изображении представлено как задействующее отношения физического контакта, как статическое и желательное. Если в тексте не представлены событие создания и разрушения, событие-достижение цели, событие, имеющее временные отсылки, событие с выраженными причинными и следственными отношениями, то возрастает продолжительность фиксаций в зоне изображения. Активность параметров также определяет выбор дискурсивных паттернов в дескриптивном, нарративном дискурсах и дискурсе-рассуждении. Установлено ограниченное количество параметров конструирования события, сопряженных с выбором нарративных паттернов; выбор дискурса-рассуждения сопряжен одновременно с ограниченным количеством параметров конструирования текста и с достаточно большим их количеством в изображении. Полученные данные позволяют использовать разработанную систему параметров конструирования события в тексте и изображении для реализации прогностической оценки успешности интерпретации гетеросемиотических единств. Результаты также способствуют интегрированию на единых основаниях достижений лингвокогнитивной и когнитивно-семиотической парадигм к анализу гетеросемиотических единств.