Multimodal Media Communication Texts: A Research Tool for Analyzing Social Digital Media Video Posts

Full Text

Введение

Социальные цифровые платформы, использующие видеоматериалы, весьма востребованы у пользователей интернет-коммуникаций и обладают уникальным содержанием, значимым для понимания новой цифровой социальности. Однако исследователи медиа испытывают затруднения, анализируя видео, поскольку стандартный контент-анализ представляется недостаточным, следовательно, возникает потребность в поиске новых инструментов изучения такого контента. С точки зрения медиаисследований, видеоматериалы цифровых платформ – это мультимодальные тексты – сложные, семиотически нагруженные, интегрирующие несколько информационных кодов (Kress, 2009). Сложность и многозначность подобных текстов обусловливает эпистемологический вызов. С одной стороны, исследователям доступен весомый массив оцифрованных данных, а с другой – теоретический и инструментальный аппарат исследований в цифровой среде только складывается.

Данная статья посвящена осмыслению относительно нового способа анализа мультимодальных текстов при помощи кодирования (инфор­мации), который способен интегрировать и те данные, которые традиционно учитываются в контент-анализе, и те аспекты понимания текста, которые не имеют очевидных формальных репрезентаций. Цель – характеристика аналитического приема кодирования видеоматериалов цифровых платформ на примере классификатора видео социального медиа TikTok.

Теоретические основания

В социальных исследованиях методологические ориентиры, задающие координаты аналитических действий в области качественных исследований, не теряют актуальности. Обращаясь к единичным случаям, описывая феноменологию события или действия, акцентируя понимание и смысловую нагруженность объекта изучения, исследователи опираются на этнометодологию, феноменологию, герменевтику (Bengtsson, & Johansson, 2021; Henrickson, & Meroño-Peñuela, 2022; Lynch, 2017; Wibawa, 2024). И если феноменология сосредоточена на репрезентациях во всей их детализации и полноте, то герменевтика позволяет сконцентрироваться на понимании содержания.

Современная герменевтика – метанаука, востребованная не только социальными исследованиями, но и целым рядом других предметных полей, например медициной (медицинская герменевтика служит в качестве интерпретативного инструмента при анализе клинической картины заболевания). Кроме медицинской, актуальны библейская, философская, литературная, психологическая (психоаналитическая) герменевтика. В тех случаях, когда герменевтика касается эпистемологических вопросов (позволяет сформулировать, как мы понимаем мир и создаем новое знание – из области философии познания), то фокус в определении понятия сдвигается на авторские модели: герменевтика Хайдеггера, Рикера, Гадамера, Хабермаса (Henrickson, & Meroño-Peñuela, 2022).

Данная статья не претендует на «окончательное решение» эпистемологического вопроса относительно того, какая именно герменевтика релевантна задачам медиаисследований, однако, с нашей точки зрения, многое в медиакоммуникации объясняет герменевтика Хабермаса, ориен­тированная на коммуникативное действие субъектов и достижение понимания в контексте сложившейся коммуникативной ситуации. Тогда смысл (понимание) мультимодального текста в медиакоммуникации возможно искать в контексте взаимодействия, не претендуя на идентификацию его онтологического измерения. Анализируя мультимодальный текст с опорой на герменевтику Хабермаса, медиаисследователь будет отвечать на вопросы, как понимать текст в конкретной коммуникативной ситуации.

Качественная методология служит основой для изучения новых пространств, которые еще не имеют количественных аналитических инструментов исследования. Новая реальность на первоначальном этапе требует детализированного описания, с чем успешно справляются качественные методы. На следующем этапе аналитики ожидается нечто новое, представляется важным определить закономерности, проверить эмпирические модели (возможно, изначально построенные на этапе качественного исследования), сформулировать прогнозы.

Смешанная методология (Mixed Methods Research) в настоящее время представлена в ряде научных проектов (Али-заде, 2020). Ее суть в том, что при использовании определенных техник анализа возможен переход от описательной стратегии (ставка на качественные методы) к объяснительной (ставка на количественные методы). Один из приемов перехода заключается в создании классификатора из описания по результатам качественного исследования (на базе выделенных характеристик). Классификатор позволяет от описания перейти к оценке феномена на основе биполярной дихотомической шкалы (да/нет). Далее созданный классификатор используется при кодировании изучаемого эмпирического материала: исследователь формирует цепочку кодов объекта. Результаты кодирования заносит в стандартные таблицы, которые на следующем этапе подлежат математической обработке.

От специфики созданного классификатора зависят акценты анализа. Чтобы не допустить субъективного перекоса, в подобных научных проектах к кодированию привлекают группу экспертов, тогда различия в интерпретациях компенсируются, то есть проявляются (становятся заметными) только те, которые совпадают у разных аналитиков. Таким образом, на первом этапе (в русле качественной методологии) создается описание изучаемого феномена, а далее (в русле смешанной качественно-количественной методологии) – модель функционирования феномена в медиапространстве, претендующая на репрезентацию закономерностей.

Материалы и методы

Под кодированием информации понимается перевод содержания, сосредоточенного в мультимодальном тексте, в форму, удобную для математической обработки при помощи кода, который задается на основе классификатора. Если классификатор создается до исследования по предшествующим итогам, данный способ называется закрытым коди­рованием (Страусс, Корбин, 2001). Кодирование отличается от контент- анализа тем, что классификатор может включать шкалы, связанные с пониманием текста, не содержащие буквальных опор в материале. В качестве примеров существующих классификаторов рассмотрим два исследования, выполненных на материале мультимодальных текстов, а именно на материале карикатур.

В первом кодирование называется «методикой», вместо термина «мультимодальный» используется «креолизованный текст» (креолизация – смешение, соединение), а само исследование ориентируется на сравнительный анализ политических карикатур в контексте арабского и французского языков (Дугалич, 2018). Первым «пунктом», согласно методике, необходимо определить ситуацию, которую репрезентирует карикатура. Далее предполагается проанализировать иконический компонент мультимодального текста: определение объемности рисунка, цветового решения, шрифтового варьирования, плоскостного размещения надписей. Третий шаг – анализ вербального компонента. Необходимо идентифицировать, как представлен текст (монолог/диалог/полилог), определить наличие диалектной и эмотивной лексики, образных лингвистических средств, сложность перевода. Также следует ответить на вопросы: «Текст поддерживает изображение? Текст противопоставлен изображению? Текст и изображение существуют автономно?» (Дугалич, 2018). Кроме того, авторы считают важным внести такие элементы кода, как интертекстуальность и прецедентность.

Другой пример кодирования – исследование, содержащее анализ политических карикатур и называющее схему анализа мультимодальных текстов кодированием (закрытое кодирование на основе использования классификатора) (Радина, 2021). Как и в первом случае, классификатор раскрывает логику аналитической работы. Сначала рекомендуется зафиксировать метаданные (блок «Метаданные»: дата создания, ресурс размещения и т.п.), затем – блок с общей информацией, куда собираются показатели, характеризующие контекст (фоновые знания – требуются или нет; характер пресуппозиции; мишени карикатуры; тематика карикатуры; критический потенциал; соотнесенность визуальной и вербальной частей – соотнесение текста и изображения; использование метафор и юмора). Все ответы при кодировании формализованы, эксперт-аналитик отмечает их на шкалах. Третий блок с анализом вербального кода карикатуры включает идентификацию прецедентного текста и интертекстуальности, диалогичность, а также интенциональные особенности вербальной части политической карикатуры. Четвертый блок с анализом невербального кода предполагает определение характеристик цвета, маркеров для визуальной идентификации объекта (мишени) карикатуры (характерная внешность, контекст, символы и знаки, и т.д.), а также определение приемов воображения для конструирования визуального образа (агглютинация, акцентирование, гипербола, типизация, литота, схематизация).

Данные кодировочные схемы взяты за основу при создании системы кодирования видеопостов социального медиа TikTok. Несмотря на то что и карикатуры, и видеопосты – мультимодальные тексты, они различаются по целому ряду параметров. Эти различия необходимо учитывать при создании классификатора для анализа видеоматериалов. Так, социальные цифровые платформы – особый тип инноваций с сетевыми эффектами и высокой скоростью распространения информации в социальной среде, использующий алгоритмизированные институты особого рода (Градюшко, 2023; Поляков, 2023; Рыжкова, Еремин, Бауэр, 2021). Наиболее распространенный вид цифровых платформ – социальные медиа, представленные в трех группах интернет-ресурсов (Асташкин, Бреслер, 2018, с. 814–822):

• ресурсы, ориентированные на общение и коммуникацию, – социальные сети, блоги, сайты отзывов и знакомств и др.;
• ресурсы для совместного действия – редактирования информации в «Википедии», «Яндекс.Карты» и др.;
• ресурсы для обмена мультимедийными файлами и их комментирования.

TikTok ориентирован на обмен короткими видеороликами, поэтому относится к третьей группе социальных медиа. В отличие от цифровой социальной сети, которая является комплексом «цифровых акторов», связанных системой отношений, TikTok ориентирован на обмен контентом, продвижение пользователей в иерархии популярности, сборе лайков и монетизации признания (Асташкин, Бреслер, 2018; Guinaudeau, Votta, & Munger, 2022; Muchitsch, 2024). Следовательно, при создании классификатора для анализа видепостов в TikTok необходимо учитывать содержательную составляющую видео (продукта обмена), а также «знаки признания» (лайки, репосты, просмотры).

Результаты и обсуждение

Опираясь на примеры уже существующих классификаторов для анализа мультимодальных текстов, при создании нового первый блок формируется с метаданными видео TikTok. В него могут войти все значимые характеристики, сопровождающие видео (хештег, ID, дата публикации, продолжительность, домен, количество лайков, репостов, просмотров и комментариев). Метаданные раскрывают уровень популярности видео, а также некоторые формальные характеристики (продолжительность, домен и т.п.).

Классификатор для видеоматериалов, в отличие от классификатора для карикатур, имеет дело с видеотекстом – аудиовизуальным или видеосообщением, которое может быть представлено как в формате истории (нарратива), так и как часть повседневности вне наррации. Следова­тельно, второй блок с общей информацией должен включать элементы, связанные с идентификацией характера репрезентации. Например, включение в блок с общей информацией описания событийности может содержать как идентификацию связи контекста и события, так и признание наличия нарратива в видеосообщении: 1 – демонстрирует нечто конкретное (факт); 2 – указывает на контекст событий и отношений; 3 – интегрированы факт и контекст без нарратива; 4 – есть очевидный нарратив.

Поскольку код классификатора содержит элементы, непосредственно связанные с герменевтическим толкованием, в качестве интерпретатора для анализа данных необходим эксперт в той области, которая требует толкования. Например, если планируется изучить доминирующий интенциональный характер видеопостов TikTok, в классификатор для анализа видео вводится перечень интенций: 1 – удивление, вопрос; 2 – выражение несогласия/сомнение; 3 – выражение согласия, поддержка; и т.д. В качестве экспертов для анализа данных приглашаются лингвисты и психологи, понимающие, как определить интенции в тексте. Поскольку толкованию подлежит локальная коммуникативная ситуация, именно герменевтика Хабермаса наиболее адекватно разъясняет способы толкования.

Третий блок классификатора содержит те элементы анализа, которые определяют характер видеоряда. Если программа исследования сосредоточена на анализе визуального, в данной области классификатор может содержать более подробную «измерительную часть». Однако для исследований, где нет специальных задач, связанных с концентрацией на видеокодах, можно ограничиться определением способа построения видеоряда. Например, 1 – видео снято самостоятельно о себе (эго-документ); 2 – видео снято самостоятельно, как иллюстрация, репортаж; 3 – клип на основе нарезки из художественных фильмов и т.д.

Блок 4 (с вербальной и аудиосоставляющей) предполагает анализ интеграции музыкального и обычного вербального текста (устного или письменного). В этом блоке в классификатор включаются показатели, раскрывающие выбор языка в русскоязычном сегменте TikTok (1 – русский язык; 2 – английский язык и т.д.), популярные способы интеграции аудиоинформации (1 – формат аудио – устная речь; 2 – формат аудио – письменная речь и т.д.). Цифровая платформа TikTok изначально создавалась для обмена музыкальными файлами, следовательно, аудиосоставляющая в классификаторе может быть представлена более весомо, нежели другие блоки. Однако если дизайн исследования не предполагает детализации в изучении аудиоматериалов, возможно ограничиться идентификацией способа создания аудиотекста.

Поскольку классификатор интегрирует информацию метаданных и ту, что создается экспертом на основе герменевтического толкования (по типу закрытого кодирования), формируется единая база эмпирических данных, которая фиксируется в таблице для последующей обработки (рис.).

Рис. Пример заполнения таблицы на основе классификатора типа «закрытое кодирование»
Источник: составлено Н.К. Радиной.

Figure. An example of filling out a table based on a classifier of the closed coding type
Source: completed by Nadezhda K. Radina.

В основе представления эмпирических данных в таблице используются дихотомические шкалы (да/нет), то есть отвечая на вопросы классификатора (да/нет или 1/0), эксперт создает цифровой код для каждого анализируемого видео и дальнейшей статистической обработки.

Обработка эмпирических данных позволяет ответить на многие вопросы, касающиеся цифрового взаимодействия и предпочтений, ко­торые остро стоят при изучении социального контекста TikTok. Особый интерес представляют корреляционные связи между «объективными данными», фиксируемыми в блоке с метаданными (лайки, репосты, просмотры и т.п.), и суждениями экспертов герменевтического толка. Это, например, позволяет понять, какой интенциональный фон оценивается как привлекательный для тиктокеров, есть ли сильные корреляционные связи между темами (хештегами) и интенциями, как выстраиваются социальные идентификации и формируется поддержка на данной платформе. В результате, опираясь на смешанную методологию в отношении видеоматериалов, возможно не просто описать дискурс этой новой популярной цифровой платформы (как это было при ставке на качественную методологию), но также выйти на анализ закономерностей и моделей.

Заключение

Анализ видеоматериалов в современных медиаисследованиях крайне необходим, что позволяет рассматривать кодирование (закрытое кодирование с опорой на классификатор) как продуктивный выход из ситуации инструментальной неопределенности. При этом приветствуется разработка разнообразных классификаторов, в том числе созданных под одну проблему, для решения близких задач в различных медийных научных проектах. Сопоставление данных, полученных в разных проектах на схожем медийном материале, позволит преодолеть субъективность интерпретаций, понять закономерности функционирования цифрового медиапространства, идентифицировать новые феномены медиареальности. Сравнение ряда классификаторов для анализа видеотекстов – это возможность определить ключевые элементы, в том числе в контексте герменевтического подхода, для создания на этой основе программного обеспечения, которое может осуществлять автоматическое кодирование видеомате­риала.

Современные социальные цифровые медиа, включая TikTok, предлагают массив оцифрованных видео, готовый для описания и анализа, но требующий новых аналитических инструментов для их обработки и интерпретации. Учитывая непрерывную активность и популярность TikTok, его использование разными субъектами в социальных и политических процессах, аналитикам нужны исследовательские инструменты, обеспечивающие реконструкцию научной картины мира, производную от мира цифровых социальных отношений. Изучение видеопостов TikTok через кодирование способно ответить на большинство исследовательских вопросов о функционировании сложных, семиотически нагруженных мультимодальных текстов – видео – на современных социальных цифровых платформах.

About the authors

Nadezhda K. Radina

HSE University; Lobachevsky State University

Author for correspondence.
Email: rasv@yandex.ru
ORCID iD: 0000-0001-8336-1044
SPIN-code: 6184-6314

grand PhD in Political Sciences, Professor of the Department of Theory and History of International Relations, Institute of International Relations and World History, Lobachevsky State University; Senior Researcher, Laboratory of Theory and Practice of Decision-Making Support Systems, HSE University

2 Ulyanova St, Nizhny Novgorod, 603005, Russian Federation; 25/12 B. Pecherskaya St, Nizhny Novgorod, 603155, Russian Federation

References

Supplementary files