Мультимодальный характер цифровой коммуникации: функционирование эмодзи в межличностном общении

Полный текст

Введение

Технологический прорыв последних десятилетий быстро и кардинально изменил как мир вокруг нас, так и способы и характер нашего взаимодействия, создав новые беспрецедентные возможности и средства для коммуникации. Большая часть межличностного общения переместилась в область письменного общения в социальных сетях и мессенджерах, где помимо непосредственных собеседников к процессу коммуникации подключается своеобразный посредник в виде цифровых средств коммуникации. Разделяющий коммуникантов экран способен несколько менять иллокутивную силу речевого акта.

Данные изменения привели к формированию социальной семиотики в цифровой сфере (digital semiotics), отличающейся мультимодальным характером и включающей помимо прочего такие паралингвистические знаки, как эмодзи, эмотиконы, мемы и др., которые выступают своего рода компенсаторным механизмом в новых реалиях коммуникативного взаимодействия. Из всего перечисленного именно эмодзи продолжают оставаться в фокусе весьма пристального внимания исследователей самых разных областей знания: лингвистов, психологов, антропологов, культурологов, маркетологов, ученых в области семиотики и информационных технологий. При этом ученые полагают, что в силу своего прагматического значения данные параграфические знаки необходимо «понимать в лингвистических, а не экстралингвистических терминах» [1. С. 250]. Цель данной статьи заключается в рассмотрении когнитивной, семиотической и психолингвистической природы эмодзи путем анализа их функционирования в текстах быстрых сообщений и постах в соцсетях, а также в попытке выявить механизмы их воздействия на адресата.

Определение понятия и обзор литературы

Прежде всего, определим исследуемое понятие «эмодзи». В переводе с японского языка, которому оно обязано своим появлением, эмодзи (emoji) обозначает ‘picture character’, то есть является словом-картинкой, представляя собой изображение, визуализирующее разнообразные человеческие эмоции, невербальные действия человека, объекты, артефакты и т.д. Такой широкий спектр представления наряду со скоростью ввода, выразительностью и более глубоким уровнем идентификации, по нашему мнению, послужил залогом более успешного и широкого распространения эмодзи по сравнению с другими семиотическими параграфемными знаками, например, эмотиконами и мемами, что подтверждается статистическими данными целого ряда исследователей [2–6].

Внезапное появление и стремительное распространение эмодзи, по мнению известнейшего канадского специалиста в области семиотики Марселя Данези, может свидетельствовать о начавшейся эволюции самой системы человеческого общения [7]. Первый когнитивный сдвиг (first cognitive shift) произошел, по версии исследователей, приблизительно в 1000 до н.э. при переходе от пиктографического типа письма к логографическому, идеографическому или алфавитному письму [8]. Прослеживая эволюцию и функциональные особенности письменности, М. Данези высказывает предположение о том, что мы, возможно, стоим на пути второго когнитивного парадигматического сдвига, характеризующегося своеобразным «возвращением» пиктографического-логографического типа письма, соединенного с письмом алфавитным. Ученый называет его гибридным типом — hybrid / blended writing system — что, в свою очередь, может являться фактором значительного изменения человеческого сознания, переходом от линейного способа обработки информации к более целостному, образному способу мышления. Если эмодзи или подобные элементы коммуникации не окажутся преходящим трендом, то человечество может подойти ко второму когнитивному сдвигу в своей истории [7].

В зарубежной практике уже существует значительное количество разноаспектных исследований эмодзи, актуальность изучения которых продиктована в том числе и статистическими данными — 92 % пользователей сети Интернет и различных мессенджеров используют эмодзи [9]. Количество исследовательских статей, посвященных изучению эмодзи, согласно анализу, проведенному группой ученых из Китайского народного университета в Пекине, начиная с 2015 г. увеличилось во много раз [3], особенный всплеск внимания к данному феномену наблюдается в последние три года. Исследования проводятся в основном в междисциплинарном русле, объединяя области компьютерных наук, рекламы и маркетинга, лингвистики, психологии, поведенческих наук, политологии, права, медицины и других. Ученые применяют эмпирический анализ данных, отмечая индивидуально-личностные [10; 11] и национально-специфичные, культурные [12–17] особенности использования эмодзи, гендерные сходства и различия [5; 18–20], а также специфику восприятия эмодзи пользователями, связанную с разными онлайн-платформами [6].

Аспекты функционирования эмодзи, визуальные особенности данных знаков, их выразительная модальность, отличная от текста и изображений, привлекают внимание различных исследователей. Изучение проводится с точки зрения их популярности и привлекательности для пользователей и соответствующей оптимизации компьютерных и нейронных систем [21; 22], а также для анализа данных пользовательского контента, разработки различных алгоритмов и моделей, позволяющих проводить более эффективный анализ тональности текста в социальных сетях [23], для определения настроения и эмоций пользователей в рекламных, маркетинговых [24; 25], политических [26] и иных целях. Контролирующая появление и использование новых эмодзи ассоциация Unicode постоянно отслеживает динамику использования тех или иных эмодзи для ввода новых единиц.

Эмодзи играют немаловажную роль в привлечении внимания в сфере маркетинга. Исследователи применяют различные лингвистические теории, преимущественно из области риторики, для изучения характера воздействия эмодзи на потребителя, стимулирования взаимодействия с потенциальным покупателем и повышения его заинтересованности в покупке. Доминирующая роль эмодзи в выражении эмоционального состояния в цифровой коммуникации делает их эффективным инструментом для отслеживания и измерения эмоций пользователя по отношению к продуктам, брендам и услугам [27–29].

В области поведенческих наук исследования эмодзи сосредоточены в основном на трех аспектах: мотивации использования данных знаков, предпочтениях в выборе тех или иных эмодзи и факторах, влияющих на этот выбор. Среди основных мотивирующих причин использования эмодзи называются управление и поддержание межличностных отношений [30], самовыражение [10], утверждение самоидентичности [11], облегчение межличностного общения [31]. Психологические исследования рассматривают взаимосвязь между индивидуальными психологическими характеристиками и использованием эмодзи, а также возможность внедрения их в психометрические шкалы в качестве новых инструментов психологического измерения [32]. Помимо этого существуют работы в области образования, изучающие влияние эмодзи на эффективность обучения, вовлеченность в учебный процесс и рефлексию [33].

Ряд семиотических исследований относится к правовой сфере, а именно разбору случаев судебных тяжб, в которых истинные интенции и мотивы обвиняемых трактовались через эмодзи, сопровождавшие их текстовые сообщения в социальных сетях и мессенджерах, адресованные жертвам или потерпевшим [7].

В рамках лингвистической науки исследования сосредоточены на прагматических функциях эмодзи [2; 34] и анализе потенциальной возможности того, что данные знаки и символы могут стать независимым универсальным языком в силу своих семантических свойств [23]. Проводится попытка выделения различных речевых актов в рамках межличностного общения через мессенджеры, в которых чаще всего встречаются эмодзи, преимущественно антропоморфные по своему визуальному представлению.

Основная отличительная особенность предпринятого нами исследования видится в обобщенном анализе роли эмодзи в цифровой коммуникации и попытке выявления воздействующего механизма данного феномена.

Методы и материал

Материалом исследования послужили англоязычные, русскоязычные и франкоязычные поликодовые тексты быстрых сообщений в различных мессенджерах и постах в сети Интернет, анализируемые с разрешения контактов автора исследования, а также общедоступные публикации в социальных сетях и персональные рассылки рекламного характера. Общий объем фактического материала составил 3500 единиц (сообщений, постов, рассылок). Исследование проводилось с помощью методов контекстуального, лингвопрагматического и контент-анализа.

Функции эмодзи  в цифровой межличностной коммуникации

Широкое использование и растущая популярность эмодзи в цифровой коммуникации объясняется, на наш взгляд, теми психологическими и социальными функциями, которые они стали выполнять в коммуникации. Отметим при этом, что с развитием электронных технологий и расширением возрастных рамок участников электронного общения расширяются и меняются функции, выполняемые данными паралингвистическими знаками [35].

С одной стороны, эмодзи является пиктографическим способом выражения умонастроения, помогая выражать эмоциональное состояние, эмпатию, «я» говорящего более эффективно в условиях электронной коммуникации, которую отличает ряд особенностей, в частности ограничения, связанные с невозможностью видеть собеседника. Эмодзи добавляют эмоции обычным текстовым сообщениям и в отличие от предшествовавших им эмотиконов позволяют передать целый спектр эмоций от простых улыбок или хмурого выражения лица до сарказма, удивления, возмущения и пр. Символ обладает довольно мощным коммуникативным потенциалом, способным эффективно передавать несоизмеримо большее содержание, нежели любой другой знак. При этом в пространстве Интернета эмодзи, благодаря своему универсальному характеру, способны преодолевать кросс-культурные границы и создавать диалоговое пространство среди носителей как одного языка, так и на межнациональном уровне.

Анализ фактического материала, определенный для исследования, позволил выделить ряд функций, выполняемых данными параграфемными знаками в цифровой коммуникации, а именно: функцию невербальной составляющей коммуникации, эмотивную, прагматическую, пунктуационную, заместительную, декоративную и риторическую.

Прежде всего, эмодзи выполняют невербальные коммуникативные функции. Неформальное письменное общение в сфере цифровой коммуникации представляет определенные сложности. Без дополнительной информации, передаваемой тоном голоса и языком тела при личном общении, пользователи социальных сетей и мессенджеров не всегда могут верно интерпретировать информацию, упуская из вида сарказм друг друга, юмор, и неверно истолковывают предполагаемую эмоцию или иллокутивное намерение. Подобно невербальным подсказкам при личном общении, эмодзи помогают прояснить намерения в неоднозначном контексте, выразить соответствующие ситуации эмоции и, следовательно, повысить эффективность коммуникативного акта. Примерами могут служить следующие примеры виртуальной коммуникации, где эмоциональная составляющая, передаваемая через паралингвистический семиотический знак, является определяющей для верной интерпретации высказывания (рис. 1):

Рис. 1. Функция невербального компонента коммуникации
Fig. 1. Emoji as a nonverbal component of communication

В таких коммуникативных ситуациях наиболее употребляемыми оказываются эмодзи, передающие то или иное выражение лица и определенную эмоцию. Они же, согласно статистическим данным, являются наиболее популярными и употребляемыми среди всех прочих символов [36]. Выражение лица считается одним из самых важных сигналов в человеческом общении. По данным исследователей, люди с рождения предпочитают выражения лица другим типам стимулов [37; 38]. Лицо является одним из наиболее заметных и сложных источников информации об эмоциональном состоянии человека. Человеческие лица интегрируются в процессы понимания и интерпретации во время социальных взаимодействий и общения. По мнению исследователей, большинство людей обладает способностью обрабатывать передаваемую лицом информацию с помощью определенных механизмов через сложную нейронную сеть [39–41]. Данные факты свидетельствуют о необходимости восполнения с помощи эмодзи образовавшихся в новом типе коммуникации лакун.

Кроме того, функцию невербальной коммуникации выполняют и разнообразные жестовые эмодзи, символизирующие части тела человека. Такие символы, как одобрение, неодобрение, жест OK, скрещенные пальцы, символизирующие удачу, сжатый кулак и т.д. восполняют недостаток жестовой составляющей, возникшей в цифровой письменной коммуникации.

Эмодзи, таким образом, позволяют нивелировать двусмысленность дискурса. Однако их использование представляет, безусловно, более продуманное поведение по сравнению с традиционным личным общением, в котором эмоции являются более спонтанными и неконтролируемыми.

Помимо этого рассматриваемые иконические знаки выполняют эмотивную функцию. Сопровождение текстового сообщения тем или иным антропоморфным символом позволяет адресанту более точно и многогранно выразить свои эмоции в условиях цифрового общения. При этом эмотивная функция реализуется не только с помощью антропоморфных символов, как в описанном выше случае с  невербальной функцией. Различного рода артефакты также способны передать умонастроение и эмоциональный настрой собеседника (рис. 2):

Рис. 2. Эмотивная функция эмодзи
Fig. 2. Emotive function of emojis

Эмодзи подчас используются даже изолированно, без вербального сопровождения. Пользователи утверждают, что в некоторых ситуациях им проще подобрать соответствующий символ-картинку чем слова, чтобы передать свои чувства и эмоции [36]. И если более примитивный способ выражения эмоций с помощью эмотиконов не позволял в полной мере передать свои ощущения, то яркие картинки-символы, представляющие целую гамму чувств, способны восполнить нехватку зрительного контакта и придать сообщению эмоциональность и выразительность живого общения. Для усиления эмоционального эффекта и интенсификации значения часто применяется возможность удвоения, утроения и т.д. символа, а также каскад эмодзи (рис. 3). Данные иконические знаки позволяют установить необходимый эмоциональный тон, передать соответствующее настроение.

Рис. 3. Каскад эмодзи
Fig. 3. Emoji chain

Третьей выделенной функцией является прагматическая функция. Эмодзи обладают потенциалом передавать весь спектр прагматических параметров, включая подтекст, сатирические высказывания и скрытые смыслы, что в живой коммуникации достигается с помощью вербального и невербального кодов. Некоторые исследователи пытались определить речевые акты и прагматические функции, выполняемые данными символами [18; 21]. На наш взгляд, такой подход не вполне корректен, так как эмодзи выполняют те же прагматические функции, что и лексические единицы языка, поэтому исследование прагматических функций эмодзи нельзя отрывать от вербальной составляющей и модальности высказывания. Эмодзи способны выполнять роль приветствия и прощания в фатической коммуникации как совместно с вербальным компонентом, так и самостоятельно, контактоустанавливающую функцию и функцию поддержания контакта с собеседником (рис. 4):

Рис. 4. Эмодзи в фатическом общении
Fig. 4. Emojis in phatic communication

Фактический материал показал, что существуют конгруэнтные и неконгруэнтные высказывания в плане соответствия эмодзи и смысла текстового сообщения. Используемый прием повтора эмодзи или цепочка эмодзи способны создавать дополнительные прагматические значения, усиливая иллокутивную силу высказывания.

С течением времени рассматриваемые иконические символы стали выполнять еще одну функцию, которую можно определить как пунктуационную, заключающуюся в их способности выступать в качестве знаков препинания. Довольно часто можно заметить, что предложение заканчивается тем или иным символом, за которым начинается новое по смыслу предложение, иногда написанное с заглавной буквы (рис. 5). Таким образом, разные по значению эмодзи могут заменять точки, вопросительные или восклицательные знаки, а также пунктуационные знаки в середине предложения, такие как запятые, тире и т.д.

Рис. 5. Пунктуационная функция эмодзи
Fig. 5. Punctuation function of emojis

В текстовых сообщениях в рамках межличностного общения, а также в текстах постов и рекламных рассылок проявляется заместительная функция эмодзи. Слово может или полностью заменяться символом или может сопровождаться соответствующим символом, дублируя значение и приводя к интенсификации значения (рис. 6).

Рис. 6. Заместительная функция эмодзи
Fig. 6. Substitutional function of emojis

Отмечено также употребление знаков-символов для метафорического переноса, используемого носителями разных языков. Данное замещающее использование, на наш взгляд, объясняется как скоростью ввода символа по сравнению с печатью слова, так и желанием разнообразить, украсить сообщение, привнося дополнительную визуальную составляющую в сообщение.

Рассматриваемые семиотические знаки широко применяются в различных постах поздравительного характера, ответных сообщениях в мессенджерах, в рекламной рассылке, все чаще выполняя декоративную функцию (рис. 7):

Рис. 7. Декоративная функция эмодзи
Fig. 7. Decorative function of emojis

По данным проведенного в США опроса, более половины пользователей с большей вероятностью будут взаимодействовать с брендами, которые используют эмодзи для представления компании или в рекламной онлайн рассылке [36]. Именно этим фактом, по нашему представлению, объясняется увеличение в последнее время количества почтовой рассылки, содержащей в теме и заголовке различные эмодзи, в том числе в финансовой и образовательной сферах, для привлечения внимания пользователей, потенциальных покупателей товаров и услуг или участников образовательных курсов, вебинаров, марафонов и продвижения своего бренда.

Все вышеперечисленные функции тесно связаны с еще одной — риторической, оказывающей воздействие на адресата сообщения или поста. Основное проявление данной функции можно найти в рекламе в Интернет, в текстах и постах политиков, обращенных к широкой аудитории. Яркими примерами реализации этой функции являются так называемые PR-акции политиков как в рамках предвыборных кампаний, так и при обычном общении с пользователями социальных сетей, рядовыми избирателями. Так, в ходе предыдущей избирательной кампании на пост президента США Хилари Клинтон инициировала дискуссию с электоратом в Twitter, предложив подписчикам выразить свое мнение по вопросу студенческих ссуд на обучение посредством трех эмодзи: ‘How does your student loan debt make you feel? Tell us in 3 emojis or less.’

Простота выражения мысли и своего отношения посредством эмодзи, легкая причастность и вовлеченность в процесс обсуждения без необходимости словесного вербального выражения, а также необычный игровой формат позволяет вовлечь значительное количество людей из числа потенциального электората.

Политики прибегают к использованию символов для создания определенного эмоционального посыла, для привлечения внимания целевой аудитории, для усиления воздействующего эффекта. Подобные символы, имея по сути комплементарный характер и являясь дополнительным средством в коммуникации, воздействуют как на рациональную, так и на эмоционально-бессознательную сторону человеческой психики. Таким образом, невербальные символы позволяют осуществлять манипулирование общественным сознанием, задавать определенный тон и настрой потенциальной аудитории.

Воздействующий механизм эмодзи

Подводя итог проведенному анализу, можно заключить, что возникший феномен эмодзи, с одной стороны, служит средством преодоления ограничений, накладываемых на современном этапе электронной письменной коммуникацией, позволяя выражать эмоциональное состояние говорящего посредством визуальных способов, выходя за рамки орфографического формата. Эмодзи имитируют человеческие эмоции, восполняя невербальную составляющую коммуникативного акта. Помимо этого, современный человек стремится сократить текстовое пространство электронного сообщения за счет включения паралингвистических семиотических знаков, выполняющих разнообразные функции в формировании смысла. С другой стороны, данные символы служат средством воздействия на адресата, реципиента сообщения, реализуя свой риторический потенциал. Слияние вербальной и иконической составляющих запускает механизм двойного фокусирования, при котором восприятие обеспечивается всеми когнитивный механизмами, с подключением рациональной и эмоционально-бессознательной составляющей.

Подтверждение высказанному заключению можно найти в том числе и на нейрофизиологическом уровне. Исследование, проведенное учеными одного из британских университетов, нацеленное на выявление участков мозга, которые активизируются при чтении предложений, содержащих вербальную и невербальную составляющую, а именно эмодзи и эмотиконы, показало, что и левая, и правая нижние лобные извилины головного мозга активны в противоположность доминирующей роли левого полушария при выполнении исключительно вербальных заданий [43]. Таким образом, возможно сделать вывод, что сообщение, в котором происходит соединение текста с визуальным образом, оказывает мощный персуазивный эффект в силу интеграции работы обоих полушарий головного мозга, что в свою очередь позволяет обрабатывать получаемую информацию как с помощью логических механизмов, так и с подключением эмоциональной составляющей.

Заключение

Цифровая коммуникация, получив доминирующую роль в межличностном общении, развивается по определенным законам и постепенно включает в свой арсенал средства, компенсирующие и замещающие ряд элементов, свойственных живому речевому взаимодействию. Появление мультимодальных текстов в рамках межличностного общения является закономерным процессом развития дистанционного цифрового общения. С течением времени семиотические параграфические знаки претерпели изменения и усовершенствования. Современные эмодзи стали выполнять целый ряд функций — функцию невербальной составляющей коммуникации, эмотивную, прагматическую, пунктуационную, заместительную, декоративную и риторическую. Поликодовые тексты, содержащие в своем составе такие семиотические знаки, как эмодзи, обладают, помимо прочего, определенным воздействующим эффектом, оказывающим влияние на настроение адресата, его вовлеченность в процесс общения, на восприятие сообщения, что достигается за счет подключения комплексного механизма обработки информации.

Об авторах

Елена Александровна Кольцова

Санкт-Петербургский горный университет

Автор, ответственный за переписку.
Email: elena.a.koltsova@gmail.com
ORCID iD: 0000-0001-8724-2181

кандидат филологических наук, доцент, доцент кафедры иностранных языков

199106, Российская Федерация, Санкт-Петербург, Васильевский остров, 21 линия, д. 2

Фаина Иосифовна Карташкова

Ивановский государственный университет

Email: kartashkova@rambler.ru
ORCID iD: 0000-0001-7095-9143

доктор филологических наук, профессор, профессор кафедры зарубежной филологии, почетный работник высшего профессионального образования РФ, руководитель НОЦ «Лаборатория коммуникативного поведения человека»

153025, Российская Федерация, Иваново, ул. Ермака, д. 39

Список литературы

Дополнительные файлы