Dr.Sc. (Philologу), Associate Professor, Professor at the Department of Advertising, Public Relations and Linguistics
доктор филологических наук, доцент, профессор кафедры рекламы, связей с общественностью и лингвистики
This article examines media transposition involving generative neural networks and the specifics of transferring verbal content into visual form. The relevance of the research is determined by the trends in using “artificial intelligence” to create an infosphere in modern communication and to transmit cultural memory, involving its remediation and reinterpretation. The aim of this article is to examine the characteristics of transferring printed poetic text into a media format using generative neural networks, to identify specific techniques, and to outline the features of the original text’s remediation that occurs in this process. The research material consists of works (6 in total) by neuro-illustrator Nikita Glukhov (pseudonym DJ БлокNote). Generative neural networks, guided by a human operator and trained on a dataset of human-generated content, represent a mediated form of social interaction. In this regard, this study implements an integrative approach and examines the stated phenomena from the perspectives of interactionism, hermeneutics, psychological and visual anthropology, and linguosemiotics. The main research methods are qualitative: interpretation, analysis, synthesis, descriptive method, functional-pragmatic and contextual analysis, and elements of psychoanalytic method for extracting hidden meanings. A three-level analysis of semiotically complex text, developed by R. Barthes, and adapted to the needs of the research, is applied. The following was discovered. During the transposition of printed text into a screen medium with the involvement of generative neural networks, its textual structure is recoded into visual and auditory matter. The constructed work consists of intermedial images, while dynamics, montage, composition, color, and light replace rhythm and metaphoricity. In addition to the audio-visual, a plot-narrative expressive layer is also identified - the narrativization of the lyrical. Prompts for the generative model are created by the human operator based on key semantic points of the poem - specific lexical units (LUs), with the addition of extra LUs that are absent in the original text but necessary for its visualization. Following the prompt, the neural network materializes the poem’s context, “frames” the symbols embedded within it, and “translates” emotional expression into a dynamic whole. This article is aimed at students, graduate students, teachers, linguists, philologists, and anyone interested in general and linguistic semiotics.
Актуальность рассмотрения медиальной транспозиции при участии генеративных нейросетей и особенностей осуществляемого переноса вербального содержания в визуальную форму обусловлена тенденциями применения искусственного интеллекта в современной коммуникации при создании информационной среды и для трансляции культурной памяти, в том числе через еë ремедиацию, переосмысление. Целью данной статьи является рассмотрение особенностей переноса печатного поэтического текста в медийный формат при помощи генеративных нейросетей, выявление специфических приëмов, а также черт происходящей при этом ремедиации исходного текста. Материалом исследования послужили работы (всего 6) нейроиллюстратора Никиты Глухова (псевдоним DJ БлокNote). Генеративные нейросети, направляемые человеком-оператором и обучаемые на массиве антропогенных данных, являются опосредованной формой социального взаимодействия, что предполагает реализацию интегративного подхода и анализ заявленных явлений с позиций интеракционизма, герменевтики, психологической и визуальной антропологии, лингвосемиотики. Основными методами исследования выступают качественные методы: интерпретация, анализ, синтез, описательный метод, метод контекстуального анализа, функционально-прагматический метод, элементы психоаналитического метода для извлечения скрытых смыслов. Применяется трехуровневый анализ семиотически осложненного текста, разработанный Р. Бартом, адаптированный под нужды исследования. Было обнаружено следующее. При транспозиции печатного текста в экранный медиум с участием генеративных нейросетей происходит перекодировка его текстовой структуры в зрительную и звуковую материю. Сконструированное произведение состоит из интермедиальных образов, а динамика, монтаж, композиция, цвет и свет заменяют ритм и метафоричность. Помимо аудиовизуального обнаруживается и сюжетно-фабульный выразительный слой - нарративизация лирического. Промпты для генеративной модели создаются человеком-оператором на основе опорных семантических точек стихотворения - конкретных лексических единиц (ЛЕ), с добавлением в них дополнительных ЛЕ, которые отсутствуют в исходном тексте, но которые нужны для его визуализации. Следуя промпту, нейросеть, овеществляя контекст стихотворения, «обрамляет» заложенные в него символы, «переводит» эмоциональную экспрессию в динамическую целостность.