Generative Neural Networks as a Tool for Transposing Printed Text into Screen Format: Case Study of Neuro-Illustrator DJ БлокNote

Full Text

Введение

Цифровые технологии приобретают онтологический статус. Они вытесняют традиционные коммуникативные практики, трансформируют не только социальное бытие и атрибуты [1], но и культурные формы, и эстетические ценности [2]. В этом контексте проблема актуализации и «осовременивания» культурного наследия техническими средствами, в том числе генеративными нейросетями, является насущной проблемой. Генеративные нейросети, прошедшие путь от автокодировщика до сложной нейросетевой архитектуры, в современных художественных практиках применяются как средство создания новых и интерпретации уже существующих артефактов культуры. Они продолжают эволюционировать, обеспечивая научный интерес к себе в различных областях, в том числе и гуманитарных — семиотики, герменевтики, визуальной антропологии.

На сегодняшний день искусственный интеллект (ИИ) изучается современными учëными-филологами в различных аспектах. Например, в контексте осмысления влияния генеративного ИИ на медиаиндустрию [3], описания процесса представлений в теории искусственного интеллекта через сложные концептуальные структуры [4], автоматизированного перевода [5], преподавания [6], внедрения ИИ в сферу визуального искусства [7]. Также были найдены несколько работ, смежных с изучением вопросов смыслопорождения моделями ИИ, их последующего декодирования и интерпретации человеком. Так, в статьях [8; 9] рассматриваются вопросы искусственного семиозиса и смыслопорождения на примере текста, созданного ChatGPT 4o по простому запросу Напиши, пожалуйста, сказку про дерево и листок. В результате применения коммуникативного подхода с учетом семиотических и когнитивных процессов делается вывод о том, что подобного рода тексты, будучи созданными на основе обработки данных заранее заданными алгоритмами, не содержат авторского замысла и не являются самодостаточными объектами интерпретации. Отмечается, что ИИ может стать «помощником, эффективным  инструментом, удобным подсобным средством», но «никогда не станет полноценным смыслообразующим агентом, подлинным семиотическим актором» [9. С. 27]. Изучаются также антропологические риски, связанные с развитием искусственного интеллекта. В статье [10] приводятся формы репрезентации антропологических вызовов ИИ: 1) научные концепты; 2) философская рефлексия; 3) визуальные искусства; 4) компьютерные игры; 5) кинематограф. Подчеркивается важность интеграции гуманитарной экспертизы в развитие ИИ. Помимо этого, модели ИИ рассматриваются и в контексте трендов современной 3D-графики. Отмечается влияние «генеративного дизайна» [11. С. 24] на процессы производства изображений, что способствует к усилению фотореализма и художественной выразительности. В качестве перспективы использования ИИ-технологий называется их конвергенция с культурологическим и семиотическим подходами.

В настоящем исследовании мы интегрируем результаты, полученные коллегами [8–11], и подходим к ИИ как к инструменту создания текстов, а не как к мыслящему актору. Исследование проводится на границе трех форм антропологических вызовов ИИ — визуального искусства, кинематографа и философской рефлексии. Учитываются культурологические и семиотические аспекты использования генеративного дизайна при создании семиотически осложненных текстов с участием ИИ — в фокусе работы находится медиальная транспозиция, осуществляемая генеративными нейросетями. Рассматривается то, как смыслы исходного текста сначала декодируются, а затем  собираются заново, что приводит как к проявлению скрытых смыслов, так и к приращению новых. Основной целью ставится изучение особенностей  переноса печатного поэтического текста в медийный формат при помощи генеративных нейросетей, а также выявление специфических приëмов и черт происходящей при этом ремедиации исходного текста.

Объект настоящего исследования составляет процесс медиальной транспозиции линейного поэтического текста средствами генеративных нейросетей в форму коротких видеоклипов, предмет — происходящие при этом  семиотические трансформации с исходным текстом.

Материал и методы исследования

В качестве материала исследования (табл. 1¹) были выбраны работы нейроиллюстратора Никиты Глухова, известного под псевдонимом DJ БлокNote. Он является первым в русскоязычном секторе Интернет, кто стал создавать клипы на стихи русских поэтов. На форуме «Территория будущего. Москва 2030» 12 сентября 2025 г. DJ БлокNote провëл кибермузыкальное шоу (рис. 1), где выступил вместе с «ожившими» русскими классиками².

В работах Н. Глухова / DJ БлокNote обнаруживаются сложные семиотические трансформации, которым подвергаются исходные поэтические тексты. Согласно разработанному им алгоритму, процесс переноса стихотворения в медийный формат многоступенчат: сначала выбирается исходный текст, «рождается музыка, а потом уже визуальный ряд и только потом уже сценарий». Визуалу уделяется особое внимание — проделывается тщательная «работа с изображением: улучшение качества, конвертация  в реалистичный формат, перевод в модель для нейросети»³. Нейросеть в таком алгоритме, с одной стороны, направляется человеком-оператором, и, с другой стороны, визуализируя контекст исходного текста, вносит в него свои изменения расширяя интерпретацию. Это делает работы DJ БлокNote интересными для изучения вопросов ремедиации поэтического текста и передачи его множественности и лиричности в ходе медиальной транспозиции с участием нейросети.

 Таблица 1 Материал исследования
Table 1. Data for study 

№ п/п	Произведение / Аrtwork	Скриншоты из ИИ-клипа (выборочно) /  Screenshots from the AI ​​clip	Ссылка RuTube / Link RuTube
1.	Ночь, улица, фонарь, аптека (А. Блок)
2.	В ночь, когда уснет тревога (А. Блок)
3.	Жираф  (Н. Гумилёв)
4.	Нежнее нежного  (О. Мандельштам)
5.	Я пришел  к тебе  с приветом  (А. Фет)
6.	Письмо  Татьяны  к Онегину  (А. Пушкин)

Источник: исследование Ю.А. Евграфовой.
Source: compiled by Yulia A. Yevgrafova

Данное исследование реализует интегративный подход и осмысляет отобранный материал с позиций интеракционизма, герменевтики, психологической и визуальной антропологии, лингвосемиотики. Мы исходим из того, что человек существует в культуре — динамичной среде [12–18], используя ее артефакты в своей деятельности для взаимодействия с материальной средой и социальной интеракции. Она фундирована вербальной и невербальной системой знаков, текстов, мифологем и идеологем, которую можно семиотически понять, расшифровать, деконструировать [19]. Создаваемые в ходе  практической деятельности человека в медиасфере аудиовизуальные продукты понимаются нами как семиотически осложненные тексты, образованные звуковой и зрительной материей как целостное произведение с целью хранения и передачи сконструированных образов реципиенту, которые можно «прочесть».

Рис. 1. Выступление DJ БлокNote на форуме Москва 2030⁴
Источник: исследование Ю.А. Евграфовой.
Figure 1. DJ БлокNote’s performance at the forum Moscow 2030
Source: compiled by Yulia A. Yevgrafova

В ходе исследования используются качественные методы: интерпретация, анализ, синтез, описательный метод, метод контекстуального анализа, функционально-прагматический метод, элементы психоаналитического метода для извлечения скрытых смыслов. Также для критического анализа и интерпретации семиотически осложненных текстов применяется трехуровневый анализ, разработанный Р. Бартом [20] и адаптированный под нужды исследования. Единицей анализа выступает аудиовизуальный образ без расщепления его на значимые изоляты. Сначала ИИ-клип описывается как физический объект, для чего составляется описание его материи (звуковой и зрительной). В следующем шаге рассматривается денотативный уровень ИИ-клипа, выделяются аудиовизуальные образы, далее проводится их инвентаризация с текстуальной составляющей стихотворения, затем определяются ключевые элементы и опорные семантические точки. После этого рассматривается коннотативный уровень, фиксируются дополнительные значения, в том числе созданные на пересечении изобразительного и звукового ряда ИИ-клипа и текста стихотворения. Далее следует интерпретация и критический анализ обособленных образов, выделяются ключевые аспекты осмысления поэтических текстов средствами генеративных нейросетей, которые и представлены в данной статье.

Отметим, что в ходе исследования разграничиваются понятия ‘визуальный’ и ‘зрительный’, ‘аудиальный’ и ‘звуковой’. Когда мы рассматриваем материал как физический объект, то говорим о его материальных характеристиках — зрительных и звуковых, которые могут быть восприняты органами чувств в процессе просмотра и прослушивания. Когда мы переходим к рассмотрению способов передачи и организации того, что мы видим и слышим, и того, как это организовано, то говорим о визуальном и аудиальном компоненте соответственно. Когда мы рассматриваем материал как медиапродукт (экранизацию), то выделяем в нем изобразительный ряд и звукоряд.

Медиальная транспозиция: изменение внутренних свойств текста

В настоящем исследовании медиальная транспозиция рассматривается как одна из форм реализации интермедиальности — когда границы между носителями информации, средами или медиумом («medium») пересекаются [21]. Под медиальной транспозицией вслед за И. Раевски и Г.В. Зыковой в данной работе понимается перенос произведения из одного медиума в другой [21; 22] как, например, экранизация произведения.

Если говорить об экранизации, выполненной нейросетью, то она характеризуется тем, что в ней изобразительный ряд «идëт» от семантики, тогда как в классической он зависит от сюжета. Линейный печатный текст переносится в цифровую среду. Смена медиума приводит к изменению внутренних свойств текста. Если традиционный поэтический текст фиксируется на странице в печатной форме вербальными знаками, обладает статичностью, линейностью, ритмом, рифмой, многозначен, то при переносе его в экранную форму он теряет линейность и становится динамичным пространственно- временным континуумом, в основе которого лежит зрительная и звуковая материя, организованная и смонтированная определенным образом.

Исходя из этого, медиальная транспозиция, осуществляемая нейросетью, представляет собой не простую нейроиллюстрацию, а сложную реструктуризацию, при которой вербальному компоненту положен свой визуальный аналог. Опишем этот процесс и рассмотрим ниже конкретные примеры из отобранного материала.

Примеры медиальной транспозиции  в работах нейроиллюстратора DJ БлокNote

Приведем отобранный материал исследования в форме таблицы, в которой кратко отобразим сюжет оригинального текста и экранизации, тезисно охарактеризуем ее изобразительный и звуковой ряд (табл. 2).

Таблица 2 Сводные характеристики материала исследования
Table 2. Composite characteristics of the data for study 

№ п/п	Произведение / Аrtwork	Сюжет оригинального текста / Plot of the original text	Сюжет ИИ-клипа / The plot of the AI ​​clip	Изобразительный  ряд / Pictorial series	Звукоряд / Scale
1.	Ночь, улица, фонарь, аптека (А. Блок)	Герой размышляет о жизни, смерти, цикличности существования	Герой (А. Блок) видит самоубийцу (юношу) на мосту. Спасает его и отводит в аптеку, где дает лекарство. Юноша перерождается. А. Блок встречает его уже в С.-Петербурге XX в.	Изображено место  действия —  г. С.-Петербург  конец XIX в. и конец XX в. Крупные и дальние планы героев, детальное изображение  мимики. Ночной городской  пейзаж. Одежда юноши после перерождения меняется на современную форму, А. Блок же остается в своем костюме	Музыка в стиле синтвейв (трип-хоп, дарк- эмбиента и IDM). Стихотворный текст поет мужской голос. В начале слышны  несколько выкриков юноши
2.	В ночь, когда уснет тревога (А. Блок)	Герой выражает восхищение окружающим миром, полагая его совершенным творением Всевышнего	Герой (А. Блок) едет в дилижансе по сумеречному дождливому городу, стоит / сидит у окна и смотрит на дождливый город	Крупные и дальние планы героев, детальное изображение  мимики	Музыка в стиле синтвейв. Стихотворный текст поет мужской голос
3.	Жираф (Н. Гумилёв)	Герой рассказывает своей возлюбленной о далекой Африке и о жирафе, гуляющем вдоль озера Чад. Он пытается отвлечь ее от грустных переживаний	Герой (Н. Гумилёв) рассказывает А. Ахматовой про Африку. Та плачет. Он открывает ей дверь, за которой оказывается Африка. Они стоят рядом и оба смотрят на пейзаж	Крупные и дальние планы героев, детальное изображение мимики. Кадры С.-Петербурга чередуются с пейзажами Африки и гуляющего по саванне жирафа, кадрами пещеры, чернокожего вождя и чернокожей девушки, сменами дня и ночи	Музыка в стиле дип-хаус. Стихотворный текст поет мужской  голос
4.	Нежнее нежного (О. Мандельштам)	Герой восхищается внешними данными и духовным миром своей возлюбленной и говорит о ее незаурядности	Герой (О. Мандельштам) едет с девушкой в карете по зимнему городу, они ведут разговор, который продолжают в ресторане. Танцуют. Потом  гуляют по городу	Зимняя Москва (виден Кремль) и Санкт-Петербург (видна Петропавловская крепость). Крупные и дальние планы героев, детальное изображение  мимики	Музыка в стиле дип-хаус. Стихотворный текст поет мужской  голос
5.	Я пришел к тебе с приветом (А. Фет)	Герой приветствует свою возлюбленную рассказом о своих переживаниях утра	Герой (А. Фет) утром отправляется в лес, далее приходит к своей возлюбленной с букетом цветов, а затем уходит	Крупные планы героев. Утренний городской пейзаж чередуется с кадрами утра в лесу. Много солнечного света. А. Фет оказывается в ночном клубе, где танцует под «свою»  музыку	Музыка в стиле синтвейв. Стихотворный текст поет мужской голос
6.	Письмо Татьяны к Онегину (А. Пушкин)	Татьяна напрямую выражает свои чувства к Евгению Онегину и желает понять, что он чувствует к ней	Героиня (Татьяна) переносится из современного города, надев наушники и начав слушать положенный на музыку стих. В интерьерах дворянской усадьбы она пишет / играет на рояле / поет свое письмо	Показаны интерьеры провинциальной дворянской усадьбы и бальная зала, деревенский пейзаж (двор, хлев). Особо выделены предметы: самовар, православный крестик, рушник у иконы, православная икона, старушка-няня, пейзаж (березки), колодец,  коромысло	Музыка в стиле дип-хаус. Стихотворный текст поет женский  голос

Источник: исследование Ю.А. Евграфовой.
Source: compiled by Yulia A. Yevgrafova

Остановимся на каждом случае в отдельности.

Кейс № 1: «Ночь, улица, фонарь, аптека» (А. Блок)

В оригинальном тексте стихотворения выражается уверенность в безысходности и «зацикленности» всего сущего через использование таких лексических единиц (ЛЕ), как бессмысленный, тусклый, исхода нет, начнешь опять сначала, повторится все, как встарь, а также через образ ночного пейзажа: мрачной и холодной городской набережной, выстраивающийся ЛЕ  ледяная рябь канала, ночь, улица, фонарь, аптека. При интерпретации произведения DJ БлокNote в сотрудничестве с нейросетью развивает смысл лирического сюжета через визуальное повествование. Оно начинается с того,  что А. Блок прогуливается по ночной набережной Санкт-Петербурга конец XIX в. (что ясно из архитектуры и вывесок), видит юношу-моряка, который готов вот-вот утопиться. А. Блок спасает его, отводит в аптеку, где дает некое лекарство. Юноша перерождается — зритель видит его счастливого, гуляющего с девушкой по набережной уже современного Санкт-Петербурга.

Экранизация произведения привела к тому, что рефлексия о бытии, вокруг которой оно выстроено, трансформируется в конкретное событие,  участие в котором принимает сам автор. Драматичность оригинального сюжета визуализируется через персонажа-самоубийцу, спасение и счастливое перерождение которого в современном Санкт-Петербурге есть преодоление безысходности, изначально заложенной в текст. В этом смысловом узле  ИИ-клипа цикл «несчастного» существования разорван, предлагается вариант исхода, которого, на самом деле, нет.

Кейс № 2: «В ночь, когда уснет тревога» (А. Блок)

Стихотворение А. Блока «В ночь, когда уснет тревога» передает созерцание им мира, восхищение гармонией и музыкой бога. Буря жизни автором противопоставляется розам, которые цветут и горят, а человеческие  слезы — румянящемуся закату». Выстраивается образ закатного неба, затихающего буйства природы, готовящейся ко «сну». Все мирское ничто по сравнению с тем божественным замыслом, который можно увидеть в природе.

Интересно, что «экранное» осмысление этого произведения DJ БлокNote и нейросетью имеет иной акцент. Возвышенное переживание божественного заменяется на демонстрацию того, как автор, А. Блок, едет в дилижансе по вечернему дождливому городу и, приехав домой, задумчиво наблюдает дождливые сумерки из окна. Эти два действия можно рассматривать не как цепочку конкретных событий, а как визуальную метафору настроения. Судя по всему, ЛЕ тревога, мгла, слезы, кровь, муки были интерпретированы нейросетью буквально, без учета окружающего контекста, в результате чего оппозиция мирское–Божественное, на основе которой выстроено произведение,  «потерялась». При экранизации сложная абстракция трансформировалась в простую демонстрацию меланхолии.

Кейс № 3: «Жираф» (Н. Гумилёв)

В оригинальном тексте «Жирафа» Н. Гумилёв беседует со своей возлюбленной (многие исследователи его творчества склонны думать, что стихотворение адресовано А. Ахматовой, первой жене поэта) о своей поездке  в Африку, им упоминается озеро Чад, тропический сад, пальмы, травы, черная дева, вождь, изысканный жираф, описывается его грациозная стройность, шкура, плавный бег. Параллельно с «Африкой» в стихотворении обрисованы напряженные отношения между рассказчиком и слушательницей, которая сидит колени обняв, а взгляд ее грустен, и, по выражению рассказчика, она слишком долго вдыхала тяжелый туман и верить не хочет во  что-нибудь, кроме дождя. Поэтому ему тяжело рассказывать ей про сказочную Африку.

Эти два сюжета экранизированы в ИИ-клипе буквально. Основное событие, вокруг которого выстроено визуальное повествование — это беседа Н. Гумилёва с плачущей А. Ахматовой, то сидящей в кресле, то стоящей напротив поэта. Детализировано место действия — интерьер дворянской квартиры конец XIX — начало XX в. — и костюмы героев, мужской фрак и дамское платье того же периода. Кадры разговора чередуются с кадрами саванны, жирафа, африканского племени. В конце видео Н. Гумилёв открывает двери комнаты и оба смотрят на открывшийся африканский пейзаж. Это  действие, во-первых, визуализирует совместную победу над грустью адресата, что расширяет семантику произведения, и, во-вторых, трансформирует метафорический рассказ о «сказочной» Африке в нечто реальное. Такой ход в визуальном повествовании ИИ-клипа отражает стремление акмеизма,  основателем и идеологом которого являлся Н. Гумилёв, к конкретным «вещественным» образам.

Кейс № 4: «Нежнее нежного» (О. Мандельштам)

О. Мандельштам любуется своей возлюбленной, восхищается ее внешней и внутренней красотой, употребляя такие эпитеты, как нежнее нежного, белее белого, неостывающие пальцы рук, неунывающие речи, даль очей. DJ БлокNote и нейросеть «переводят» лирическое чувство в формат романа, зрителям показан его фрагмент — прогулка в карете, свидание в ресторане, танцы, чтение стихов. Детализировано изображено место действия — карета, зимний город, ресторан, костюмы персонажей, транслируя «аристократичный дух» Санкт-Петербурга. Созданные образы поддерживают лиричность, транслируемую текстом стихотворения.

В конце ИИ-клипа нейроиллюстратором DJ БлокNote добавлено фото О. Мандельштама, сделанное в 1938 г., перед смертью в пересыльном лагере, что добавляет оригинальному стихотворению, изначально писавшемуся молодым О. Мандельштамом как лирическое восхищение возлюбленной,  трагичности и драматизма.

Кейс № 5: «Я пришел к тебе с приветом» (А. Фет)

В стихотворении «Я пришел к тебе с приветом» А. Фет выражает свою восторженность утром и пробуждающейся природой, детально ее описывая и оживляя: солнце встало, горячим светом по листам затрепетало, лес проснулся веткой каждой, каждой птицей встрепенулся, весенней полон жажды. Он пришел к своей возлюбленной, чтобы поделиться этими переживаниями: душа все так же счастью / И тебе служить готова; / <…>  отовсюду / На меня весельем веет, / <…> не знаю сам, что буду / Петь —  но только песня зреет.

При экранизации произведения его лирический сюжет претерпел трансформацию в визуальный нарратив с разделением на три хронотопа: 1) А. Фет в современном ночном клубе исполняет свое стихотворение, положенное на музыку, за диджейским пультом и у микрофона; 2) пейзаж утреннего леса, полного света; 3) А. Фет пришел с цветами к своей возлюбленной. Смысловой стержень оригинального текста – интенсивное эмоциональное состояние, страсть и восторг, переданы в ИИ-клипе через обилие света и мимику А. Фета. Эмоциональный заряд также несут в себе кадры ночного клуба, выступающего в нем поэта-диджея А. Фета, кадры исполнения им песни, а затем и танца под нее.

Кейс № 6: «Письмо Татьяны к Онегину» (А. Пушкин)

Отрывок «Письмо Татьяны к Онегину» из романа в стихах «Евгений Онегин» А. Пушкина представляет собой пылкое признание Татьяны, главной  героини, в любви к Евгению Онегину. DJ БлокNote выбрал для экранизации первую половину письма до слов То воля неба: я твоя включительно. Визуальное повествование представлено тремя хронотопами: 1) Татьяна в современной Москве; 2) Татьяна пишет письмо Евгению; 3) Евгений в исполнении Ильи Глухова на балу и в деревне. В ИИ-клип включены персонажи: А. Пушкин (гуляет по современной Москве, где встречает Татьяну), Татьяна (надевает наушники и оказывается в хронотопе романа), Евгений Онегин (в исполнении Ильи Глухова на балу — диджеит, в деревне — показан неуклюжим, пытающимся познакомиться с деревенским бытом).

Экранизация насыщена артефактами русской культуры — самовар, прическа героини — коса, интерьер провинциальной дворянской усадьбы, бальная зала, православный крестик, рушник у иконы, православная икона, мужское и женское платье начала XIX в., старушка-няня, пейзаж (березки), колодец, коромысло, деревенский пейзаж (двор, хлев). Благодаря этому визуализируется историко-культурный контекст «Письма...», а ИИ-клип «насыщается» смыслами, относящимися к центральной зоне русской культуры. Разрушение временного барьера (Татьяна перемещается в «прошлое», надев наушники) объединяет прошлое и настоящее, маркируя современность описываемых в «Письме ...» чувств, их «вечность» и актуальность.

Анализ рассмотренных выше кейсов позволяет прийти к следующим промежуточным выводам.

Во-первых, при медиальной транспозиции с участием генеративной нейросети в стихотворениях вычленяется объект(-ы) и ряд действий, которые помещаются в определенные ситуации, связанные с идейным содержанием стихотворений, аналогиями с ним и/или возможными его альтернативами. Это создает условия для образования неограниченного количества значений в сгенерированном медийном продукте. Нейросеть при участии оператора DJ БлокNote овеществляет символы и «обрамляет» их. Так, в Кейсе 1 отчаяние и безысходность переданы через визуальное повествование о самоубийстве и перерождении юноши, преодолевающего безысходность и разрывающего цикличность через спасение, что расширяет семантику стихотворения. Примером «обрамления символов» служит и Кейс 2, в котором образ Африки «материализуется» и вводится в диегетическое пространство героев клипа, когда поэт открывает дверь.

Во-вторых, в результате медиальной транспозиции чувства и эмоциональная экспрессия стихотворений «переводятся» нейросетью и ее оператором в динамическую культурно созданную целостность. В ней обнаруживается детализация изображения места действия (Москва, Санкт-Петербург, провинциальная усадьба, городские апартаменты), обрисовываются фрагменты быта и частной жизни конкретного исторического периода (XIX в. или XX—XXI вв.). Визуальное повествование организовывается вокруг конкретных образов как, например, в Кейсе 2 — это дождливый сумеречный город,  в Кейсе 4 — ресторан и зимний город, в Кейсе 5 — лес и город на заре, ночной клуб. При внедрении стихотворения в такой динамический «культурно  целый» овеществленный контекст культурные значения и индивидуальный опыт зрителя вступают в динамические отношения – зритель не воспринимает транслируемую символику как символ, но как валентность, воспринимая ее как «личное значение» и соотнося со своим опытом. При постижении нейросетевого произведения на первый план выходят жизненные ассоциации, художественные ассоциации возникают на их основе.

В-третьих, в ИИ-клипах «сталкиваются» артефакты разных эпох, например костюм А. Блока XIX в. и форма юноши-моряка XX в. в Кейсе 1; ночной клуб XXI в. и интерьеры апартаментов XIX в. в Кейсе 5; наушники и Москва XXI в. и детали быта XIX в. (икона, рушник, самовар и т.д.)  в Кейсе 6. Обнаруживаемые в экранизациях маркеры разных культурно-исторических контекстов принадлежат «центральной зоне» русской культуры, что добавляет в текст семиотического напряжения и создает основу для конструирования не только индивидуальных, но и интерсубъективных значений.

В-четвертых, отдельно следует подчеркнуть многоканальность воздействия в сгенерированных клипах. Звуковой и изобразительный ряд взаимодействуют по принципу контрапункта — текст стихотворения, положенный на современную электронную музыку, и визуальное повествование, сгенерированное на его основе, «существуют» вместе и одновременно, дополняя друг друга. Так, в Кейсе 1 к опорным точкам текста бессмысленный, тусклый, исхода нет, начнешь опять сначала, повторится все, как встарь добавляется нарратив спасения и преодоления безысходности. В Кейсе 3 музыкальное сопровождение (имеется ввиду синтез специальной звуковой материи — дип-хауса, основным инструментом в котором является электроорган, и материи звучащего слова — стихотворения) характеризуется глубокой, плавной и утонченной элегантной подачей, что семантически поддерживает экзотические образы соответствующего изобразительного ряда.

Средства переосмысления поэтического текста  генеративной нейросетью

В ходе исследования были обнаружены следующие средства, использованные нейросетью для переноса литературного произведения из одной среды в другую — из линейного печатного медиума в пространственно-временной континуум экранного медиума.

Прежде всего, это конверсия мономодального текста в полимодальный текст. Новое произведение дополняется невербальными единицами: зрительными и слуховыми. Зрительные единицы — это конкретные визуальные  образы, овеществляющие метафору лирического произведения. Слуховые единицы — это специальная звуковая материя (в случае с рассматриваемым материалом — современная электронная музыка) и материя звучащего  слова — стихотворения. Обнаруживается детализация визуальных образов,  а именно: крупные планы действующих в визуальном повествовании лиц,  детализированное изображение интерьеров, пейзажей, единичных материальных артефактов культуры.

Нейросеть использует исходный стихотворный текст как источник для построения нового повествования и нового смысла. Так, в ходе нарративизации в стихотворение «Ночь, улица, фонарь, аптека» (А. Блок) добавляется надежда на спасение, в стихотворение «Жираф» (Н. Гумилёв) – надежда на счастливое разрешение размолвки, а стихотворение «В ночь, когда уснет тревога» (А. Блок) полностью меняет свой замысел, транслируя тревожность и меланхоличность. В созданное визуальное повествование включается несколько хронотопов, а иногда и анахронизм, как, например, в случае с «Ночь, улица, фонарь, аптека» (А. Блок) или «Письмо Татьяны к Онегину» (А. Пушкин), где культурно-исторические контексты сознательно смещены для того, чтобы подчеркнуть «вечность» затрагиваемых тем.

Автор лирического произведения «оживляется» нейросетью и включается визуальный нарратив, принимая непосредственное участие в происходящем. Причем оживленное изображение поэта, вставленное в ИИ-экранизацию стихотворения, не соответствует возрасту, в котором он его создал, а является его «популярным» изображением, под которым он известен массовой аудитории.

Проблемы нейросетевой медиальной транспозиции  и вопросы авторства

Медиальная транспозиция поэтического текста имеет ряд проблемных моментов. Прежде всего, это риск утраты исходных смыслов, заложенных в произведение. Слово лишается своей дискретности при переходе линейного печатного текста в экранный континуум. Существует вероятность, что при трансформации в аудиовизуальные образы вербальный компонент останется без изначально заложенной в него множественности значений в угоду создания общего «настроения» и атмосферы. Кроме того, опасность полного изменения смысла произведения в ИИ-экранизации может быть из-за, во-первых, предельно буквальной экранизации, как, например, в случае с «В ночь, когда уснет тревога» (А. Блок), когда опорные точки стихотворения были интерпретированы нейросетью буквально, во-вторых, из-за добавления оператором нейросети новых деталей, как, например, в случае «Письмо Татьяны к Онегину» (А. Пушкин) — Татьяна переносится из настоящего времени в прошлое, «Я пришел к тебе с приветом» (А. Фет) — А. Фет танцует в ночном клубе или «Нежнее нежного» (О. Мандельштам) — фото О. Мандельштама перед смертью в конце ИИ-клипа заставляет зрителя полностью переосмыслить оригинальный текст, подчеркивая горестные и мрачные годы жизни поэта, и, в-третьих, из-за добавочной интерпретации, как, например, в случае «Ночь, улица, фонарь, аптека» (А. Блок), когда стихотворение превращается в мини-драму, где поэт становится всевидящим вершителем судьбы.

Чрезмерное использование визуального компонента может привести к переиллюстрированности и превратить ИИ-экранизацию в китч. Гиперреалистичная картинка способствует утрате поэтическим текстом ритма, множественности, метафоричности. Гиперреалистичный и «банальный» визуальный идиостиль ИИ может вытеснить идиостиль автора оригинала, снизив сложное произведение до привлекательной «картинки».

Сотрудничество оператора и нейросети ставит вопрос авторства нового произведения. Следует четко разграничивать роли: автор (поэт) — человек-оператор — нейросеть. Нейросеть — это машина, которая создает материал по запросу оператора. Оператор — это человек (для подобной деятельности уже существует новое название — нейроиллюстратор), который пишет промты и курирует нейросеть, ставит ей задачи, отбирает, редактирует и собирает воедино полученный материал. Автор — это создатель оригинального произведения. Порожденный его творческим трудом текст служит источником для написания промптов оператором. В этой связи необходима прозрачная атрибуция, т.е. указание на первоисточник, на конкретную нейросеть и на нейроиллюстратора. При таком распределенном авторстве оператор несет ответственность за итоговую интерпретацию поэтического текста.

Основным критерием качества нового произведения, созданного при нейросетевой медиальной транспозиции, является стилистическая цельность, соответствие эмоциональному ядру оригинального поэтического текста,  целостность сгенерированных образов. Технической стороне следует уделять меньшее внимание.

Выводы

Проведенное исследование позволяет сделать следующие выводы относительно медиальной транспозиции с участием нейросетей.

Нейросетевая медиальная транспозиция — это перенос исходного линейного текста из печатной в нелинейную экранную форму средствами нейросети, оператором которой является человек. Промпты для нейросети пишутся на основе опорных семантических точек стихотворения — конкретных ЛЕ, с добавлением в них дополнительных ЛЕ, которые отсутствуют в исходном тексте, но которые нужны для визуализации. В рассмотренных работах нейроиллюстратора DJ БлокNote в ходе транспозиции помимо зрительной материи задействуется и звуковая — на изобразительный ряд накладывается специальная звуковая материя — современная электронная музыка, и материя звучащего слова — стихотворения. В результате происходит ремедиация, переосмысление исходного текста средствами зрительной и звуковой материи.

Целостное произведение разбивается на «данные». Для составления промпта исходный текст деконструируется сначала оператором для выделения опорных ЛЕ, а затем генеративной нейросетью, которая преобразует  команду в токены, обрабатывает их и собирает «ответ», но уже в визуальный образ. Нейросеть действует как машина, перекодируя текстовую структуру, в случае настоящего исследования, поэтическую, в структуру визуальную,  в которой ритм и метафоричность заменяется динамикой, монтажом, композицией, цветом и светом. Получившаяся ИИ-экранизация состоит из интермедиальных образов и представляет собой новый артефакт культуры,  помещенный в экранную среду.

Нейросетевая медиальная транспозиция опирается на зрительно-слуховую ассоциативную работу психики потенциального зрителя. Включенный в экранизацию зримый облик вещественного окружения запускает зрительные ассоциации, раскрывая имплицитное (в нашем случае — это лирическое) на конкретном предметном «материале». Акустическое воздействие специальной звуковой материи (музыки) в сочетании с материей звучащего слова  (стихотворения) подключает слухо-ассоциативную работу психики, связывая эмоции с акустикой.

Созданный текст сложен и обнаруживает не только аудиовизуальный, но и сюжетно-фабульный выразительный слой. В рассмотренных случаях нейросетевой медиальной транспозиции поэтических произведений обнаруживается нарративизация лирического. Находя визуальные соответствия опорным ЛЕ исходного текста, нейросеть конструирует визуальное повествование, через которое передается эмоциональный компонент.

При переносе исходного печатного текста в новый медиум нейросеть актуализирует культурные схемы, принадлежащие к «центральной зоне» культуры, что способствует конструированию не только сугубо «личностных», уникальных, но и интерсубъективных значений, понятных для членов общества в целом. В рассмотренных работах нейроиллюстратора DJ БлокNote была обнаружена актуализация культурных схем через обращение к стереотипным образам «русская помещичья усадьба», «Петербург Достоевского» — идеальным артефактам; через использование образов культурнозначимых предметов «самовар», «коса», «православный крестик», «православная икона», «мужское и женское платье XIX в.» и мн. др. — когнитивные схемы объектов; через изображение аристократического быта — модели и культурные сценарии. Знаки культуры «рождаются» повторно в новом медийном продукте, в котором воспроизводится их конвенциональное значение и создаются условия для конструирования идиосинкретичного.

Заключение

Рассмотренные работы нейроиллюстратора DJ БлокNote являются примером не только вторичного семиотического произведения, созданного  в соавторстве с «машиной», но и одного из первых шагов в диалоге между традиционными и новыми формами искусства. Нейросети, перенося литературное произведение из линейной печатной формы в экранную среду, служат инструментом его истолкования. Текст, созданный в процессе медиальной  транспозиции, не угрожает, но обогащает традиционное прочтение «классики», в том числе благодаря кураторству человека-оператора.

Нейроиллюстратор DJ БлокNote, используя добавочный визуальный компонент — цвет, свет, композицию и др. — как ведущий элемент, актуализирующий исходное содержание, выстраивает в своих экранизациях визуальный нарратив. Важно, что созданный контент помещается им в формат коротких видео (Shorts). Этот формат понятен современной молодежи и позволяет компактно «упаковать» многослойное и сложное произведение, давая ему «второе рождение». Такой подход позволяет говорить о творчестве нейрохудожников как о самостоятельном художественном явлении, продолжающем традиции поэзии и литературного искусства, но на принципиально новом технологическом и эстетическом уровне.

Перевод вербального в визуальное, добавление музыкального сопровождения способствует проявлению имплицитных связей, слабовыраженных и/или неочевидных смыслов и метафор. Получившийся семиотически осложненный текст является продуктом сотрудничества (1) автора исходного текста, произведение которого «вдохновляет» (2) оператора нейросети, курирующего процесс генерации через написание промптов, и (3) нейросети —  «машины», обрабатывающей промпты по определенным алгоритмам и выдающей ответы в формате визуальных образов. Такое сотворчество начинает новый этап в интерпретации текстов — герменевтику, исследующую продукты, созданные цепочкой автор–оператор–нейросеть, или герменевтику ИИ, в рамках которой уже можно сформулировать вопросы, требующие  изучения и дальнейшего исследования.

Прежде всего, это проблема автора. Создание экранизаций с участием генеративных нейросетей «размывает» понимание авторства, порождая экранные тексты, в которых заложенные смыслы гибридны, несут отпечаток интенсионального мира человека-оператора, а также коллективного культурного корпуса, используемого генеративной моделью. Это вынуждает  рассмотреть проблему наращивания смыслов после «смерти автора»  по Р. Барту в новом, технологическом, аспекте. Также встают смежные с этим вопросы подлинности и оригинальности — созданный с участием генеративной нейросети экранный текст представляет собой новую форму искусства, является своего рода коллажем или, всë же, плагиатом? И второй —  вопрос ответственности за сгенерированные смыслы, особенно это касается потенциально опасного и дискриминационного контента. Возникает проблема понимания герменевтического круга, который трансформируется  в замкнутую цепочку запрос — ответ — новый запрос, в которой модель интерпретирует запрос человека-оператора, а он — ответ модели, что влияет на его понимание о запрашиваемом вплоть до полного его изменения, что инициирует новые запросы — и так неограниченное количество раз.

Семейство генеративных нейросетей обучается на артефактах человеческой культуры — массиве данных, выступая своего рода еë отражением и сжатым изложением. Изучение контента, сгенерированного нейросетями,  позволит выделить семиотические и нарративные доминанты, стереотипы, существующие в культуре в конкретный момент времени. Интересно проследить, какие трансформации претерпевают культурные коды после прохождения через ИИ. И немаловажная проблема возникает в аспекте семиотики и философии языка — контент, созданный с участием ИИ, содержит в себе знаки в классическом их понимании, т.е. имеющие референта в реальности, или их следует считать копиями без оригинала — симулякрами? Эти и другие вопросы требуют дальнейшего исследования и научного описания.

В заключении, отметим, что изучение медиапродуктов, созданных с участием семейства генеративных нейросетей, в аспекте герменевтики, семиотики, психологической и визуальной антропологии имеет практическую значимость, поскольку позволит разработать алгоритм критического анализа  сгенерированного контента на предмет выявления идеологий и манипулятивного компонента, заложенного в данные для обучения моделей, а также методологию интерпретации порожденных смыслов, уяснения их культурного  генезиса, а также поможет сохранить роль агенса за человеком в процессе коммуникации с ИИ.

 

_{¹ Прим.: Произведения даны в табл. 1 в хронологической последовательности, в которой они были опубликованы на официальном канале DJ БлокNote на платформе RuTube. Режим доступа: https://rutube.ru/channel/67927732/ (дата обращения: 25.12.2025).}

_{² Нейросети оживили поэзию Серебряного века на форуме «Территория будущего. Москва 2030». Режим доступа: https://fedpress.ru/news/77/society/3401566 (дата обращения: 03.10.2025).}

_{³ DJ БлокNote — Серебряный век / antimantikora // LIVEJOURNAL. 8 августа 2025. Режим доступа: https://dzen.ru/a/aHmOstJg_mis2ZQd (lата обращения: 15.12.2025).}

_{⁴ Режим доступа: https://www.osnmedia.ru/kultura/v-moskve-pri-podderzhke-radio-dfm-proshyol-kontsert-dj-bloknote-kibermiks/ (дата обращения: 15.12.2025).}

About the authors

Yulia A. Yevgrafova

National Research University «Moscow Power Engineering Institute»

Author for correspondence.
Email: yu.evgrafova@mail.ru
ORCID iD: 0000-0002-4201-5281
SPIN-code: 9494-6751

Dr.Sc. (Philologу), Associate Professor, Professor at the Department of Advertising, Public Relations and Linguistics

14, build. 1 Krasnokazarmennaya str., Moscow, Russian Federation, 111250

References

Supplementary files