Искусственный интеллект и человек: сравнительный анализ научных обзорных текстов

Полный текст

Введение

Большие языковые модели (Large Language Models, LLM) стали подрывной инновацией (по К. Кристенсену^[1]) в академическом письме. Они меняют технологию создания текстов, скорость их написания и объемы публикаций. С 2023 г. исследователи фиксируют рост числа работ, написанных с применением генеративных моделей. Исследование, проведенное в Стэнфордском университете (Stanford University)^*, показало следующее: системный анализ 1,1 млн препринтов и публикаций (arXiv, bioRxiv, Nature portfolio, 2020–2024 гг.) выявил рост LLM-модифицированного контента – до 22 % в компьютерных науках (аннотации и введения) и 7,7–9 % в математике. По мнению исследователей, не менее 13,5 % аннотаций 2024 г. на перечисленных платформах созданы или существенно переработаны с помощью LLM; речь идет примерно о 200 тыс. статей. LLM-тексты значительно чаще встечаются в аннотациях, введениях, обзорах литературы и выводах, в отличие от разделов, описывающих методы и эксперименты (Liang et al., 2025).

Количественное исследование, проведенное учеными Корнеллского университета (Cornell University) и Университета Беркли (The University of California, Berkeley)^*, охватившее 2 млн препринтов на ресурсе arXiv с января 2018 по июнь 2024 г., выявило относительный рост доли ИИ-текстов на 36–60 % начиная с 2023 г. (Kusumegi et al., 2025). Исследования также показывают, что языковые модели способны генерировать идеи научных работ, превосходящие по новизне, яркости, осуществимости и результативности идеи ученых (Si et al., 2024).

В русскоязычной академической среде пока преобладают обзорные статьи о применении LLM в академических целях, а также о методических и этических проблемах взаимодействия с языковыми моделями^[2] (Гасанова, Романова, 2024; Гельман, 2025; Кузьменко, 2025; Сысоев, 2024). Исследователи подчеркивают, что несмотря на продуктивность, использование LLM приводит к снижению разнообразия стиля и сложности текстов, а также требует обязательной экспертной оценки качества (Тимохов, 2025). Параллельно с этим в российской науке формируется исследовательская традиция, осмысляющая трансформацию медиа под воздействием ИИ. Так, в коллективной монографии «Искусственный интеллект в развитии медиа» (Мухина, Олешко, 2026) представлен широкий спектр подходов – от технологических до этических. Автор данной статьи участвовал в обсуждении этих проблем при подготовке теоретического обоснования изменений в журналистике (Волкова и др., 2024).

Настоящее исследование переводит проблематику LLM в практическую область сравнительного анализа текстов. Одна из ключевых проблем, возникающих с появлением и публикацией LLM-текстов, – неясность различий в качестве между сгенерированными текстами и текстами, написанными человеком, а также отсутствие общепринятых в академическом сообществе экспертных, этических и технологических подходов к оценке развития технологии генерации наукообразных текстов.

Цель – сравнить обзорные научные тексты, написанные человеком и машиной, с помощью специалистов в предметной области и самих языковых моделей. Гипотеза исследования состояла в том, что LLM-тексты содержат стилистические и содержательные отличия, которые позволят экспертам и языковым моделям выявить их и отличить от текстов человека. Наоборот, текст, написанный человеком, будет выделяться своим качеством среди текстов, созданных машинами. Для достижения цели решались следующие задачи: составление с помощью трех разных LLM списка книг с краткими аннотациями для дальнейшей работы над обзорной частью статьи; написание, компиляция и агрегация трех обзоров; сравнение синтезированных обзоров с обзором, написанным только человеком, с применением машинного анализа и экспертной оценки текстов специалистами по предметной области.

Материалы и методы

Материалом для анализа послужили пять текстов: текст, написанный человеком, три обзорных текста, созданных при помощи LLM, и один контрольный текст-имитация, также сгенерированный LLM^[3].

Текст, написанный человеком, представлял собой фрагмент диссертации «Трансформация медиарынка под воздействием цифровых платформ в России»^[4], посвящeнный развитию методов глубинного обучения. Текст был написан автором данной статьи в 2023 г., его объем – 20 тыс. знаков (с пробелами). Текст сопровождался списком из 30 источников.

Три ИИ-текста – обзор научных публикаций на тему «Развитие методов глубинного обучения» с момента зарождения этой технологии до настоящего времени – каждый объемом 20 тыс. знаков. Для создания обзоров использовались три большие языковые модели: ChatGPT-4o (OpenAI), Gemini Flash 2.0 (Google), T-Lite (Т-Банк, версия 2025 г.). При создании каждого из трех текстов использовался одинаковый набор из семи последовательных промптов, после каждого из которых следовал этап минимального редактирования (исправление орфографических ошибок, унификация шрифтов; смысл текста не менялся). Процедура включала следующие этапы: создание списка из 20 книг, статей, исследований по теме; хронологическая систематизация материала; обзор каждого периода; редактирование и компиляция обзоров в единый текст; установление связи между научными открытиями и их применением в индустрии; добавление цитат; составление списка литературы по академическим требованиям.

После генерации тексты были проверены на наличие явных логических ошибок и несуществующих источников. В трех случаях (ChatGPT-4o, Gemini Flash 2.0, T-Lite) библиографические записи оказались корректными; текст-имитация содержал вымышленные ссылки на книги Дж.К. Роулинг, что было оставлено намеренно как часть экспериментального замысла.

Пятый контрольный текст представлял собой развернутый пересказ книг Дж.К. Роулинг о Гарри Поттере того же объема, оформленный в соотвествии с требованиями ГОСТа. После его написания с помощью той же LLM имя «Гарри Поттер» было заменено на «искусственный интеллект», а «Волан-де-Морт» – на «методы глубинного обучения» по всему тексту, кроме списка литературы. Объем и оформление текста полностью повторяли три предыдущих обзора (табл. 1).

Таблица 1. Авторство текстов для анализа и время на их создание

№ п/п	Авторство	Тема	Методы, способы письма	Объем в знаках	Доля машинного текста, %	Количество источников	Время написания, ч
1	М.Л. Поляков (фрагмент диссертации канд. филол. наук)	Развитие методов глубинного обучения	Авторский анализ, письмо, компиляция	20 000	0	30	80–100
2	Chat GPT 4о + редактор	Развитие методов глубинного обучения	Синтез, компиляция	20 000	98	20	1
3	Gemimi Flash 2.0 + редактор	Развитие методов глубинного обучения	Синтез, компиляция	20 000	98	22	1
4	T-Lite + редактор	Развитие методов глубинного обучения	Синтез, компиляция	20 000	98	19	1
5	Chat GPT 4о + редактор	Обзор книги о Гарри Поттере	Синтез, компиляция, мистификация	20 000	98	20	1

Примечание. Под долей машинного текста понимается объем текста, сгенерированного LLM без существенной ручной правки. Тексты после генерации подвергались минимальному форматированию и исправлению очевидных опечаток (менее 2 % от объема).
Источник: составлено М.Л. Поляковым.

Table 1. Authorship of texts for analysis and time for their creation

No.	Authorship	Subject	Methods and writing tools	Volume, characters	LLM generated articles, %	Number of sources	Time of writing, hours
1	Maksim L. Polyakov (part of PhD Thesis)	Development of deep learning methods	Analysis, writing, compilation	20,000	0	30	80–100
2	Chat GPT 4о + editor	Development of deep learning methods	LLM synthesis, compilation	20,000	98	20	1
3	Gemimi Flash 2.0 + editor	Development of deep learning methods	LLM synthesis, compilation	20,000	98	22	1
4	T-Lite + editor	Development of deep learning methods	LLM synthesis, compilation	20,000	98	19	1
5	Chat GPT 4о + editor	Review of Harry Potter books	LLM synthesis, compilation	20,000	98	20	1

Note. By share of LLM-generated text is defined the proportion of text generated without substantial manual editing. After generation, the texts underwent only minimal formatting and correction of obvious typos (less than 2% of volume).
Source: compiled by Maksim L. Polyakov.

Все пять текстов были анонимизированы и представлены для анализа четырем специалистам Российской академии народного хозяйства и государственной службы при Президенте Российской Федерации (РАНХиГС). Трое из них – сотрудники Исследовательского центра искусственного интеллекта Института общественных наук РАНХиГС, один – преподаватель цифровых дисциплин (без указания на бывшую должность в технокомпании). Имена участников не раскрываются по этическим соображениям.

Эксперты были проинформированы, что среди предложенных текстов есть созданные языковыми моделями. Им было предложено оценить качество этих текстов, используя семь критериев, по 10-балльной шкале для каждого критерия. Критерии оценивания: глубина обзора; логика изложения; кругозор автора; академичность и качество письма; описание связи с индустриальным применением; уместное цитирование ключевых исследователей в области; оформление ссылок в соответствии с академическими стандартами. Кроме того, эксперты могли оставлять комментарии в свободной форме.

Тексты также были оценены тремя языковыми моделями: GigaChat (версия 2025), ChatGPT-4o, Gemini Flash 2.0. Каждый текст загружался в отдельной сессии (новом чате) для исключения влияния предыдущих оценок. Ответы моделей фиксировались вручную.

Все тексты были проверены на оригинальность в системе «Антиплагиат.ВУЗ». Проверка показала, что оригинальность текстов составила 77–80 %.
Такой процент объясняется высокой долей общенаучной лексики и цитированием одних и тех же источников; все тексты прошли проверку без признаков недобросовестных заимствований (табл. 2).

Таблица 2.  Общая схема эксперимента, участие людей и языковых моделей

Модели, эксперты, задачи	Обзор источников	Генерация текста	Оценка и сравнение текстов
Chat GPT-4o	I	I	I
GICA Chat (версия 2025)	0	0	I
Gemimi Flash 2.0	I	I	I
T-Lite	I	I	0
Четыре эксперта	X	X	I

Примечание. I – справилась; 0 – не справилась, X – не использовалась.
Источник: составлено М.Л. Поляковым.

 Table 2. Overall experimental design: Involvement of human participants and LLMs

LLMs, experts	Sources review	Text generation	Evaluation and comparison of texts
Chat GPT-4o	I	I	I
GICA Chat (version 2025)	0	0	I
Gemimi Flash 2.0	I	I	I
T-Lite	I	I	0
Four Experts	X	X	I

Note. I – handled it; 0 – failed; X – not used.
Source: compiled by Maksim L. Polyakov.

По итогам опроса, проведенного среди четырех специалистов, первое место по сумме баллов занял текст, написанный при помощи модели Gemini Flash 2.0 (167 баллов из 280 возможных). На втором месте – ChatGPT-4o (145 баллов), третье место занял текст, написанный человеком (120 баллов), четвертое – текст T-Lite (106). Последнее место у контрольного текста о книгах о Гарри Поттере, написанного ChatGPT-4o (39). Один из экспертов (читатель 1) в опросе поставил текст-имитацию на второе-третье место (табл. 3).

 Таблица 3. Результаты оценивания текстов четырьмя экспертами

Автор текста	Читатель 1	Читатель 2	Читатель 3	Читатель 4	Итог, макс. 280	Места
М.Л. Поляков	6	25	41	48	120	3
Chat GPT-4о	10	37	42	56	145	2
Gemimi Flash 2.0	6	48	51	62	167	1
T-Lite	7	18	41	40	106	4
Chat GPT-4о, текст-имитация	7	13	12	7	39	5

Источник: составлено М.Л. Поляковым.

Table 3. Results of text evaluation by four experts

Author’s text	Reader 1	Reader 2	Reader 3	Reader 4	Total, max. 280	Rating
Maksim L. Polyakov	6	25	41	48	120	3
Chat GPT-4о	10	37	42	56	145	2
Gemimi Flash 2.0	6	48	51	62	167	1
T-Lite	7	18	41	40	106	4
Chat GPT-4о, control text	7	13	12	7	39	5

Source: compiled by Maksim L. Polyakov.

По результатам оценки текстов, проведенной тремя языковыми моделями, наибольшее число баллов набрал текст, сгенерированный Gemini Flash 2.0 (178 баллов из 210 возможных), второе место занял T-Lite (174 балла), третье – текст, написанный человеком (162 балла), четвертое – текст ChatGPT-4o (161 балл), пятое (последнее) – текст-имитация (79 баллов) (табл. 4).

При оценке текста GigaChat дала следующий комментарий: «Текст 3 (сгенерированный Gemini Flash 2.0) сосредоточен на этапах развития глубинного обучения с упором на ранние работы и зарождение этой области. Здесь также встречаются ссылки на научные источники и имена исследователей, что свидетельствует о том, что текст написан человеком».

Таблица 4. Результаты оценивания текстов языковыми моделями

Автор текста	Gemini Flash 2.0	Chat GPT-4o	Giga Chat	Итог, макс. 210	Места
М.Л. Поляков	58	53	51	162	3
Chat GPT-4o	46	60	55	161	4
Gemimi Flash 2.0	68	52	58	178	1
T-Lite	53	63	58	174	2
Chat GPT, текст-имитация	13	55	11	79	5

Источник: составлено М.Л. Поляковым.

Table 4. Results of text evaluation by language models

Author’s text	Gemini Flash 2.0	Chat GPT-4o	Giga Chat	Total, max. 210	Rating
Maksim L. Polyakov	58	53	51	162	3
Chat GPT 4о	46	60	55	161	4
Gemimi Flash	68	52	58	178	1
T-Lite	53	63	58	174	2
Chat GPT 4о, control text	13	55	11	79	5

Source: compiled by Maksim L. Polyakov.

Ответ на вопрос экспертов, какова вероятность, что текст был написан с помощью машинного письма, выявил, что контрольный текст все расценили как наиболее вероятный машинный (90 %). Вторым по вероятности оказался текст модели T-Lite (81 %). Третье место занял текст, написанный человеком (78 %), четвертое – текст ChatGPT-4o (65 %), самая низкая вероятность – у текста модели Gemini Flash 2.0 (59 %) (табл. 5).

Таблица 5. Экспертная оценка экспертами вероятности, что текст написан LLM

Текст	Вероятность использования LLM, %	Места в списке кандидатов на машинное письмо
М.Л. Поляков	78	3
Chat GPT-4о	65	4
Gemimi Flash 2.0	59	5
T-Lite	81	2
Chat GPT, текст-имитация	90	1

Источник: составлено М.Л. Поляковым.

Table 5. Expert assessment of the probability of LLM authorship

Text	Probability of using LLM, %	Rating for the most generated text
Maksim L. Polyakov	78	3
Chat GPT-4о	65	4
Gemimi Flash 2.0	59	5
T-Lite	81	2
Chat GPT, control text	90	1

Source: compiled by Maksim L. Polyakov.

Сочетание результатов этого вопроса с общей оценкой качества письма выявило лидера у всех групп оценщиков – текст, сгенерированный с помощью Gemini Flash 2.0. Текст, написанный человеком (автором этой статьи), занял третье место по всем системам оценивания, то есть не был идентифицирован как человеческий ни экспертами, ни языковыми моделями (табл. 6).

Представленная выборка из пяти текстов и небольшое число экспертов могут показаться недостаточными для глубоких выводов, однако уровень экспертов – специалистов по ИИ – и качество использованных текстов позволяют это сделать. Гипотеза о том, что текст человека может быть идентифицирован специалистами в предметной области среди сходных LLM-текстов, выдвинутая в начале исследования, не подтвердилась. Последовательный промптинг и минимальное редактирование позволяют создавать LLM-тексты, близкие к человеческим по стилю и глубине проработки; они устанавливают связи между теорией и практикой, содержат оригинальные идеи. Эти тексты практически неотличимы для эксперта от текстов ученых в предметной области (по крайней мере, в обзорной части исследований) и, как показывает практика, приемлемы в академических целях.

Языковые модели в данном эксперименте также не идентифицировали человеческий текст как заведомо лучший или отличный от машинного: человеческий текст занял третье место в их рейтинге. Исследователи фиксируют стремительный рост научных текстов, предположительно созданных языковыми моделями. LLM уже используются соискателями ученых степеней для перевода, написания введений диссертаций, аннотаций, отдельных фрагментов, поиска и оформления списка литературы. По мере развития больших языковых моделей и их распространения в академической среде будет расти число полностью или частично сгенерированных текстов.

Tаблица 6. Общий результат оценивания текстов экспертами и языковыми моделями

Автор текста	Оценка экспертов	Оценка LLM	Итог, макс 490	Место в рейтинге
М.Л. Поляков	120	162	282	3
Chat GPT-4о	145	161	306	2
Gemimi Flash 2.0	167	178	345	1
T-Lite	106	174	280	4
Chat GPT-4о, текст-имитация	39	79	118	5

Источник: составлено М.Л. Поляковым.

Table 6. Results of text evaluation by human experts and language models

Author’s text	Expert assessment	LLM assessment	Total, max 490	Rating
Maksim L. Polyakov	120	162	282	3
Chat GPT 4о	145	161	306	2
Gemimi Flash	167	178	345	1
T-Lite	106	174	280	4
Chat GPT-4о, control text	39	79	118	5

Source: compiled by Maksim L. Polyakov.

Многие наукометрические платформы (Scopus, Web of Science) и образовательные организации (UCLA, Ivy League, НИУ ВШЭ, РАНХиГС) разработали и ввели кодексы этики и инструкции по использованию ИИ. Научные журналы вводят процедуру обязательной проверки текстов не только на плагиат, но и на наличие машинного текста; опубликован обзор таких практик (Park, 2023). Для этой цели используются специализированные сервисы проверки машинных текстов, такие как Turnitin, ZeroGPT, GigaCheck, Copyleaks AI Detector, Originality.ai. Однако эти меры не смогут остановить лавинообразный рост потока машинных текстов, так как появилось множество языковых моделей, созданных специально для обхода детекторов искусственно сгенерированных текстов. Этот процесс называется гуманизацией текста.

В академическом сообществе сегодня нет единого мнения о месте LLM в науке. Одни теоретики, например Ноам Хомски, предупреждают о фундаментальных ограничениях языковых моделей и невозможности их сравнения с человеческим разумом^[5]. Другие предлагают гибридные модели взаимодействия, в которых ИИ дополняет, но не заменяет исследователя^[6] (Marcus, 2025). Третьи, которых можно назвать «евангелистами» ИИ (Idris et al., 2024), выступают за глубокую интеграцию LLM в академическую среду, делая акцент на новых метриках качества, этических кодексах и совместных проектах человека и машины.

Заключение

Технологии ИИ произвели прорыв в области академического письма, прежде всего в подготовке обзоров литературы, генерации исследовательских идей и написании черновиков текстов. Этот прорыв, как показывает проведенный эксперимент, не означает автоматического замещения человека в исследовательском процессе, но существенно расширяет его возможности. Однако он требует пересмотра сложившихся процедур подготовки, рецензирования и защиты академических работ. Роль университетов и классическая система обучения также должны претерпеть кардинальные изменения. Упор в образовании и в научных исследованиях, вероятно, сместится в сторону практических занятий и экспериментальных форматов, подобных представленному в данной статье. Вместо простой трансляции знаний и оценки навыков компиляции чужих текстов, приоритетом станет способность формулировать исследовательские вопросы, критически оценивать результаты, полученные с помощью LLM, и выстраивать с ними продуктивный диалог.

Сторонники глубокой интеграции ИИ в науку полагают, что университеты могут стать центрами инноваций, где генерация и проверка гипотез происходят в тесном сотрудничестве с LLM. Прозрачное раскрытие факта использования ИИ должно стать обязательной частью методологии научного исследования. В перспективе вероятно появление открыто декларируемых гибридных научных текстов, требующих специального раздела о вкладе человека (human contribution statement). Возможен также переход к микропубликациям гипотез или к публикации наборов данных (вместо традиционных длинных статей).

Независимо от конкретных сценариев, ясно одно: академическое сообщество уже не сможет игнорировать присутствие LLM. Задача ближайших лет – выработать сбалансированные нормы, которые позволят использовать мощь генеративного ИИ, не разрушая при этом доверия к научному знанию и не обесценивая подлинно человеческого вклада – критического мышления, творческой интуиции и этической ответственности.

 

^{1 Кристенсен К.М. Дилемма инноватора: как из-за новых технологий погибают сильные компании / пер. с англ. Т. Овсенева. М. : Альпина паблишер, 2019. С. 31.}

^{2 См.: Баранников К.А., Добрякова М.С., Новикова Е.Г., Тен Н.Г. Искусственный интеллект и высшее образование: возможности, практики и будущее. URL: https://education.yandex.ru/aihighreport (дата обращения: 12.02.2026); Белая книга этики в сфере искусственного интеллекта / под ред. А.В. Незнамова. М. : Nova Creative Group, 2024. 200 с. URL: https://ethics.a-ai.ru/white-book/reader/ (дата обращения: 12.02.2026).}

^{3 Все тексты доступны по ссылке: https://drive.google.com/file/d/1xoBo6-DQ3V7TCL2ZTgAVPBfcBYZsCgeJ/view?usp=drivesdk} 

^{4 Поляков М.Л. Трансформация медиарынка под воздействием цифровых платформ в России : дис. ... канд. филол. наук [Место защиты: Рос. ун-т дружбы народов]. М. : РУДН, 2024. 237 с.}

^{5 Chomsky N. Noam Chomsky: The False Promise of ChatGPT // The New York Times. 2023. March 8. Available from: https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html (accessed: 12.02.2026).}

^{6 Marcus G. How o3 and Grok 4 accidentally vindicated neurosymbolic AI. 2025. July 13. Available from: https://garymarcus.substack.com/p/how-o3-and-grok-4-accidentally-vindicated (accessed: 12.02.2026).}

^{* Организация, деятельность которой признана нежелательной на территории Российской Федерации.}

Об авторах

Максим Львович Поляков

Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации; Московский государственный институт международных отношений (университет) Министерства иностранных дел Российской Федерации

Автор, ответственный за переписку.
Email: polyakov-ml@ranepa.ru
ORCID iD: 0000-0001-6110-7045
SPIN-код: 8775-1156

кандидат филологических наук, доцент кафедры интегрированных коммуникаций, автор-разработчик магистратуры «Цифровые коммуникации и новые медиа», Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации; профессор кафедры международной журналистики, Московский государственный институт международных отношений (университет) Министерства иностранных дел Российской Федерации

Российская Федерация, 119571, Москва, пр. Вернадского, д. 82; Российская Федерация, 119454, Москва, пр. Вернадского, д. 76

Список литературы

Дополнительные файлы