PhD in Philology, Associate Professor, Author and Developer Master Program Digital Communications and New Media, The Russian Presidential Academy of National Economy and Public Administration; Professor of International Journalism Department, MGIMO University
кандидат филологических наук, доцент кафедры интегрированных коммуникаций, автор-разработчик магистратуры «Цифровые коммуникации и новые медиа», Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации; профессор кафедры международной журналистики, Московский государственный институт международных отношений (университет) Министерства иностранных дел Российской Федерации
This article presents an experiment comparing the quality of scientific review articles written by humans and by three large language models (LLM) - ChatGPT-4o, Gemini Flash 2.0, T-Lite - technologies commonly referred to as artificial intelligence (AI). As AI is rapidly integrated into academia, the issue of distinguishing between machine-generated and human-written texts is becoming critical. The author generated three review articles on the topic “Development of deep learning methods” (20,000 characters each) and compared them with a fragment of his own PhD thesis of the same length, as well as with a “mock” text imitating a scientific review. Four AI domain experts and three LLMs served as evaluators. The results showed that the text generated by Gemini Flash 2.0 ranked first in total scores for both groups of evaluators, while the human-written text ranked third. Experts assigned a 78% probability to the hypothesis that the human text was machine-generated, indicating that they could not reliably identify it as human-authored. The hypothesis that the human text would outperform the LLM texts and be unambiguously identifiable was not supported. The article concludes that modern AI systems can produce scientific reviews comparable in quality to those written by humans and that are difficult to distinguish from them, necessitating a revision of academic writing and peer review practices.
Представлено экспериментальное сравнение качества научных обзорных текстов, созданных человеком и тремя большими языковыми моделями (ChatGPT-4o, Gemini Flash 2.0, T-Lite) - технологиями, которые сегодня чаще всего обозначаются как искусственный интеллект (ИИ). В условиях стремительного внедрения ИИ в академическую среду проблема различения или неразличимости машинных и человеческих текстов становится критически важной. В исследовании были сгенерированы три обзора по теме «Развитие методов глубинного обучения» (20 тыс. знаков каждый) и сравнены с фрагментом диссертации автора того же объема, а также с текстом, стилизованным под научный обзор. Оценка проводилась четырьмя экспертами - специалистами в области ИИ - и тремя языковыми моделями. Результаты показали, что текст, сгенерированный Gemini Flash 2.0, занял первое место по сумме баллов у обеих групп оценщиков, текст, написанный человеком, - третье. Эксперты оценили вероятность машинного происхождения человеческого текста в 78 %, то есть не смогли уверенно идентифицировать его. Гипотеза о превосходстве человеческого текста и возможности его однозначного распознавания не подтвердилась. Сделан вывод о том, что современные системы ИИ способны создавать научные обзоры, сопоставимые по качеству с человеческими текстами и трудно отличимые от них. Данное обстоятельство обусловливает необходимость пересмотра подходов к академическому письму и рецензированию.