Dr.Sc. (Philology), Associate Professor, Leading Research Fellow and Head of the Centre for Emerging Practices, Institute of Scientific Information for Social Sciences of the Russian Academy of Sciences ; Professor at the Department of Applied and Experimental Linguistics, Moscow State Linguistic University
доктор филологических наук, доцент, руководитель и ведущий научный сотрудник Центра эмерджентных практик, Институт научной информации по общественным наукам Российской академии наук; профессор кафедры прикладной и экспериментальной лингвистики, Московский государственный лингвистический университет
Since 2023, there has been a steady increase in research papers containing text generated by neural networks based on large language models. The development of machine and deep learning methods applied to natural language processing tasks is bringing the results of text generation closer to those of human authors. At this stage of development, linguistics lacks practical tools to distinguish between human-written text and text generated by a neural network. The goal of this study is to develop an algorithm for manuscripts formal verification by editors of scientific journals / academic supervisors, relying on (primarily open access) tools available to the scientific editor / supervisor for detecting text generated by neural networks in Russian language. The study methodology is based on results of computational and mathematical linguistics researches to describe the “writing style” of various neural networks when generating scientific texts in Russian language. We analyzed research papers issued from 2021 to 2025, accessible through scientific information databases, authored by researchers primarily affiliated with Russian scientific and educational organizations, as well as Russian technology companies. The study revealed that the use of Gen-AI in academic writing significantly outpaces the reflection of its results and the prediction of its long-term implications. Furthermore, the plethora of publications describing the distinctive features of the output generated by various neural networks allows for the development of an approach to detecting such texts based on generation errors at various linguistic levels.
С 2023 г. наблюдается устойчивый рост научных публикаций, в которых присутствует текст, сгенерированный нейронными сетями на основе больших языковых моделей. Развитие методов машинного обучения и глубокого обучения применительно к задачам обработки естественного языка приближает результат генерации текста к текстам, написанным человеком. На данном этапе развития лингвистика не располагает разработанным инструментарием, позволяющим разграничить текст, написанный человеком, и текст, сгенерированный нейросетью. Цель проводимого исследования заключается в выработке алгоритма формальной проверки рукописи, поступившей в редакцию научного журнала / научному руководителю, с опорой на доступные научному редактору / научному руководителю инструменты (в основном открытого доступа) детекции сгенерированного нейросетями текста на русском языке. Методология исследования опирается на результаты изысканий в области компьютерной и математической лингвистики по описанию «стиля письма» различных нейросетей при генерации текстов научных жанров на русском языке. Материалом исследования послужили научные публикации за 2021-2025 гг., доступные через базы данных научной информации, авторами которых являются исследователи, аффилированные преимущественно с российскими научными и образовательными организациями, а также с российскими технологическими компаниями. В ходе исследования было выявлено, что практика применения Gen-AI при написании научных текстов намного опережает рефлексию ее результатов и прогнозирование последствий в долгосрочной перспективе. При этом калейдоскоп публикаций, описывающих отличительные черты результата генерации различными нейросетями, позволяет выработать подход к обнаружению подобных текстов, опираясь на ошибки в генерации на различных языковых уровнях.