PhD in Pedagogics, is Associate Professor at the School of Foreign Languages
кандидат педагогических наук, доцент Школы иностранных языков
With the rapid development of artificial intelligence (AI) tools, concerns emerge regarding students’ unethical uses of these tools to produce AI-generated research texts or their parts, and to present them as original writing. This issue is compounded by the lack of reliable tools for detecting machine-generated text. To address these concerns, the present study aimed to identify distinctive features of ChatGPT-generated research proposal literature reviews ( N = 45) and investigate the presence of these features in English-language literature reviews produced by undergraduate and graduate students from two Russian universities. During the first stage, an analysis of AI-generated texts and a small sample of graduate students’ ( N = 12) literature reviews was conducted. Findings revealed that many features typical of AI-generated texts were clearly present in student texts suggesting that these features may serve as indicators of machine-generated writing. One such feature was the unusually high recurrence of lexical items (predominantly with abstract meanings) in both AI-generated and student texts. Drawing on these insights, a frequency analysis was performed using AntConc to explore the occurrence of these items in AI-generated texts and compile a list of the most frequent items indicative of machine-generated writing (referred to in this study as “ChatGPT language”). At the second stage, findings on the initial indicators were validated, refined, and expanded based on an analysis of a larger sample of 47 English language literature reviews prepared by bachelor and master students. The study identified ten indicators of AI-generated writing pertaining to content, structure, and language use in literature reviews, which are detailed and illustrated in the paper. The study’s findings contribute valuable practical and research insights which may aid all those involved in teaching English language academic writing, reviewing students’ academic texts, and supervising research projects across diverse EAP contexts.
В эпоху стремительного развития технологий искусственного интеллекта (ИИ) остро встает проблема недобросовестного использования студентами средств ИИ для генерации англоязычных научных работ или их фрагментов с последующим представлением их как авторского продукта. Эта проблема усугубляется отсутствием надежного инструментария для установления признаков машинного происхождения таких текстов. В настоящем исследовании на основе результатов предварительного качественного и количественного анализа 45 сгенерированных ChatGPT-3.5 англоязычных обзоров литературы к научным проектам ( research proposals ) предпринята попытка выявить отличительные характеристики таких текстов и определить их присутствие в англоязычных обзорах литературы, подготовленных студентами бакалавриата и магистратуры двух российских вузов. На первом этапе исследования в рамках анализа искусственно сгенерированных текстов и небольшой выборки работ магистрантов ( N = 12) было установлено, что многие характеристики искусственно сгенерированных обзоров литературы в ярко выраженной форме проявились в студенческих текстах, что позволило рассматривать их в качестве признаков машинной генерации текста. Одним из таких признаков явилась аномально высокая повторяемость одних и тех же абстрактных слов и оборотов в искусственно сгенерированных и студенческих текстах. На этом этапе исследования с помощью корпусного менеджера AntConc был проведен количественный анализ частотности употребления таких оборотов в искусственно сгенерированных текстах и составлен список наиболее частотных слов и оборотов (обозначенных в работе как «обороты из языка ChatGPT»), указывающих на машинное происхождение текста. На втором этапе исследования первоначальные выводы о признаках машинной генерации текстов были подкреплены, уточнены и дополнены на основе качественного и количественного анализа объединенной выборки из 47 англоязычных обзоров литературы магистрантов и бакалавров. По результатам анализа работ было выявлено десять признаков машинной генерации текста, относящихся к структурно-содержательным и языковым аспектам подготовки англоязычных обзоров литературы, которые описываются и иллюстрируются в работе. Полученные результаты, выводы и рекомендации могут быть полезны широкому кругу читателей, в особой мере педагогам и ученым, принимающим участие в обучении написанию англоязычных научных работ, экспертизе и рецензировании таких работ, а также осуществляющим руководство научными проектами на английском языке.