Doctor Habil., Professor at the Department of Foreign Languages
доктор филологических наук, профессор кафедры иностранных языков Института лингвистики и межкультурной коммуникации
Rhetorical move analysis has gained popularity in research aimed at describing the rhetorical structure of academic genres, but traditional methods involving humans are sometimes subjective, time-intensive, and inconsistent. This study explores the viability of using ChatGPT for move analysis of grant proposal abstracts (GPAs). It aims to evaluate the accuracy and reliability of ChatGPT in identifying rhetorical moves in grant proposal abstracts compared to human annotation. To achieve this purpose, the research seeks answers to the questions how ChatGPT can be instructed to assist in identifying and annotating rhetorical moves in grant proposal abstracts, what types of rhetorical moves are more accurately identified by ChatGPT, and which types present challenges for it, and to what extent ChatGPT’s annotation differs from that of a human annotator. Using a corpus of Russian-language GPAs submitted to the Russian Scientific Fund, the study developed a prompt intended to guide ChatGPT in identifying rhetorical moves typical of this genre. The accuracy of AI identification was assessed in comparison with the annotation performed by a human. The results show that a carefully created prompt with detailed examples and clear definitions yields high levels of agreement with a human annotator. However, the study showed that while ChatGPT demonstrated good performance in identifying rhetorical moves, its annotations differed from the annotations performed by a human. The human annotator frequently outperformed ChatGPT, particularly in recall (the completeness of detecting all instances of a given move) for certain categories. Nevertheless, the study showed that ChatGPT can be a useful tool not just for applied linguistics researchers, but also for improving pedagogical approaches to grant writing teaching. The AI-based identification of rhetorical moves can be used to provide EAP students with examples of efficient rhetorical methods in successful grant applications, allowing them to get a better understanding of genre conventions and improve their grant writing skills.
Анализ риторических ходов является актуальным направлением исследований риторической структуры академических жанров, однако традиционные методы анализа с участием человека субъективны, трудоемки и не всегда дают точные результаты. В данном исследовании изучается возможность применения модели ChatGPT для анализа риторических ходов в аннотациях заявок на грант. Цель исследования - определить степень точности аннотирования риторических ходов, выполненного с помощью ChatGPT, в сопоставлении с экспертной разметкой. Для достижения поставленной цели осуществляется разработка инструкции (промпта) для наиболее точной идентификации риторических ходов; выявляются типы риторических ходов, которые вызывают наибольшие трудности у ChatGPT; сопоставляются результаты риторического анализа, полученные ChatGPT и экспертом в области академического письма. В исследовании использовался корпус аннотаций заявок на грант, поданных в Российский научный фонд. В процессе исследования был разработан промпт, предназначенный для помощи ChatGPT в процессе идентификации типичных для данного академического жанра риторических ходов. Точность аннотации, выполненной ИИ, оценивалась в сравнении с разметкой, сделанной экспертом. Выявлено, что промпт, содержащий примеры и определения ходов, позволяет достичь высокой степени соответствия между автоматической аннотацией и экспертной разметкой. Наряду с этим были обнаружены и некоторые несовпадения: экспертная аннотация показала более высокую точность по критерию полноты. Результаты исследования свидетельствуют о том, что ChatGPT можно использовать как в лингвистических исследованиях, так и при написании грантовых заявок: автоматизированная идентификация риторических ходов даёт возможность анализировать успешные риторические приёмы, углубляя понимание жанровых особенностей текста и повышая навыки академического письма.