Doctor of Philology, Professor of the Department of Theory and Practice of Teaching Foreign Languages, Head of ‘Multidisciplinary text research’ Research Lab
профессор, доктор филологических наук, профессор кафедры теории и практики преподавания иностранных языков, руководитель НИЛ «Мультидисциплинарные исследования текста»
Candidate of Philology, Associate Professor, Senior researcher of the research laboratory ‘Multidisciplinary text research’
кандидат филологических наук, доцент, старший научный сотрудник НИЛ «Мультидисциплинарные исследования текста»
The growing interest in Russian education, culture, and science results in the pressing demand for tools to select educational texts for Russian as a foreign language. The study is aimed at working out the algorithm and instruments for assessing the lexical complexity of text in Russian as a foreign language on CEFR with the help of LLM. The study is based on the material of a training sample, including standardized lexical minima in Russian as a foreign language and 232 texts ranked in difficulty by experts, and a test sample with 14 texts for listening in Russian as a foreign language. The methods of computational linguistics (Python script process_word_lists, LLM), expert assessment and metrics for statistical evaluation of the quality of classification models were used in the work. The study describes the successfully used large language models to assess the complexity of Russian-language texts on the RuLingva platform. The results of the study include the created linguistic profiles and the identified abilities of the large GLM 4.6 and Grok 4 fast language models to assess the complexity of educational texts in Russian as a foreign language (A1-C1). The proposed algorithm ranks texts by complexity with a high degree of accuracy, develops test tasks and selects texts for textbooks on Russian as a foreign language. The results obtained can be used by teachers in Russian as a foreign language, testologists, and linguists for preparing teaching materials, glossaries, and test assignments. The prospect of the work is to improve the developed algorithm by expanding the corpus and applying classification models for texts of different genres.
Растущий интерес к российскому образованию, культуре и науке в значительной степени определяет насущную потребность в разработке инструментария подбора учебных текстов по русскому языку как иностранному (РКИ). Цель исследования - разработать алгоритм и инструментарий оценки лексической сложности текста РКИ (по CEFR) с использованием больших языковых моделей (LLM). Исследование выполнено на материале обучающей выборки, включающей стандартизированные лексические минимумы РКИ и 232 текста, ранжированных экспертами по уровням сложности, и тестовой выборки, в которую вошли 14 текстов РКИ для аудирования. Применены методы компьютерной лингвистики (Python-скрипт process_word_lists, LLM), экспертная оценка и метрики статистической оценки качества классификационных моделей. Описан опыт успешного использования LLM для оценки сложности русскоязычных текстов на платформе RuLingva. В результате исследования созданы лингвистические профили и идентифицирована высокая способность LLM GLM 4.6 и Grok 4 fast осуществлять оценку сложности учебных текстов РКИ (А1-С1). Предложенный алгоритм позволяет с высокой степенью точности осуществлять ранжирование текстов по сложности при разработке тестовых заданий и подборе текстов для учебников РКИ. Полученные результаты могут использовать преподаватели РКИ, тестологи и лингвисты для подготовки учебно-методических материалов, глоссариев, тестовых заданий. Перспектива видится в совершенствовании разработанного алгоритма за счет расширения корпуса и применения классификационных моделей для текстов разных жанров.