Russian Language StudiesRussian Language StudiesРусистика2618-81632618-8171Peoples’ Friendship University of Russia named after Patrice Lumumba2749810.22363/2618-8163-2021-19-3-331-345Mediadidactics and electronic means of instructionМедиадидактика и электронные средства обученияResearch ArticleTextometr: an online tool for automated complexity level assessment of texts for Russian language learnersТекстометр: онлайн-инструмент определения уровня сложности текста по русскому языку как иностранномуLaposhinaAntonina N.ЛапошинаАнтонина Николаевна

leading expert, Laboratory of Cognitive and Linguistic Studies

ведущий эксперт лаборатории когнитивных и лингвистических исследований

ANLaposhina@pushkin.instituteLebedevaMaria Yu.ЛебедеваМария Юрьевна

Candidate of Philology, leading researcher of the Laboratory of Cognitive and Linguistic Research, Associate Professor of the Department of Methods of Teaching Russian as a Foreign Language

кандидат филологических наук, ведущий научный сотрудник лаборатории когнитивных и лингвистических исследований, доцент кафедры методики преподавания РКИ

MULebedeva@pushkin.institutePushkin State Russian Language InstituteГосударственный институт русского языка имени А.С. Пушкина28092021193VOL 19, NO3 (2021)ТОМ 19, №3 (2021)33134528092021Copyright ©; 2021, Laposhina A.N., Lebedeva M.Y.Copyright ©; 2021, Лапошина А.Н., Лебедева М.Ю.2021Laposhina A.N., Lebedeva M.Y.Лапошина А.Н., Лебедева М.Ю.http://creativecommons.org/licenses/by/4.0https://journals.rudn.ru/russian-language-studies/article/view/27498

Evaluation of text accessibility seems to be an extremely urgent and labor-consuming task in the process of preparing texts for teaching Russian as a foreign language. On the other hand, the procedure of assigning a text to one of the levels on the CEFR scale (from A1 to C2) is well-formalized and described in the professional literature, which opens opportunities for its automation. This paper presents Textometr - a new free web-based tool for estimating CEFR level and other key statistics from any given text in Russian that can be relevant for adapting it for foreign students. The automated assessment of the text level here is based on a regression model, trained on the dataset of more than 800 texts from Russian textbooks for foreigners, applying several machine learning and natural language processing methods. In addition to the CEFR level, the tool provides information relevant for adapting the text to educational tasks: lists of keywords and words for a potential vocabulary list, statistics on the text coverage by frequency lists and CEFR-graded vocabulary lists (lexical minima), a frequency list of the text, a forecast of the time needed for reading. The tool shortages at the current stage of development and suggested ways to solve them are also discussed. Finally, the results of the test on the tool quality and the vectors for its further development are reported. Textometr can provide helpful information not only to teachers and guidance teachers, but to authors of textbooks and publishers to check the compliance of the text content with the declared level and educational goals.

Оценка текста с точки зрения его языковой доступности представляется крайне актуальной и трудозатратной задачей в процессе его подготовки к занятию по русскому языку как иностранному. С другой стороны, процесс отнесения текста к одному из уровней по шкале CEFR (от А1 до С2) является достаточно формализованным и описанным в методической литературе, что открывает возможности по его автоматизации. Цель исследования - описать возможности и методику использования нового онлайн-инструмента «Текcтометр» для автоматического анализа уровня сложности текста по шкале CEFR и его подготовки к уроку русского языка в иностранной аудитории. Материалом для построения математической модели по определению уровня текста послужили более чем 800 текстов из современных учебников по русскому языку как иностранному. В процессе разработки концепции и создания сервиса применялись методы теоретического анализа научно-методической литературы и регламентирующих документов в области русского языка как иностранного, анкетирования и тестирования учащихся и преподавателей, машинного обучения и автоматической обработки текстов на естественном языке. В результате установлены и описаны основные возможности сервиса: определение уровня текста по шкале CEFR, предоставление информации, полезной для адаптации текста к учебным задачам, такой как списки ключевых слов и слов - оптимальных кандидатов в словарь к данному тексту, статистика по покрытию текста лексическими минимумами ТРКИ и списками частотных слов русского языка, меры лексического разнообразия текста, прогноз времени, необходимого для разных видов чтения текста. Выявлены недостатки работы сервиса на данном этапе разработки и предложены пути их решения. Приведены результаты экспериментальной проверки качества работы инструмента и намечены векторы дальнейшего развития сервиса. Сервис может быть полезен преподавателям, методистам, а также авторам пособий и представителям издательств для проверки соответствия текстового материала заявленному уровню и учебным целям.

Russian as a foreign languageeducational texttext complexityreadingtext adaptingcomputational linguodidacticscomputer assisted language learningRussian language learningweb toolsрусский язык как иностранныйучебный текстсложность текстаобучение чтениюадаптация текстовкомпьютерная лингводидактикакомпьютерные технологиипреподавание русского языкаинтернет-ресурсыобучение русскому языкуAlexander, P.A., & Jetton, T.L. (1996). The role of importance and interest in the processing of text. Educational Psychology Review, 8(1), 89–121.Арутюнов А.Р. Теория и практика создания учебника русского языка для иностранцев. М. : Русский язык, 1990. 167 с.Arutyunov, A.R. (1990). Theory and practice of creating a textbook of the Russian language for foreigners. Moscow: Russkii Yazyk Publ. (In Russ.)Бим И.Л. Методика обучения иностранным языкам как наука и проблемы школьного учебника. М. : Русский язык, 1977. 288 с.Bim, I.L. (1977). Methods of teaching foreign languages as a science and problems of a school textbook. Moscow: Russkii Yazyk Publ. (In Russ.)Вятютнев М.Н. Теория учебника русского языка как иностранного (методические основы). М. : Русский язык, 1984. 144 с.Chen, X., & Meurers, D. (2016). Characterizing text difficulty with word frequencies. Proceedings of the 11th Workshop on Innovative Use of NLP for Building Educational Applications (June 16, 2016), 11, 84–94. San Diego, CA, USA.Зализняк А.А. Русское именное словоизменение. М. : Наука, 1967. 373 с.DuBay, W. (2004). The principles of readability. Costa Mesa, CA: Impact Information.Лапошина А.Н. Корпус текстов учебников РКИ как инструмент анализа учебных материалов // Русский язык за рубежом. 2020. № 6 (283). С. 22-28.Graesser, A.C., McNamara, D.S., Cai, Z., Conley, M., Li, H., & Pennebaker, J. (2014). Coh-Metrix measures text characteristics at multiple levels of language and discourse. The Elementary School Journal, 15(2), 210–229.Лапошина А.Н. Опыт экспериментального исследования сложности текстов по РКИ // Динамика языковых и культурных процессов в современной России : материалы VI Конгресса РОПРЯЛ (Уфа, 11-14 октября 2018 г.) : сборник статей. 2018. Вып. 6. С. 1544-1549Karpov, N., Baranova, J., & Vitugin, F. (2014). Single-sentence readability prediction in Russian. Proceedings of Analysis of Images, Social Networks, and Texts conference (AIST), (3), 91–100.Лапошина А.Н., Лебедева М.Ю. Корпусный подход к решению проблемы отбора лексики в обучении РКИ // Slavica Helsingiensia. 2019. № 52. С. 359-368.Keskisärkkä, R., & Jönsson, A. (2013). Investigations of synonym replacement for Swedish. Northern European Journal of Language Technology, (3), 41–59.Микк Я.А. Оптимизация сложности учебного текста : в помощь авторам и редакторам. М. : Просвещение, 1981. 119 с.Laposhina, A.N. (2018). Insights from an experimental study on the text complexity for Russian as a foreign language. The Dynamics of Linguistic and Cultural Processes in Modern Russia: Proceedings of the VI Congress of ROPRYAL, (6), 1544–1549. (In Russ.)Миллер Л.В., Политова Л.В. Рыбакова И.Я. Жили-были... 28 уроков русского языка для начинающих : учебник. СПб. : Златоуст, 2016. 112 с.Laposhina, A.N. (2020). A corpus of Russian textbook materials for foreign students as an instrument of an educational content analysis. Russian Language Abroad, (6(283)), 22–28. (In Russ.)Система лексических минимумов современного русского языка : 10 лексических списков : от 500 до 5000 самых важных русских слов / под ред. В.В. Морковкина. М. : Астрель, 2003. 768 с.Laposhina, A.N., & Lebedeva, M.U. (2019). Corpus approach to vocabulary selection for learning Russian as a foreign language. Slavica Helsingiensia, (52), 359–368. (In Russ.)Томина Ю.А . Объективная оценка языковой трудности текстов (описание, повествование, рассуждение, доказательство) : дис. ... канд. пед. наук. М., 1985. 225 с.Laposhina, А.N., Veselovskaya, Т.S., Lebedeva, M.U., & Kupreshchenko, O.F. (2018). Automated text readability assessment for Russian second language learners. Dialogue 2018: Proceedings of the International Conference, 17(24), 396–406.Alexander P.A., Jetton T.L. The role of importance and interest in the processing of text // Educational Psychology Review. 1996. No 8 (1). Pp. 89-121.Mikk, Ya.A. (1981). Optimizing the complexity of educational text: A help for authors and editors. Moscow: Prosveshchenie Publ. (In Russ.)Chen X., Meurers D. Characterizing text difficulty with word frequencies // Proceedings of the 11th Workshop on Innovative Use of NLP for Building Educational Applications. 2016. Vol. 11. Pp. 84-94.Miller, L.V., Politova, L.V., & Rybakova, I.A. (2016). Once upon a time... 28 Russian lessons for beginners: Textbook. Saint Petersburg: Zlatoust Publ. (In Russ.)DuBay W. The principles of readability. Costa Mesa, CA : Impact Information, 2004. 76 p.Morkovkin, V.V. (Ed.). (2003). The system of lexical minima of the modern Russian language: 10 lexical lists: From 500 to 5000 of the most important Russian words. Moscow: Astrel Publ. (In Russ.)Graesser A.C., McNamara D.S., Cai Z., Conley M., Li H., Pennebaker J. Coh-Metrix measures text characteristics at multiple levels of language and discourse // The Elementary School Journal. 2014. No. 15 (2). Pp. 210-229Nation, P. (2006). How Large a vocabulary is needed for reading and listening? Canadian Modern Language Review, (63), 59–81.Karpov N., Baranova J., Vitugin F. Single-sentence readability prediction in Russian // Proceedings of Analysis of Images, Social Networks, and Texts Conference (AIST). 2014. Vol. 3. Pp. 91-100Qian, D.D. (2002). Investigating the relationship between vocabulary knowledge and academic reading performance: An assessment perspective. Language Learning, 52(3), 513–536.Keskisärkkä R., Jönsson A. Investigations of synonym replacement for Swedish // Northern European Journal of Language Technology. 2013. No 3. Pp. 41-59Reynolds, R. (2016). Insights from Russian second language readability classification: complexity-dependent training requirements, and feature evaluation of multiple categories. Proceedings of the 11th Workshop on the Innovative Use of NLP for Building Educational Applications, 11, 289–300.Laposhina А.N., Veselovskaya Т.S., Lebedeva M.U., Kupreshchenko O.F. Automated text readability assessment for Russian second language learners // Dialogue 2018 : Proceedings of the International Conference. 2018. Vol. 17. Issue 24. Pp. 396-406Sharoff, S., Kurella, S., & Hartley, A. (2008). Seeking needles in the web’s haystack: Finding texts suitable for language learners. Proceedings of the 8th Teaching and Language Corpora Conference (TaLC-8) (pp. 365–370). Lisbon.Nation P. How large a vocabulary is needed for reading and listening? // Canadian Modern Language Review. 2006. No 63. Pp. 59-81Sharoff, S., Umanskaya, E., & Wilson, J. (2013). A frequency dictionary of Russian: Core vocabulary for learners. New York: Routledge.Qian D.D. Investigating the relationship between vocabulary knowledge and academic reading performance: an assessment perspective // Language Learning. 2002. No 52 (3). Pp. 513-536To, V., & Le, T. (2013). Lexical density and readability: A case study of English textbooks. Proceedings of the Australian Systemic Functional Linguistics Association Conference (October 1–3, 2013) (pp. 61–71). Melbourne.Reynolds R. Insights from Russian second language readability classification : complexity-dependent training requirements, and feature evaluation of multiple categories // Proceedings of the 11th Workshop on the Innovative Use of NLP for Building Educational Applications. 2016. Vol. 11. Pp. 289-300Tomina, Yu.A. (1985). Objective assessment of the language difficulty of texts (description, narration, reasoning, argumentation) (Candidate dissertation, Moscow). (In Russ.)Sharoff S., Kurella S., Hartley A. Seeking needles in the web’s haystack : finding texts suitable for language learners // Proceedings of the 8th Teaching and Language Corpora Conference (TaLC-8). Lisbon, 2008. Pp. 365-370Vyatyutnev, M.N. (1984). Textbook theory of Russian as a foreign language (methodological foundations). Moscow: Russkii Yazyk Publ. (In Russ.)Sharoff S., Umanskaya E., Wilson J. A frequency dictionary of Russian: core vocabulary for learners. New York: Routledge, 2013. 400 pZaliznak, A.A. (1967). Russian nominal infleсtion. Moscow: Nauka Publ. (In Russ.)To V., Le T. Lexical density and readability : a case study of English textbooks // Proceedings of the Australian Systemic Functional Linguistics Association Conference. Melbourne, 2013. Pp. 61-71