Russian Language StudiesRussian Language StudiesРусистика2618-81632618-8171Peoples’ Friendship University of Russia named after Patrice Lumumba2685310.22363/2618-8163-2021-19-2-207-221Modern LinguodidacticsСовременная лингводидактикаResearch ArticleModern principles of developing the subtest “Reading and Use of Language” of the TORFL-IIРеализация современных принципов в разработке субтеста «Чтение и использование языка» ТРКИ-IIErofeevaInna N.ЕрофееваИнна Николаевна

Сandidate of Pedagogy, Associate Professor of the Department of Russian as a Foreign Language and Methodology of its Teaching

кандидат педагогических наук, доцент, доцент кафедры русского языка как иностранного и методики его преподавания

i.erofeeva@spbu.ruPopovaTatiana I.ПоповаТатьяна Игоревна

Doctor of Philology, Professor, Professor, Head of the Department of Russian as a Foreign Language and Methodology of its Teaching

доктор филологических наук, профессор, профессор, заведующая кафедрой русского языка как иностранного и методики его преподавания

t.popova@spbu.ruSaint Petersburg State UniversityСанкт-Петербургский государственный университет27062021192VOL 19, NO2 (2021)ТОМ 19, №2 (2021)20722127062021Copyright ©; 2021, Erofeeva I.N., Popova T.I.Copyright ©; 2021, Ерофеева И.Н., Попова Т.И.2021Erofeeva I.N., Popova T.I.Ерофеева И.Н., Попова Т.И.http://creativecommons.org/licenses/by/4.0https://journals.rudn.ru/russian-language-studies/article/view/26853

The article is devoted to the topical problem of modern principles of developing tests of Russian as a foreign language (RFL), taking into account the world experience. The purpose of the article is to summarize the modern principles of language test development and to show how they are implemented in the new tests of Russian as a foreign language. The materials of the article include the research papers of Russian and foreign authors in the sphere of methodology over the past 20 years, as well as modern formats of testing in foreign languages. At the first stage of the study, general scientific methods of generalization, systematization and structuring were used. At the second phase, a new format of the RFL test “Reading and Use of Language” (B2) was modelled, combining language and communication competence testing. At the third stage, an experiment was conducted to test the new format. 48 foreign master students studying the program “Russian Language and Russian Culture in the Aspect of Russian as a Foreign Language” in Saint Petersburg State University took part in the experiment. It was concluded that the modern language test, in accordance with the basic cognitive and communicative principle of learning and control, should be based on the following principles: testing skills in different types of speech activities mainly on the text material; interdependence between the type of the task and the speech genre of the text being created/used in the task; basing on a linguistic and didactic description of the communicative competence level; integrative approach; using different types of test tasks within one subtest; the principle of increasing complexity of tasks; taking into account the complexity of each task in its assessment; task feasibility according to students’ educational level; taking into account the values of the multicultural world; taking into account international experience; basing on reliability and validity criteria of test tasks. These principles implemented in the new TORFL-II subtest format “Reading and Use of Language” are presented in the article. The implementation of modern test principles should ensure that all speech control facilities are systematically allocated to the appropriate level and parameters for their assessment. The above-mentioned principles of test creation and the example of their implementation can be taken as the basis of a full-fledged system of control and measurement materials based on linguistic and didactical descriptions of each level.

Рассматриваются современные принципы разработки тестов по русскому языку как иностранному (РКИ) с учетом мирового опыта. Цель исследования - обобщить современные принципы разработки языковых тестов и показать, как они реализуются в новых тестах по РКИ. Материалом исследования послужили методические работы российских и зарубежных авторов за последние 20 лет, а также современные форматы тестирования по иностранным языкам. На первом этапе исследования для выделения и систематизации принципов создания языковых тестов применялись общенаучные методы обобщения, систематизации, структурирования. На втором этапе методом моделирования был разработан новый формат теста по РКИ «Чтение и использование языка» (ТРКИ-II), объединяющий проверку языковой и коммуникативной компетенции. На третьем этапе для проверки надежности и валидности нового формата теста был проведен эксперимент с участием 48 иностранных испытуемых, обучающихся в магистратуре по направлению «Русский язык и русская культура в аспекте русского языка как иностранного» СПбГУ. Был сделан вывод о том, что современный тест по русскому языку как иностранному в соответствии с базовым когнитивно-коммуникативным подходом к обучению и контролю должен базироваться на таких принципах, как проверка навыков и умений в различных видах речевой деятельности преимущественно на материале текста; взаимозависимость типа задания и речевого жанра создаваемого/ используемого в задании текста; опора на лингводидактическое описание уровня коммуникативной компетенции; интегративность; использование различных типов тестовых заданий внутри одного субтеста; принцип возрастающей сложности заданий; учет степени сложности каждого задания при его балльной квалификации; посильность, соответствие уровню; учет ценностей поликультурного мира; учет международного опыта; соответствие характеристик тестовых заданий критериям надежности и валидности. Приводится пример реализации этих принципов в новом формате субтеста ТРКИ-II «Чтение и использование языка». Применение современных принципов создания теста должно обеспечить системное выделение во всех видах речевой деятельности объектов контроля соответствующего уровня и параметров их оценки. Выделенные принципы создания теста и пример их реализации могут быть положены в основу полноценной системы контрольно-измерительных материалов, базирующихся на лингводидактических описаниях каждого уровня.

Russian as a foreign languageTORFL-IInew test formattest development principlesintegrative testing of communicative competenciestest tasks of different typesрусский язык как иностранныйТРКИ-IIновый формат тестапринципы разработки тестовинтегративная проверка коммуникативной компетенциитестовые задания различных типовThe project “Linguodidactic Description of Competences in Russian as a Foreign Language (Level B2/TORFL-II)” was financially supported by Russkiy Mir Foundation (contract 16511Гр/II -244-17 of April, 1, 2017).Затраты на реализацию проекта «Лингводидактическое описание компетенций в сфере русского языка как иностранного (уровень В2/ТРКИ-II)» частично покрыты за счет гранта, предоставленного фондом «Русский мир», договор от 01.04.2017 г. № 16511Гр/II -244-17.Alderson, J., & Charles, B.J. (2002). Language testing and assessment (Part I). Language Teaching, 34, 213–236.Аванесов В.С. Композиция тестовых заданий. 2-е изд. М.: Адепт, 1998. 217 с.ALTE. (1994). The ALTE Code of Practice. Retrieved August 7, 2020, from https://www.alte.org/resources/Documents/code_practice_en.pdfАванесов В.С. Теория и практика педагогических измерений (материалы публикаций в открытых источниках и Интернет). ЦТ и МКО УГТУ-УПИ, 2005. 98 с. URL: http://www.charko.narod.ru/tekst/biblio/Avanesov_Teoriya_i_metod_ped_izmer.pdf (дата обращения: 07.08.2020).ALTE. (2020). ALTE Principles of Good Practice. Retrieved August 8, 2020, from https://www.alte.org/resources/Documents/ALTE (Final).pdfАверьянова Г.Н., Беликова Л.Г., Ерофеева И.Н., Иванова Т.А., Нестерова Т.Е. и др. Типовые тесты по русскому языку как иностранному. Второй сертификационный уровень. Общее владение. М., СПб.: Златоуст, 1999. 112 c.Anikina, M.E., Yermoshkina, T.A., Iskakov, D.Z., Kobzev, M.V., Pushkareva, D.A., & Shepilova, G.G. (2016). Perception of long texts by the generation of “digital islanders”. Mediaskop, (1). Retrieved December 4, 2020, from http://mediascope.ru/?q=node/2089Аникина М.Е., Ермошкина Т.А., Искаков Д.З., Кобзев М.В., Пушкарева Д.А., Щепилова Г.Г. Восприятие длинных текстов поколением «цифровых островитян» // Медиаскоп. 2016. Вып. 1. URL: http://mediascope.ru/?q=node/2089 (дата обращения: 07.08.2020).Avanesov, V.S. (1998). Composition of test tasks. 2nd ed. Moscow: Adept Publ. (In Russ.)Виноградова Е.Н., Клобукова Л.П. Актуальные лингвометодические проблемы совершенствования нормативно-методических документов тестирования по русскому языку как иностранному // Русский язык за рубежом. 2019. № 2 . С. 72-79.Avanesov, V.S. (2005). Theory and practice of pedagogical measurements. Public publications and the Internet. Center for Education Testing and Monitoring of Ural Federal University. Retrieved August 8, 2020, from http://www.charko.narod.ru/tekst/biblio/Avanesov_Teoriya_i_metod_ped_izmer.pdfИванова Т.А., Попова Т.И., Рогова К.А., Юрков Е.Е. Государственный образовательный стандарт по русскому языку как иностранному. Второй уровень. Общее владение. СПб.: Златоуст, 1999. 40 с.Averyanova, G.N., Belikova, L.G., Erofeeva, I.N., Ivanova, T.A., Nesterova, T.E., & Yurkov, E.E. (1999). Typical tests in Russian as a foreign language. The second certification level. Saint Petersburg: Zlatoust Publ. (In Russ.)Матиенко А.В. Методическая концепция когнитивно-коммуникативного контроля в системе обучения иностранному языку студентов лингвистического вуза: автореф. дис. … д-ра пед. наук. Нижний Новгород, 2011. 41 с.Bachman, L.E., & Palmer, A.S. (1996). Language testing in practice: Designing and developing useful language tests. Oxford: Oxford University Publ.Общеевропейские компетенции владения иностранным языком: изучение, обучение, оценка / Департамент по языковой политике. Страсбург, 2005. 256 с.Cambridge English: Exams: Cambridge English First (FCE): Exam format: Reading and use of English. Retrieved August 8, 2020, from http://www.cambridgeenglish.org/exams/first/exam-format/Павловская И.Ю., Башмакова Н.И. Основы методологии обучения иностранным языкам. Тестология: учебник. Изд. 2-е, испр. и доп. СПб.: Филологический факультет СПбГУ, 2007. 225 с.Chelyshkova, M.B. (2002). Theory and practice of designing pedagogical tests: Teaching manual. Moscow: Logos Publ. (In Russ.)Рогова К.А. Требования к уровню сформированности коммуникативной компетенции в чтении. Второй сертификационный уровень // Методические совещания-семинары по изучению и преподаванию русского языка как иностранного: сборник научно-методических материалов / под ред. Е.Е. Юркова и др. СПб.: МИРС, 2009. С. 95-98.Cohen, A.D. (2007). The coming age for research on test-taking strategies. Retrieved December 3, 2020, from https://www.researchgate.net/publication/272121823_The_Coming_of_Age_of_Research_on_Test-Taking_StrategiesСитнов Ю.А. Коммуникативно-когнитивный подход к развитию грамматической компетенции студентов-лингвистов: дис. … д-ра пед. наук. Пятигорск, 2005. 36 с.English B2 level. Retrieved August 8, 2020, from http://www.efset.org./ru/englishУровень английского В2. URL: http://www.efset.org./ru/englis (дата обращения: 07.08.2020).Hughes, A. (2003). Testing for language teachers. 2nd ed. Cambridge: Cambridge University.Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. М.: Логос, 2002. 432 c.ILTA Guidelines for Practice in English. Retrieved October 10, 2020, from https://cdn.ymaws.com/www.iltaonline.com/resource/resmgr/docs/guidelines_for_practice/2020_revised/ilta_guidelines_for_practice.pdfШамов А.Н. Когнитивный подход к обучению лексике: моделирование и реализация: монография. Нижний Новгород: НГЛУ имени Н.А. Добролюбова, 2006. 479 с.Ivanova, T.A., Popova, T.I., Rogova, K.A., & Yurkov, E.E. (1999). State educational standard for Russian as a foreign language. Level two. Saint Petersburg: Zlatoust Publ. (In Russ.)Шепилова А. В. Когнитивно-коммуникативный подход к обучению французскому языку как второму иностранному. М.: Просвещение, 2003. 488 с.Manual for Language Test Development and Examining Council of Europe. (2011, April). Retrieved October 21, 2020, from file:///D:/Documents/ManualLanguageTest-Alte2011_EN.pdfAlderson J.C., Banerjee J. Language testing and assessment (Part I) // Language Teaching. 2002. Vol. 34. Pp. 213-236.Matienko, A.V. (2011). Methodical concept of cognitive and communication control in the system of teaching a foreign language to students of a linguistic university (Author’s abstract of Doctoral dissertation). Nizhny Novgorod. (In Russ.)ALTE Principles of Good Practice. ALTE, 2020. URL: https://www.alte.org/resources/Documents/ALTE (Final).pdf (accessed: 07.08.2020).McNamara, T. (2010). The use of language tests in the service of policy: Issues of validity. Revue française de linguistique appliquée, XV, 7–23.Bachman L.E., Palmer A.S. Language testing in practice: designing and developing useful language tests. Oxford: Oxford University Press, 1996.Modern Languages Division. (2005). Common European framework of reference for foreign language: Learning, teaching, assessment: A monograph. Strasburg. (In Russ.)Cambridge English: Exams: Cambridge English First (FCE): Exam format: Reading and use of English. URL: http://www.cambridgeenglish.org/exams/first/exam-format/ (accessed: 07.08.2020).Pavlovskaya, I.Yu., & Bashmakova, N.I. (2007). The basics of the methodology of learning foreign languages. Testology: Textbook. 2nd ed. Saint Petersburg: Faculty of Philology of the Saint Petersburg State University Publ. (In Russ.)Cohen A.D. The coming age for research on test-taking strategies. URL: https://www.researchgate.net/publication/272121823_The_Coming_of_Age_of_Research_on_Test-Taking_Strategies (accessed: 03.12.2020).Phakiti, A. (2003). A closer look at the relationship of cognitive and metacognitive strategy use to EFL reading achievement test performance. Language Testing, 20(1), 26–56.Hughes A. Testing for language teachers. 2nd ed. Cambridge: Cambridge University, 2003.Rogova, K.A. (2009). Requirements for the level of formation of communicative competence in reading. Second certification level. Methodical Workshops on the Study and Teaching of Russian as a Foreign Language: Collection of Scientific and Methodological Research Papers. Saint Petersburg: MIRS Publ. (In Russ.)ILTA Guidelines for Practice in English. URL: https://cdn.ymaws.com/www.iltaonline.com/resource/resmgr/docs/guidelines_for_practice/2020_revised/ilta_guidelines_for_practice.pdf (accessed: 07.10.2020).Shamov, A.N. (2006). Cognitive and communicative approach to learning French as a second foreign language. Nizhniy Novgorod: The Linguistics University of Nizhny Novgorod Publ. (In Russ.)Manual for Language Test Development and Examining Council of Europe. 2011, April. URL: file:///D:/Documents/ManualLanguageTest-Alte2011_EN.pdf (accessed: 23.08.2020).Shepilova, A.V. (2003). Cognitive and communicative approach to learning French as a second foreign language. Moscow: Prosveshcheniye Publ. (In Russ.)McNamara T. The use of language tests in the service of policy: issues of validity // Revue française de linguistique appliquée. 2010. Vol. XV. Pp. 7-23.Sitnov, Yu.A. (2005). Methodical concept of cognitive and communication control in the system of teaching a foreign language to students of a linguistic university (Author’s abstr. of Doctoral dissertation). Pyatigorsk. (In Russ.)Phakiti A. A closer look at the relationship of cognitive and metacognitive strategy use to EFL reading achievement test performance // Language Testing. 2003. Vol. 20. Issue 1. Pp. 26-56.Sukyadi, D. (2020). Testing Principles. Retrieved October 10, 2020, from https://www.academia.edu/3095492/Principles_of_language_testingSukyadi D. Testing Principles. 2020. URL: https://www.academia.edu/3095492/Principles_of_language_testing (accessed: 07.10.2020).The Bologna process. Retrieved December 6, 2020, from https://www.unl.pt/data/qualidade/bolonha/guide-to-the-bologna-process.pdfThe ALTE Code of Practice. 1994. URL: https://www.alte.org/resources/Documents/code_practice_en.pdf (accessed: 07.08.2020).Vinogradova, E.N., & Klobukova, L.P. (2019). Current linguistic problems of improving the regulatory and methodical documents of testing in Russian as a foreign language. Russian Abroad, (2), 72–79. (In Russ.)The Bologna process. URL: https://www.unl.pt/data/qualidade/bolonha/guide-to-the-bologna-process.pdf (accessed: 06.12.2020).Weir, C., & Bax, S. (2012). Investigating learners’ cognitive processes during a computer-based CAE reading test. Cambridge ESOL: Research notes, (47), 3–14.Weir C., Bax. S. Investigating learners’ cognitive processes during a computer-based CAE reading test // Cambridge ESOL: Research Notes. 2012. Issue 47. Pp. 3-14.Weir, C., Hawkey, R., Green, T., & Devi, S. (2009). The cognitive processes underlying the academic reading construct as measured by IELTS. British Council. IDP Australia IELTS Research Reports, 9(4), 157–189.Weir C., Hawkey R., Green T., Devi S. The cognitive processes underlying the academic reading construct as measured by IELTS. British Council // IDP Australia IELTS Research Reports. 2009. Vol. 9. No. 4. Pp. 157-189.Wittrock, M.C., & Baker, E.L. (1991). Testing and cognition. Englewood Cliffs, N.J.: Prentice Hall.Wittrock M.C., Baker E.L. Testing and cognition. Englewood Cliffs, N.J.: Prentice Hall, 1991.