COMPLEX TECHNOLOGY OF COMPUTER TESTING IN RUSSIAN AS A FOREIGN LANGUAGE

Cover Page

Abstract


Problem and goal. At present, with the massive spread of computer technology and the growth of interest in the Russian language, by the citizens of foreign countries, is not developed and implemented in the Head and local testing centers in Russian as a foreign language (RCT) system of computer testing, not widely used modern methods and programs of statistical analysis of the results of computer testing and quality assessment of rehearsal and examination tests. Methodology. Two options developed by the authors of complex technologies «Tester» (the program “the Banker”, “Tester”, “Token”, “Statinfo”) and “Trester” (program “Protocol”, “Tsclient”, “Trester”, “Tranform”, “Thorny”) for computer-based testing by RCTS. Both variants have been tested in centralized testing and in Russian universities, are complex and versatile, providing the entire cycle of work - from the preparation of computer tests, computer testing, data collection, performance of operational statistical analysis of test results and statistical analysis of the quality of test items. Results. In technology «Trester» the possibility to completely switch to computer testing or part of a subtest to spend on computers and some on the forms. Rehearsal and examination testing for RCT can be carried out on computers for all sub-tests (vocabulary and grammar, reading, listening, writing, speaking). Automated expert work to check and evaluate on the computer the results of unformalized subtests (writing and speaking). In the article, as examples, show the fragments of images on the display screen when working with complex programs “Trester”. Conclusion. The urgency of creating a complex system of computer testing for RCT is substantiated. Two options of the initiative they have developed complex technologies “Tester” and “Trester” for computer testing in RCTS.


Постановка проблемы. Российская государственная система тестирования по РКИ обеспечивает оценку (сертификацию) общего владения РКИ. Установлены шесть сертификационных уровней владения русским языком как иностранным языком, определяющие степени сформированности коммуникативной компетенции по РКИ [11]. Каждый тест системы ТРКИ состоят из пяти субтестов (письмо, лексика и грамматика, чтение, аудирование, говорение). Успешное прохождение теста завершается выдачей тестируемому сертификата международного образца. Выдаваемые сертификаты признаны ALTE (Европейской ассоциацией по лингвистическому тестированию). Пять вузов (Государственный институт русского языка им. А.С. Пушкина, МГУ им. М.В. Ломоносова, РУДН, СПбГУ, Тюменский государственный университет) получили право проводить государственное тестирование по РКИ [12]. Эти вузы открыли головные центры тестирования и создали сеть локальных центров тестирования по РКИ (например, в МГУ [4] и в СПбГУ [16]). Исследования различных вопросов функционирования системы ТРКИ нашли отражение во многих публикациях и диссертационных исследованиях. Это были вопросы подготовки иностранных граждан по русскому языку и к тестированию по РКИ [2; 5], подходы к построению универсальной модели виртуальной языковой среды дистанционного обучения по РКИ [3], адаптации тестов к национальным и личностным особенностям тестируемых рассматривались в работе [14]. На сайте Государственного института русского языка им. А.С. Пушкина представлены образцы тестов по разным сертификационным уровням и дана возможность пройти репетиционные онлайн тесты [15]. Перспективные виртуальные технологии частично описаны в виде «трехмерной активно-коммуникативной образовательной среды», представляющей собой виртуальное пространство и позволяющей симулировать обучающие мероприятия для дистанционного обучения по РКИ при взаимодействии обучаемых с интерактивными объектами, ведущими к текстам (чтение), с каналами социальных сетей (аудирование и говорение), с графическим чатом (письмо) [1]. Компьютерное диагностическое тестирование при обучении РКИ студентов зарубежных стран, дающее возможность получить корректную диагностику практически всех составляющих языковой компетенции студента, рассмотрено в работе [13]. Вопросы разработки моделей, алгоритмов, комплексной технологии и информационно-вычислительных систем компьютерного тестирования отражены в работах [7; 8; 10]. Подходы к использованию в системе тестирования по РКИ компьютерных версий тестов изложены в работах [6; 9]. Однако до настоящего времени не разработана комплексная технология компьютерного тестирования по РКИ, обеспечивающая работу на современных мобильных компьютерах, в локальных сетях и в компьютерных классах по процедурам, принятым в системе тестирования по РКИ, обеспечивающая накопление в базах результатов тестирования в головных и локальных центрах тестирования, обеспечивающая статистический анализ результатов тестирования и анализ качества используемых тестов по всем субтестам и всем сертификационным уровням. Учитывая массовое распространение компьютерных технологий и мобильных устройств, интереса к русскому языку со стороны граждан зарубежных стран, необходимость обеспечить тестируемому дистанционный и локальный доступ к репетиционным (экзаменационным) материалам в системе тестирования по РКИ, можно говорить об актуальности представленного далее исследования, в котором дано описание проекта, инициативно выполненного авторами статьи для головного центра тестирования иностранных граждан. Цель исследования - изложить два варианта комплексной технологии для организации репетиционного и экзаменационного компьютерного тестирования в системе РКИ. Условное наименование этих вариантов «Тестер» и «ТРТестер». Отличаясь технологиями (алгоритмами) изготовления компьютерных тестов, большим или меньшим удобством для преподавателя и для тестируемого, оба варианта комплексные (выполняют комплекс задач от создания компьютерных тестов до статанализа полученных результатов), универсальные (обеспечивали подготовку и работу с тестами по самым различным дисциплинам, включая русский и английский языки). Обе разработанные технологии и программное обеспечение прошли апробацию в централизованном тестировании и в вузах России. Например, технология «Тестер» и комплекс соответствующих программ апробированы в Центре тестирования Минобразования России в репетиционном компьютерном тестировании через Интернет в 1997-2001 гг., в централизованном компьютерном тестировании (в 2001 г. проведено 22 тыс. тестов, в 2002 г. проведено 70 тыс. тестов, в 2003 г. проведено 111 тыс. тестов), на вступительных экзаменах в вузы РФ (в июле 2001-2003 гг.). Эффективность и надежность технологии и разработанных программ доказана многолетним опытом эксплуатации в кредитной системе обучения для решения преподавателем вуза задач компьютерного тестирования и оценки качества разработанных тестов. Программы имеют документацию и свидетельства РОСПАТЕНТ РФ [7; 8]. Комплексная технология компьютерного тестирования «Тестер» и разработанный программный комплекс подробно описаны во многих работах авторов. В работах [7; 8; 10] дано ее полное описание. Технология позволяет преподавателю вуза без помощи программистов быстро и качественно подготовить банк тестовых заданий, провести текущий, рубежный и итоговый контроль знаний студентов в виде компьютерного тестирования, проанализировать его результаты и оценить качество своих тестов. В состав программного комплекса входят четыре программы: «Банкир» предназначена для изготовления банков тестовых заданий и компьютерных тестов; «Тестер» обеспечивает тестирование на компьютерах; «СтатИнфо» обеспечивает оперативный статистический анализ результатов компьютерного тестирования; «Маркер» реализует анализ выполнения заданий в тесте и проведение апелляций. В головном центре тестирования граждан зарубежных стран по русскому языку прошли апробацию отдельные программные комплексы технологии «ТРТестер»: 1) система сбора данных о результатах тестирования в региональных представительствах; 2) система ведения центрального банка данных с результатами тестирования; 3) компьютерные версии тестов по РКИ (с разделами - лексика, чтение, аудирование, письмо и говорение) с обработкой результатов тестирования на автономно расположенном компьютере или на сервере через Интернет. Письмом головного центра тестирования от 06.09.2000 г. № ГЦТ/2-34 вузам, входящим в государственную систему тестирования граждан зарубежных стран по русскому языку, было рекомендовано: 1) начать практическую работу по внедрению компьютерного тестирования по базовому и первому сертификационным уровням; 2) все сведения о лицах, прошедших тестирование в любой форме (на бумаге или на компьютере), об их результатах и выданных им документах передавать в головной центр тестирования в электронном виде для занесения в центральную базу данных. Указанные действия выполнялись с помощью описанных далее программ. Методы исследования. Комплексная технология компьютерного тестирования «ТРТестер» больше «заточена» под задачи головного центра тестирования в системе РКИ. Актуальность его реализации - обеспечить современный уровень автоматизации всего комплекса работ по компьютерному тестированию граждан зарубежных стран по РКИ в вузах России. Цель создания данной системы - разработать для вузов России, входящих в государственную систему тестирования граждан зарубежных стран по русскому языку, комплексную технологию и систему компьютерного тестирования по русскому языку как иностранному. Задачи - провести исследования, разработать алгоритмы и программы для шести подсистем: 1) репетиционные и экзаменационные мультимедийные компьютерные тесты (лексика и грамматика, чтение, аудирование, письмо, говорение) по базовому и первому сертификационным уровням; 2) автоматизация работы преподавателя-эксперта с субтестами письмо и говорение; 3) автоматизация работы организатора тестирования в компьютерном классе; 4) оперативный статистический анализ результатов тестирования; 5) статистический анализ качества тестовых материалов (для авторов); 6) информационная поддержка системы компьютерного тестирования в Интернет. Ожидаемые результаты. 1. Внедрение в опытную эксплуатацию комплексной технологии и системы компьютерного тестирования по РКИ. 2. Включение центрального и региональных банков данных о лицах, прошедших тестирование по всем сертификационным уровням, их результатах и выданных им документах. 3. Включение через Интернет системы дистанционного репетиционного и экзаменационного компьютерного тестирования по базовому и первому сертификационным уровням для зарубежных культурных центров. 4. Разработка алгоритмов и программного обеспечения репетиционных и экзаменационных мультимедийных компьютерных тестов для второго и третьего сертификационных уровней, для прикладных модулей (филологический, журналистика, экономика, медицинский, энергетический). Описание разработанной технологии и программного обеспечения. В целях совершенствования тестовых методов оценки уровня владения русским языком как иностранным и в рамках подготовки к переходу на компьютерное тестирование была разработана технология компьютерного тестирования и начата опытная эксплуатация компьютерных тестов по базовому и первому сертификационным уровням Государственной системы тестирования граждан зарубежных стран по РКИ (рис. 1). Рис. 1. Технология компьютерного тестирования по РКИ Результаты и обсуждение. На основе разработанной технологии создана система, которая обеспечивает: 1) возможность для вуза, уполномоченного тестировать иностранных граждан по русскому языку, либо полностью перейти на компьютерное тестирование, либо часть субтестов проводить на компьютерах, а часть - на бланках; 2) репетиционное и экзаменационное тестирование по всем субтестам (лексика и грамматика, чтение, аудирование, письмо, говорение) на автономных или объединенных в локальную сеть мультимедийных персональных компьютерах; 3) автоматизацию работы эксперта для проверки и оценки на компьютере результатов выполнения неформализованных субтестов (письмо и говорение); 4) компьютерную обработку результатов тестирования, включая оперативный статистический и тестологический анализ; 5) ведение центрального и региональных банков данных о лицах, прошедших тестирование, их результатах и выданных им документах. Программа «ТРПротокол» обеспечивает ввод в базу данных сведений с регистрационных карточек и с бланков ответов о результатах тестирования по сертификационным уровням системы тестирования граждан зарубежных стран по РКИ, учет выданных по результатам тестирования документов, подготовку накопленной информации к отправке по электронной почте в головной центр тестирования для занесения в центральную базу данных. За реквизитами тестируемого следуют его ответы на задания формализованных субтестов («Лексика», «Чтение», «Аудирование»). В программе активно используются справочники («вузы», «Документы», «Линия прибытия», «Модуль», «Страна», «Тест», «Уровень», «Цель тестирования», «Родной язык» и др.). Они соответствуют вопросам регистрационной карточки для тестируемых и обеспечивают ускоренный, формализованный (без случайных ошибок), ввод информации в базу данных. Отмечая «Родной язык», нужно сделать выбор названия из справочника (более 150 названий), исключив тем самым ошибки, появляющиеся при самостоятельном написании названия. В справочнике «Страна» представлено более 220 названий стран мира, из которых можно ждать тестируемых по РКИ (рис. 2). Рис. 2. Фрагмент изображений на экране дисплея при работе программы «ТРПротокол» (вызваны справочники «Язык» и «Страна») Программа «ТРТестер» реализует репетиционное и экзаменационное компьютерное тестирование граждан зарубежных стран по русскому языку как иностранному по всем разделам типовых тестов базового и первого (любого) сертификационного уровней (рис. 3, 4). Программа «ТРЭксперт» автоматизирует работу преподавателя-эксперта и позволять ему с помощью компьютера оценить результаты тестирования по неформализованным субтестам (письмо и говорение) экзамена по русскому языку как иностранному по сертификационным уровням системы тестирования граждан зарубежных стран по РКИ (рис. 5, 6). Программа «ТРКлиент» дает возможность инструктору-организатору тестирования в компьютерном классе на автономном компьютере или в локальной сети увидеть на экране и распечатать на принтере результаты компьютерного тестирования по русскому языку как иностранному по сертификационным уровням системы тестирования граждан зарубежных стран по русскому языку, полученные с помощью программы «ТРТестер» (рис. 7). Рис. 3. Фрагмент изображений на экране дисплея при работе программы «ТРТестер» Рис. 4. Фрагмент изображений на экране дисплея при работе программы «ТРТестер» Программа «ТРИнформ» предназначена для учета граждан зарубежных стран, прошедших тестирование по РКИ, для сбора и анализа полученных результатов. В программе «ТРИнформ» можно подгрузить в базу нужные файлы с результатами бланкового или компьютерного тестирования. Работая с программой, можно выбрать объект статистической обработки; для выбранного объекта получить в виде цифр и графиков (количество тестируемых; распределение тестируемых по оценкам с учетом шкалы перевода тестовых баллов в оценки, которую можно тут же подстраивать; распределение тестируемых по количеству набранных баллов); произвести сравнительный анализ результатов тестирования различных объектов статобработки; просмотреть список тестируемых, с возможностью произвольной сортировки и быстрого поиска; распечатать статистические формы и списки (или их части) на принтере (рис. 8). Рис. 5. Фрагмент изображений на экране дисплея при работе программы «ТРЭксперт» (субтест «Говорение») Рис. 6. Фрагмент изображений на экране дисплея при работе программы «ТРЭксперт» (субтест «Письмо») Рис. 7. Фрагмент изображений на экране дисплея при работе программы «ТРКлиент» Рис. 8. Фрагмент изображений на экране дисплея при работе программы «ТРИнформ» Программа «ТРФормы» обеспечивает подготовку статистического отчета по итогам тестирования иностранных граждан по РКИ и проведение статистического анализа качества тестовых материалов по основным тестологическим параметрам. Заключение. В работе обоснована актуальность создания комплексной системы компьютерного тестирования по РКИ. Авторами предложены два варианта инициативно разработанных ими комплексных технологий «Тестер» и «ТРТестер» для организации компьютерного тестирования по РКИ. Оба варианта являются универсальными, обеспечивая весь цикл работ - от подготовки компьютерных тестов, проведения компьютерного тестирования, сбора результатов в базы данных, выполнения оперативного статистического анализа результатов тестирования и статистического анализа качества тестовых заданий. Тестирование по РКИ можно проводить на компьютерах по всем субтестам (лексика и грамматика, чтение, аудирование, письмо, говорение). Автоматизирована работа эксперта для проверки и оценки на компьютере результатов выполнения неформализованных (мультимедийных) субтестов (письмо и говорение).

Viktor Ivanovich Nardyuzhev

Рeoples’ Friendship University of Russia (RUDN University)

Author for correspondence.
Email: vin111@mail.ru
6, Miklukho-Maklaya str., Moscow, 117198, Russian Federation

candidate of engineering sciences, associate professor of the department “Computer technologies” of the philological faculty of the Peoples’ Friendship University of Russia

Ivan Viktorovich Nardyuzhev

Software development department, JSC “The Seventh Continent”

Email: inard@rambler.ru
Building, 2, MKAD 47, v. Govorovo, Moscow, 142784, Russian Federation

candidate of engineering sciences, programmer of the software development department of JSC “The Seventh Continent”.

Victoria Evgenievna Marfina

Рeoples’ Friendship University of Russia (RUDN University)

Email: vika434221@gmail.com
6, Miklukho-Maklaya str., Moscow, 117198, Russian Federation

student of the master course at the department of comparative educational policy of the Peoples’ Friendship University of Russia

Ivan Nikolayevich Kurinin

Рeoples’ Friendship University of Russia (RUDN University)

Email: kurinin_in@pfur.ru
6, Miklukho-Maklaya str., Moscow, 117198, Russian Federation

candidate of economic sciences, associate professor, head of the department “Computer technologies” of the philological faculty of the Peoples’ Friendship University of Russia

  • Azimov EH.G., ZHil’cov V.A. Ispol’zovanie tekhnologij virtual’nyh mirov v distancionnom obuchenii RKI [The use of virtual worlds technologies in remote learning of RCTS]. Russkij yazyk za rubezhom [Russian language abroad]. 2016. No. 4. Pp. 111—116.
  • Andryushina N.P., Bitekhtina G.A., Klobukova L.P. i dr. Programma po russkomu yazyku dlya inostrannyh grazhdan. Pervyj uroven’. Obshchee vladenie [Program in Russian for foreign citizens. First level. Common ownership]. SPb.: Zlatoust, 2006. 120 p.
  • Bogomolov A.N. Virtual’naya yazykovaya sreda obucheniya russkomu yazyku kak inostrannomu (ligvokul’turologicheskij aspekt) [The virtual language environment of teaching Russian as a foreign language (lingvokulturologicheskom aspect).]. M.: MAKS Press, 2008. 315 p.
  • Golovnoj centr testirovaniya MGU imeni M.V. Lomonosova [Head testing center of Moscow state University named After M. V. Lomonosov]. URL: http://gct.msu.ru/o-tsentre/ (дата обращения: 10.03.2018).
  • Dunaeva L.A. Sredstva informacionnyh i kommunikacionnyh tekhnologij v obuchenii inostrannyh uchashchihsya gumanitarnyh special’nostej nauchnomu obshcheniyu [Means of information and communication technologies in teaching foreign students of Humanities to scientific communication]. M.: MAKS Press, 2006. 189 p.
  • D’yakonov I.A., Nardyuzhev V.I., Nardyuzhev I.V. Avtomatizaciya testirovaniya grazhdan zarubezhnyh stran po russkomu yazyku [Automation of testing citizens of foreign countries in Russian language]. Mezhdunarodnoe sotrudnichestvo v obrazovanii [International cooperation in education]: materialy nauchno-prakticheskoj konferencii. SPb.: SPbGTU, 1998. Pp. 92—93.
  • Kurinin I.N., Nardyuzhev V.I., Nardyuzhev I.V. Komp’yuternoe testirovanie v ocenke uchebnyh dostizhenij studentov [Computer testing in the evaluation of educational achievements of students]: uchebno-metodicheskoe posobie. M.: RUDN, 2008. 308 p.
  • Kurinin I.N., Nardyuzhev V.I., Nardyuzhev I.V. Kompleksnaya tekhnologiya komp’yuternogo testirovaniya [Complex technology of computer-based testing]. Vestnik Rossijskogo universiteta druzhby narodov. Serija «Informatizacija obrazovanija» [Bulletin of the Russian university of friendship of the people. “Education Informatization” series]. 2013. No. 2. Pp. 112—121.
  • Nardyuzhev V.I., Nardyuzhev I.V. Kompleksnaya tekhnologiya komp’yuternogo testirovaniya po russkomu yazyku kak inostrannomu [The complex technology of computer-based testing in Russian as a foreign language]. Razvitie sistemy testirovaniya v Rossii [Development of system of testing in Russia]: tezisy dokladov Vtoroj Vserossijskoj nauchno-prakticheskoj konferencii. Chast’ 2. M.: Prometej, 2000. Pp. 14—15.
  • Nardyuzhev V.I., Nardyuzhev I.V. Modeli i algoritmy informacionno-vychislitel’noj sistemy komp’yuternogo testirovaniya [Models and algorithms of information system computer-based testing]: monografiya. M.: Prometej, 2000. 148 p.
  • Prikaz Minobrnauki RF № 255 ot 1 aprelya 2014 g. «Ob utverzhdenii urovnej vladeniya russkim yazykom kak inostrannym yazykom i trebovanij k nim» [Order No. 255 of the Ministry of education of the Russian Federation of April 1, 2014 “on approval of levels of Russian as a foreign language and requirements to them”]. URL: https://www.9111.ru/uncos/t210963-prikaz-minobrnaukirossii-ot-01-04.2014-n-255-ob-utverzhdenii-urovney-vladeniya-russkim-yazikom-kakinostrannim-yazikom-i-trebovaniy-k-nim/
  • Prikaz Minobrnauki RF №1394 ot 28 oktyabrya 2014 g. «Ob utverzhdenii perechnya obrazovatel’nyh organizacij, provodyashchih gosudarstvennoe testirovanie po russkomu yazyku kak inostrannomu yazyku» [Order of the Ministry of education of the Russian Federation № 1394 of October 28, 2014 “on approval of the list of educational institutions conducting state testing of Russian as a foreign language”]. URL: http://ppt.ru/docs/prikaz/minobrnauki/n-1394-67391
  • Rudenko-Morgun O.I., Dunaeva L.A. Diagnosticheskoe testirovanie kak mekhanizm upravleniya samostoyatel’noj rabotoj v obuchayushchej mul’timedijnoj srede [Diagnostic testing as a mechanism for the management of independent work in educational multimedia environment]. Komp’yuternye uchebnye programmy i innovacii [Computer training programs and innovation]. 2004. No. 2. 15 p.
  • Rumyanceva N.M. Problemy adaptivnogo testirovaniya i adaptacii testov k nacional’nym i lichnostnym osobennostyam testiruemyh [Problems of adaptive testing and adaptation of tests to national and personal characteristics of the test subjects]. URL: http://www.testor.ru/files/Conferens/ problsovtest/ Probladapttest.doc
  • Centr lingvodidaktiki, yazykovogo testirovaniya i sodejstviya migracionnoj politike Gos. IRYA im. A.S. Pushkina [The center of language didactics, language testing and promotion of migration policy of the state. ORYA them. of A.S. Pushkin]. URL: http://www.pushkin.institute/Certificates/ CCT/tests-online.php
  • Centr yazykovogo testirovaniya SPbGU [Language testing Center of St. Petersburg state University]. URL: http://spbu.ru/science/expert/lang-centre.html

Views

Abstract - 39

PDF (Russian) - 7

PlumX


Copyright (c) 2018 Nardyuzhev V.I., Nardyuzhev I.V., Marfina V.E., Kurinin I.N.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.