RUDN Journal of Informatization in EducationRUDN Journal of Informatization in EducationВестник Российского университета дружбы народов. Серия: Информатизация образования2312-86312312-864XPeoples’ Friendship University of Russia named after Patrice Lumumba (RUDN University)1805510.22363/2312-8631-2018-15-1-81-88INNOVATION PEDAGOGICAL TECHNOLOGIES IN EDUCATIONИННОВАЦИОННЫЕ ПЕДАГОГИЧЕСКИЕ ТЕХНОЛОГИИ В ОБРАЗОВАНИИResearch ArticleOperational statistical analysis of the results of computer-based testing of studentsОперативный статистический анализ результатов компьютерного тестирования студентовNardyuzhevViktor IvanovichНардюжевВиктор Иванович

candidate of engineering sciences, associate professor of the department “Computer technologies” of the philological faculty of the Peoples’ Friendship University of Russia

кандидат технических наук, доцент кафедры «Компьютерные технологии» филологического факультета Российского университета дружбы народов

vin111@mail.ruNardyuzhevIvan ViktorovichНардюжевИван Викторович

candidate of engineering sciences, programmer of the software development department of JSC “The Seventh Continent”

кандидат технических наук, программист департамента разработки программного обеспечения ОАО «Седьмой континент».

inard@rambler.ruMarfinaVictoria EvgenievnaМарфинаВиктория Евгеньевна

student of the master course at the department of comparative educational policy of the Peoples’ Friendship University of Russia

студентка магистратуры кафедры «Сравнительной образовательной политики» Российского университета дружбы народов

vika434221@gmail.comKurininIvan NikolayevichКурининИван Николаевич

candidate of economic sciences, associate professor, head of the department “Computer technologies” of the philological faculty of the Peoples’ Friendship University of Russia

кандидат экономических наук, доцент, заведующий кафедрой «Компьютерные технологии» филологического факультета Российского университета дружбы народов

kurinin_in@pfur.ruРeoples’ Friendship University of Russia (RUDN University)Российский университет дружбы народовSoftware development department, JSC “The Seventh Continent”Департамент разработки программного обеспечения ОАО «Седьмой континент»15122018151VOL 15, NO1 (2018)ТОМ 15, №1 (2018)818820032018Copyright ©; 2017, Nardyuzhev V.I., Nardyuzhev I.V., Marfina V.E., Kurinin I.N.Copyright ©; 2017, Нардюжев В.И., Нардюжев И.В., Марфина В.Е., Куринин И.Н.2017Nardyuzhev V.I., Nardyuzhev I.V., Marfina V.E., Kurinin I.N.Нардюжев В.И., Нардюжев И.В., Марфина В.Е., Куринин И.Н.http://creativecommons.org/licenses/by/4.0https://journals.rudn.ru/informatization-education/article/view/18055

The article is devoted to the issues of statistical analysis of results of computer-based testing for evaluation of educational achievements of students. The issues are relevant due to the fact that computerbased testing in Russian universities has become an important method for evaluation of educational achievements of students and quality of modern educational process. Usage of modern methods and programs for statistical analysis of results of computer-based testing and assessment of quality of developed tests is an actual problem for every university teacher. The article shows how the authors solve this problem using their own program “StatInfo”. For several years the program has been successfully applied in a credit system of education at such technological stages as loading computerbased testing protocols into a database, formation of queries, generation of reports, lists, and matrices of answers for statistical analysis of quality of test items. Methodology, experience and some results of its usage by university teachers are described in the article. Related topics of a test development, models, algorithms, technologies, and software for large scale computer-based testing has been discussed by the authors in their previous publications which are presented in the reference list.

Статья посвящена вопросам статистического анализа результатов компьютерного тестирования для оценки учебных достижений студентов. Актуальность вопросов обусловлена тем, что компьютерное тестирование в вузах России уже стало важным методом оценки учебных достижений студентов и качества современного учебного процесса. Использование современных методик и программ статистического анализа результатов компьютерного тестирования и оценки качества разработанных тестов является актуальной задачей для каждого преподавателя вуза. Статья показывает, как авторы решают эту задачу, используя свою собственную программу «СтатИнфо». На протяжении нескольких лет программа успешно применялась в кредитной системе обучения на таких технологических этапах как загрузка протоколов компьютерного тестирования в базу данных, формирование запросов, генерация сводок, списков и матриц ответов для статистического анализа качества тестовых заданий. Методика, опыт и некоторые результаты ее использования преподавателями университета описываются в статье. Смежные темы разработки тестов, моделей, алгоритмов, технологий и программного обеспечения для масштабного компьютерного тестирования обсуждались авторами в их предыдущих публикациях, которые представлены в списке литературы.

studentevaluation of educational achievementscomputer-based testingstatistical analysisquality of testsprogramtechnologyстудентоценка учебных достиженийкомпьютерное тестированиестатистический анализкачество тестовпрограмматехнологияAnastazi A. Psikhologicheskoe testirovanie [Psychological Testing]. M.: Pedagogika, 1982. 320 p.Анастази А. Психологическое тестирование. Кн. 1-2. М.: Педагогика, 1982. 320 с.Avanesov V.S. Kompozitsiya testovykh zadanii [Composition of test questions]. M.: Arena, 2002. 240 p.Аванесов B.C. Композиция тестовых заданий. M.: Арена, 2002. 240 с.Balykhina T.M. Slovar’ terminov i ponyatii testologii [Testology terms and concepts dictionary]. M.: Izd-vo RUDN, 2000. 164 p.Балыхина Т.М. Словарь терминов и понятий тестологии. М.: Изд-во РУДН, 2000. 164 с.Vasil’ev V.I., Demidov A.N., Malyshev N.G., Tyagunova T.N. Metodologicheskie pravila konstruirovaniya komp’yuternykh pedagogicheskikh testov [Methodological rules of designing computer pedagogical tests]. M.: Izd-vo VTU, 2000. 64 p.Васильев В.И., Демидов А.Н., Малышев Н.Г., Тягунова Т.Н. Методологические правила конструирования компьютерных педагогических тестов. М.: Изд-во ВТУ, 2000. 64 с.Vasil’ev V.I., Tyagunova T.N. Osnovy kul’tury adaptivnogo testirovaniya [The basics of adaptive testing culture]. M.: Ikar, 2003. 584 p.Васильев В.И., Тягунова Т.Н. Основы культуры адаптивного тестирования. М.: Икар, 2003. 584 с.Efremova N.F. Sovremennye testovye tekhnologii v obrazovanii [Modern test technologies in education]: uchebnoe posobie. M.: Logos, 2003. 176 p.Ефремова Н.Ф. Современные тестовые технологии в образовании: учеб. пособие. М.: Логос, 2003. 176 с.Kurinin I.N., Nardyuzhev V.I., Nardyuzhev I.V. Komp’yuternoe testirovanie v otsenke uchebnykh dostizhenii studentov [Computer testing in assessing students’ academic achievements]: uchebnometodicheskoe posobie. M.: Izd-vo RUDN, 2008. 308 p.Куринин И.Н., Нардюжев В.И., Нардюжев И.В. Компьютерное тестирование в оценке учебных достижений студентов: учеб.-метод. пособие. М.: Изд-во РУДН, 2008. 308 с.Kurinin I.N., Nardyuzhev V.I., Nardyuzhev I.V. Sbornik testovykh zadanii po kursam “Informatika” i “Komp’yuternye tekhnologii v nauke i obrazovanii” [Corpus of test question for courses “Informatics” and “Computer Technologies in Science and Education”]. M.: Izd-vo RUDN, 2010. 306 p.Куринин И.Н., Нардюжев В.И., Нардюжев И.В. Сборник тестовых заданий по курсам «Информатика» и «Компьютерные технологии в науке и образовании». М.: Изд-во РУДН, 2010. 306 с.Kurinin I.N., Nardyuzhev V.I., Nardyuzhev I.V. Operativnyi statisticheskii analiz rezul’tatov komp’yuternogo testirovaniya v kreditnoi sisteme obucheniya [Operative statistical analysis of the results of computer testing in the credit system of education]. Vestnik Rossijskogo universiteta druzhby narodov. Serija «Informatizacija obrazovanija» [Bulletin of the Russian university of friendship of the people. “Education Informatization” series]. 2013. No. 1. Pp. 115—125.Куринин И.Н., Нардюжев В.И., Нардюжев И.В. Оперативный статистический анализ результатов компьютерного тестирования в кредитной системе обучения // Вестник Российского университета дружбы народов. Серия: Информатизация образования. 2013. № 1. C. 115-125.Kurinin I.N., Nardyuzhev V.I., Nardyuzhev I.V. Kompleksnaya tekhnologiya komp’yuternogo testirovaniya [Comprehensive technology of computer testing]. Vestnik Rossijskogo universiteta druzhby narodov. Serija «Informatizacija obrazovanija» [Bulletin of the Russian university of friendship of the people. “Education Informatization” series]. 2013. No. 2. Pp. 112—121.Куринин И.Н., Нардюжев В.И., Нардюжев И.В. Комплексная технология компьютерного тестирования // Вестник Российского университета дружбы народов. Серия: Информатизация образования. 2013. № 2. C. 112-121.Kurinin I.N., Marfina V.E., Nardyuzhev V.I., Nardyuzhev I.V. Informatizatsiya prakticheskoi raboty prepodavatelya [Informatization of the teacher’s practical work]. Vestnik Rossijskogo universiteta druzhby narodov. Serija «Informatizacija obrazovanija» [Bulletin of the Russian university of friendship of the people. “Education Informatization” series]. 2015. No. 1. Pp. 42—52.Куринин И.Н., Марфина В.Е., Нардюжев В.И., Нардюжев И.В. Информатизация практической работы преподавателя // Вестник Российского университета дружбы народов. Серия: Информатизация образования. 2015. № 1. C. 42-52.Maiorov A.N. Testy shkol’nykh dostizhenii: konstruirovanie, provedenie, ispol’zovanie [School achievements tests: design, administration, usage]. SPb.: Obrazovanie i kul’tura, 1996. 304 p.Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование. СПб.: Образование и культура, 1996. 304 с.Nardyuzhev V.I., Nardyuzhev I.V. Testirovanie na komp’yuterakh cherez Internet [Computer testing in the internet]. Trudy Tsentra testirovaniya. Vypusk 2. M.: Prometei, 1999. Pp. 139—157.Нардюжев В.И., Нардюжев И.В. Тестирование на компьютерах через Интернет // Тр. Центра тестирования. Выпуск 2. М.: Прометей, 1999. С. 139-157.Nardyuzhev V.I., Nardyuzhev I.V. Dostoinstva i nedostatki komp’yuternogo adaptivnogo testirovaniya [Advantages and disadvantages of computer adaptive testing]. Razvitie sistemy testirovanija v Rossii: tezisy dokladov 2 Vserossijskoj nauchno-prakticheskoj konferencii [The development of the testing system in Russia: abstracts of 2 all-Russian scientific-practical conference]. M.: Prometei, 2000. Vol. 3. Pp. 47—48.Нардюжев В.И., Нардюжев И.В. Достоинства и недостатки компьютерного адаптивного тестирования / Развитие системы тестирования в России: тезисы док. 2 Всеросс. науч.практ. конф. М.: Прометей, 2000. Часть 3. С. 47-48.Nardyuzhev V.I., Nardyuzhev I.V. Modeli i algoritmy informatsionno-vychislitel’noi sistemy komp’yuternogo testirovaniya [Models and algorithms of information technology computer-based testing system]: monografiya. M.: Prometei, 2000. 148 p.Нардюжев В.И., Нардюжев И.В. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования: монография. М.: Прометей, 2000. 148 с.Nardyuzhev V.I., Nardyuzhev I.V. Svidetel’stvo ROSPATENT № 2000610068 ot 27 yanvarya 2000 g. ob ofitsial’noi registratsii programmy dlya EVM “Operativnyi statisticheskii analiz rezul’tatov testirovaniya na komp’yuterakh cherez Internet (STATINFO)” [Certificate ROSPATENT No. 2000610068 dated January 27, 2000 on the Official Registration of the Computer Program “Operational Statistical Analysis of Computer-based Test Results in the Internet (STATINFO)”].Нардюжев В.И., Нардюжев И.В. Свидетельство РОСПАТЕНТ № 2000610068 от 27 января 2000 г. об официальной регистрации программы для ЭВМ «Оперативный статистический анализ результатов тестирования на компьютерах через Интернет (СТАТИНФО)».Nardyuzhev V.I., Nardyuzhev I.V. Analiz urovnya komp’yuternoi gramotnosti uchastnikov tsentralizovannogo komp’yuternogo testirovaniya [Analysis of the level of computer literacy of participants in centralized computer testing]. M.: Tsentr testirovaniya Minobrazovaniya Rossii, 2001. Pp. 86—93.Нардюжев В.И., Нардюжев И.В. Анализ уровня компьютерной грамотности участников централизованного компьютерного тестирования // Вопросы тестирования в образовании. М.: Центр тестирования Минобразования России, 2001. Вып. 1. С. 86-93.Nardyuzhev V.I., Nardyuzhev I.V. Sravnenie rezul’tatov tsentralizovannogo testirovaniya na blankakh i na komp’yuterakh [Comparison of the results of centralized testing on blank sheets and on computers]. M.: Narodnoe obrazovanie, 2002. 10 p.Нардюжев В.И., Нардюжев И.В. Сравнение результатов централизованного тестирования на бланках и на компьютерах / Педагогическая диагностика. М.: Народное образование, 2002. 10 с.Nardyuzhev V.I., Nardyuzhev I.V., Marfina V.E., Kurinin I.N. Svidetel’stvo № 2016620662 ot 24 maya 2016 g. o gosudarstvennoi registratsii bazy dannykh “Testovye zadaniya. Komp’yuternye tekhnologii v nauke i obrazovanii” [Certificate No. 2016620662 Dated May 24, 2016 on the State Registration of the Database “Test tasks: Computer Technologies in Science and Education”]. Vydano Federal’noi sluzhboi po intellektual’noi sobstvennosti (RosPatent) [RosPatent].Нардюжев В.И., Нардюжев И.В., Марфина В.Е., Куринин И.Н. Свидетельство № 2016620662 от 24 мая 2016 г. о государственной регистрации базы данных «Тестовые задания. Компьютерные технологии в науке и образовании». Выдано Федеральной службой по интеллектуальной собственности (РосПатент).Nasledov A. SPSS 19: professional’nyi statisticheskii analiz dannykh [SPSS 19: Professional Statistical Analysis of Data]. SPb.: Piter, 2011. 400 p.Наследов А. SPSS 19: профессиональный статистический анализ данных. СПб.: Питер, 2011. 400 с.Neiman Yu.M., Khlebnikov V.A. Vvedenie v teoriyu modelirovaniya i parametrizatsii pedagogicheskikh testov [Introduction to the theory of modeling and parametrization of pedagogical tests]. M.: Prometei, 2000. 168 p.Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 168 с.Tyurin Yu.N., Makarov A.A. Statisticheskii analiz dannykh na komp’yutere [Statistical analysis of data on the computer]. M.: INFRA-M, 1998. 528 p.Тюрин Ю.Н., Макаров А.А. Статистический анализ данных на компьютере. М.: ИНФРА-М, 1998. 528 с.Chelyshkova M.B. Razrabotka pedagogicheskikh testov na osnove sovremennykh matematicheskikh modelei [Development of pedagogical tests based on modern mathematical models]: uchebnoe posobie. M.: Issledovatel’skii tsentr problem kachestva podgotovki spetsialistov, 1995. 32 p.Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: учеб. пособие. М.: Исследовательский центр проблем качества подготовки специалистов, 1995. 32 с.