Moodle calculated questions as a means of testing knowledge and skills

Cover Page

Cite item

Full Text

Abstract

Problem statement. Fraud in the conduct of computer testing is a significant risk factor for incorrect assessment of learning outcomes. Modern technical means (smartphones, smart watches, etc.) allow test-takers to freely use the database of correct answers to the test tasks created during the preparation for the exam or purchased on the side of the database during the control. This circumstance reduces the reliability of computer testing. Methodology. Among the types of testing questions offered by Moodle, calculated tasks with the ability to program the correct answer and random number generators for generating initial data stand out. Such tasks, while maintaining the meaning, allow you to create an almost unlimited number of options for initial data and correct answers. The numerical answer entered from the keyboard is compared with the calculated correct value and a decision is made on the assessment. The capabilities of the built-in programming language of the correct answer, in particular, are limited by the absence of a conditional operator, which narrows the range of possible tasks to be solved. Results. The authors, using the declarative principle of programming, proposed sequences of statements in the built-in programming language of the Moodle computed question that implement the traditional if statement. The proposed method allows you to expand the capabilities of the programming language built into the question, but does not make it universal due to the lack of loop operators. Another type of Moodle test item, “Formulas”, is mentioned. Known methods of its programming provide even more opportunities for creating task options. The results of the experiment are presented. Conclusion. The use of calculated tasks with random input data will reduce the number of cases of fraud during computer testing and will allow, in some cases, to test not only knowledge, but also skills.

Full Text

Постановка проблемы. Академическое мошенничество существовало в науке всегда. Традиционно к нему относили плагиат, фальсификацию данных и некоторые другие виды недобросовестности, связанные с присвоением чужих результатов [1]. Развитие информационных технологий привело и к расцвету различных форм академической нечестности среди обучающихся. Начавшись с индивидуального изготовления шпаргалок, списывания и подсказывания, она приняла почти промышленные масштабы в виде различного рода организаций и групп, изготавливающих на заказ контрольные, курсовые и выпускные работы, а также выполняющих компьютерное тестирование третьими лицами [2]. Повсеместное использование средств тестирования даже породило новые термины «для обозначения обмана и списывания при проведении компьютерного и удаленного контроля знаний: электронное списывание (e-cheating), списывание онлайн (online e-cheating) и киберсписывание (cybercheating)» [3, с. 70-71]. Ситуация существенно обострилась в условиях массового перехода на дистанционное обучение [4]. С.В. Давыдочкина указывает на бесконтрольное использование «самими тестируемыми сети Интернет с обширной информационной базой, откуда можно почерпнуть ответы на практически любой вопрос теста, и все более разрастающейся сферой вычислительных услуг, предлагаемых различными порталами и сайтами, специализирующимися на решении стандартных задач из многих учебных дисциплин» [5, с. 109]. Современные технические средства (смартфоны, умные часы и т. п.) во время проведения контроля позволяют испытуемым производить поиск в таблицах правильных ответов на задания теста. Для борьбы с мошенничеством и с целью повышения качества оценивания результатов обучения возникает необходимость разработки методики создания таких тестовых заданий, ответы на которые не могут быть получены средствами компьютерного поиска по мошенническим схемам. Анализ имеющихся возможностей показал, что традиционно применяемые средства программирования тестовых заданий не в полной мере удовлетворяют потребностям практики и позволил выявить проблему, заключающуюся в несоответствии используемых возможностей систем компьютерного тестирования требованиям сегодняшнего дня в части обеспечения качества контроля знаний и умений на этапах текущего и промежуточного контроля. Цель исследования - разработка методики создания тестовых заданий, защищенных от академического мошенничества. Методология. Система управления обучением Moodle предлагает пользователю шестнадцать вариантов построения тестовых заданий. Большинство из них («Верно/Неверно», «Множественный выбор», «Выбор пропущенных слов» и т. п.) ориентированы в первую очередь на проверку знания фактов. При их использовании в ответ на сформулированный вопрос система ожидает точный ответ. Задания подобного рода могут решаться методом угадывания, а при групповой работе с тестом сбором статистики для составления таблиц правильных ответов, что, собственно говоря, и происходит в реалиях. Далее в процессе проведения тестирования, пользуясь собственными техническими средствами, испытуемые находят ответ на вопрос в таблице и, как следствие, дезавуируют систему контроля. Поэтому перечисленные задания целесообразно использовать только в процессе текущего контроля, когда проверяющий заинтересован не столько в результатах измерения уровня знаний, сколько в автоматизации усвоения обучаемыми набора фактов или утверждений. В этом случае система тестирования используется как дополнительное средство обучения. Самостоятельную роль в текущем контроле могут играть предусматривающие клавиатурный ввод текста обучаемым задания «Короткий ответ». Их удобно использовать для контроля владения терминологией, когда проверяется знание определений. При их программировании приходится учитывать особенности русского языка, связанные со склонением и спряжением слов. В этом случае задание предусматривает несколько вариантов правильных ответов и имеет частичную возможность токенизации введенного слова. На этапе промежуточного контроля при проверке знаний, умений и навыков как средство борьбы с академической нечестностью предлагается использовать задания со случайными вариантами наборов входных данных. С.В. Давыдочкина упоминает так называемый «Вычисляемый вопрос» [6]. Он обсуждается как в зарубежных [7-11], так и в отечественных публикациях [12-14]. На целесообразность использования «Вычисляемого вопроса» Moodle обратила внимание и Ю.Ф. Титова [15]. Указывая на его высокую эффективность, она отмечает существенно бо́льшую трудоемкость его создания, но утверждает при этом, что если «сравнить время, затраченное на создание 100 однотипных вопросов типа „короткий ответ“ с разными исходными данными, и время, затраченное на создание одного вычисляемого вопроса, то второе будет меньше, а результат качественнее» [15, с. 96]. Особо выделяет «Вычисляемый вопрос» А.Е. Осокин [16]. На примере вычисления касательной графика степенной функции он программирует выражение для правильного ответ на вопрос тестового задания при случайных значениях весового коэффициента и степени исследуемой функции. Наиболее подробно технология программирования «Вычисляемого вопроса» изложена в статье В. Фетисова [17], где автор шаг за шагом приводит последовательность действий по кодированию и настройке в среде Moodle вычисляемого вопроса. «Вычисляемый вопрос» Moodle имеет и ряд недостатков. При его подготовке у разработчика теста возникают трудности связанные с ограниченными возможности языка программирования правильного ответа. Перечень предлагаемых базовых арифметических операций и доступных встроенных функций относительно невелик[28]. К сожалению, в нем отсутствуют функции, позволяющие учитывать результаты проверки логических выражений для ветвления программы. Результаты и обсуждение. В программировании принято различать императивный и декларативный подходы к составлению алгоритмов [18]. Универсальные языки программирования используют императивный подход и, в соответствии с теоремой о структурном программировании, обеспечивают возможность решения любой алгоритмической задачи. Предполагается, что «программы строятся из трех видов управляющих структур (следование, выбор и повторение) с помощью конструктивного метода нисходящего проектирования с возможностью доказательства их правильности» [19, с. 660]. С развитием информатики и внедрением методик обучения языкам высокого уровня в школе императивные языки и, как следствие, императивный способ мышления получили широкое распространение при решении самых разных прикладных задач. В то же время средства программирования Moodle опираются на декларативный подход к вычислению правильного ответа. Очевидно, что при алгоритмической подготовке тестового задания у разработчика возникает желание воспользоваться более знакомой ему императивной методикой. К сожалению, создать обязательный набор операторов структурного программирования для «Вычисляемого вопроса» пока не удалось. Методы создания декларативных условных алгоритмов обсуждаются[29]. В [20, с. 346-350] мы описали свою методику программирования «Вычисляемого вопроса», реализующую условный оператор. В табл. 1 приводится сводка полученных там результатов. Если и целые числа и в поле «Формула ответа 1 =» надо запрограммировать вычисление результата выполнения условия вида Результат = if (Условие) then (Выражение 1) else (Выражение 2), то формула для вычисления правильного ответа может быть записана как последовательность декларативных операторов Moodle, в которые также входят и описанные пользователем выражение 1 и выражение 2. Таблица 1 Заготовки для декларативного программирования условных операторов Условие Заготовка формулы для вычисления правильного ответа ((Abs({x} - {y} + 0.5) / ({x} - {y} + 0,5) + 1) / 2) * (Выражение 1) + (1 - ((Abs({x} - {y} + 0,5) / ({x} - {y} + 0,5) + 1) / 2)) * (Выражение 2) (1 - (Abs({x} - {y} + 0,5) / ({x} - {y} + 0,5) + 1) / 2) * (Выражение 1) + (((Abs({x} - {y} + 0,5) / ({x} - {y} + 0,5) + 1) / 2)) * (Выражение 2) ((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2) * (Выражение 1) + (1 - ((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2)) * (Выражение 2) (1-((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2)) * (Выражение 1) + ((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2) * (Выражение 2) (1 - ((1 - ((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2)))) * (1 - (1 - ((Abs({x} - {y} + 0,5) / ({x} - {y} + 0,5) + 1) / 2))) * (Выражение 1) + ((1 - ((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2)) + (1 - ((Abs({x} - {y} + 0,5) / ({x} - {y} + 0,5) + 1) / 2))) * (Выражение 2) ((1 - ((Abs({x} - {y} + 0,5) / ({x} - {y} + 0,5) + 1) / 2)) + (1 - ((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2))) * (Выражение 1) + (1 - ((1 - ((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2)))) * (1 - (1 - ((Abs({x} - {y} + 0,5) / ({x} - {y} + 0,5) + 1) / 2))) * (Выражение 2) Table 1 Workpiece for declarative programming of conditional statements Condition Workpiece a formula to calculate the correct answer ((Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2) * (Expression 1) + (1 - ((Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2)) * (Expression 2) (1 - (Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2) * (Expression 1) + (((Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2)) * (Expression 2) ((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2) * (Expression 1) + (1 - ((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2)) * (Expression 2) (1-((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2)) * (Expression 1) + ((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2) * (Expression 2) (1 - ((1 - ((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2)))) * (1 - (1 - ((Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2))) * (Expression 1) + ((1 - ((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2)) + (1 - ((Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2))) * (Expression 2) ((1 - ((Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2)) + (1 - ((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2))) * (Expression 1) + (1 - ((1 - ((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2)))) * (1 - (1 - ((Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2))) * (Expression 2) Сложнее обстоит дело с программированием операторов цикла. Имеются примеры декларативного программирования на основе кода с неизменяемыми переменными и рекурсии[30]. К сожалению, найти аналогичные варианты с использованием операторов программирования «Вычисляемого вопроса» в Moodle нам пока не удалось, поэтому приходится использовать альтернативные варианты формулировок вопросов тестового задания. Так, например, если при тестировании проверяется понимание студентом сути задания и владение им необходимыми для решения методами, в словесной формулировке вопроса теста можно требовать не обработку всего набора данных, а вычисления, например, наибольшего или наименьшего значения, что программируется на основе встроенных функций min или max. На форуме Moodle кроме «Вычисляемого вопроса» обсуждается возможность применения еще одного типа тестового задания: Formulas или в русском переводе «Формулы»[31]. Обучением программированию заданий такого типа занимается Л.А. Татарникова[32], а общая технология программирования вопроса «Формулы» описана в работе Е.Ф. Олеховой [21]. Тип задания «Формулы» тоже обеспечивает возможность создания компьютерных тестов на основе случайных исходных данных и использования методов программирования для вычисления правильного ответа, но проще в разработке и имеет бо́льшие функциональные возможности. Хотя систематического описания языка программирования, который используется во вкладках «Переменные» [21, с. 363] задания «Формулы», нами не найдено, экспериментально установлено, что язык содержит, правда в ограниченном варианте применения, блоки операторов, условный оператор и оператор цикла в форме перебора всех элементов созданной ранее последовательности. Существует возможность подстановки в формулировку вопроса, случайно выбранного из последовательности в том числе и текстового элемента. Такой прием позволяет генерировать множество случайных заданий с различными текстами основного вопроса, что сужает возможности поиска при академической нечестности. К недостаткам можно отнести отсутствие развитых средств работы со строками, что ограничивает возможность обработки ответов испытуемого только численными значениями. Как следствие, использование заданий подобного типа открывает весьма широкие возможности для создания защищенных от мошенничества обучающихся систем тестирования. Использование условных операторов в сочетании с генерацией случайных наборов данных позволяет расширить возможности компьютерной проверки знаний, умений и навыков. К сожалению, реализовать оператор цикла для «Вычисляемого вопроса» не удалось, в связи с чем язык его программирования не может быть признан универсальным. Целесообразно вводить в практику задания типа «Формулы», которые имеют большие возможности для реализации принципов императивного программирования. Однако в настоящее время его использование ограничивается отсутствием описания встроенного языка программирования. Как результат, использование заданий обсуждаемых типов уменьшит количество случаев мошенничества при проведении тестирования за счет существенного увеличения вариантов заданий и дополнительно позволит использовать систему тестирования как тренажер для формирования знаний и умений обучаемых. Разработанная технология декларативного программирования вычисляемого вопроса применялась нами для организации тестирования в процессе обучения дисциплине «Основы программирования». Фиксировать случаи мошенничества при проведении тестирования и тем более получить надежную их статистику весьма затруднительно. Поэтому для организации эксперимента были приняты во внимание следующие соображения. Для вопросов типа «Вычисляемый», «Формулы», «Числовой ответ», которые могут использоваться для формирования умений, может генерироваться 100 и более вариантов их формулировки. При проведении испытаний каждый билет при каждом сеансе тестирования для каждого студента формируется случайным образом средствами Moodle. Как следствие, все предлагаемые студентам задания уникальны в пределах одной дисциплины, что снижает вероятность академической нечестности. Было решено предоставить студентам возможность самопроверки результатов своего обучения за счет введения дополнительных испытаний, использующих созданный банк тестовых вопросов в Moodle. Он содержит разбитые на категории в соответствии с разделами дисциплины 813 заданий. Номенклатура используемых вопросов приведена в табл. 2. К эксперименту, проводимому в осеннем семестре 2022-2023 учебного года, были привлечены 33 студента второго курса направления «Бизнес-информатика». Таблица 2 Номенклатура используемых вопросов системы тестирования Вид испытаний Вычисляемый Формулы Числовой ответ Короткий ответ На соответствие и слу- чайный вопрос на соответствие Перетаскивание в текст Выбор пропущенных слов Множественный выбор Верно/ Неверно Текущие 70 3 46 105 29 14 8 202 336 Промежуточные 59 1 40 85 22 14 5 70 11 Table 2 Nomenclature used questions of testing system Type of test Calcu- lated Formula Numeric answer Short answer Match and random correspondence question Drag to text Missing word pick Multiple choice True / False Current 70 3 46 105 29 14 8 202 336 Inter- mediate 59 1 40 85 22 14 5 70 11 Дополнительный текущий контроль, участие в котором было необязательным для студента, представлял собой четыре синхронизированных по содержанию с лекционным курсом процедуры тестирования. В каждой из них студент выполнял до трех независимых попыток пройти тест, причем последующие попытки разрешались не раньше, чем через 48 часов после завершения предыдущей. Участвовать в каждой процедуре можно было с произвольного компьютера в любое удобное время в течение двух календарных недель в конце каждого месяца обучения. Промежуточный контроль знаний (экзамен) также был реализован в виде компьютерного теста, однако при его проведении для контроля результатов обучения использовались специально выделенные из общего числа относительно сложные задания общим количеством 307 штук. К текущим испытаниям были допущены все студенты, но этой возможностью воспользовалось 12 человек, из которых только 7 получили положительные оценки за все четыре этапа текущих испытаний. Именно они и составили контрольную группу студентов, которая прошла промежуточное тестирование со средним результатом 8,03 балла по десятибалльной шкале. Остальные 22 студента, допущенные к промежуточной аттестации, были отнесены к экспериментальной группе и по результатам промежуточного контроля получили средний балл 5,32 по десятибалльной шкале. Таким образом, имея возможность многократно сталкиваться с типовыми задачами с различными наборами данных по мере изучения материала дисциплины, студенты получают дополнительные умения, в то время как отсутствие подобного опыта снижает качество подготовки. Как следствие, предлагаемая методика позволяет снизить вероятность академического мошенничества и может быть использована на практике. Заключение. Новые технологии, внедряемые в учебный процесс, приводят только к изменению форм обучения, но поведение людей при этом не меняется. Мы и далее будем сталкиваться с проявлениями академической нечестности, но отказаться от использования компьютеров как средств контроля результатов обучения уже никогда не сможем. Скорее всего, скоро придется признать, что использовать тестовые задания с альтернативным и множественным выбором имеет смысл только на начальном этапе изучения дисциплины, например для автоматизации обучения терминологии. А сам контроль должен проводиться с использованием заданий со случайными формулировками и наборами входных данных.
×

About the authors

Aleksandr G. Stepanov

Saint-Petersburg State University of Aerospace Instrumentation

Email: georgich_spb@mail.ru
ORCID iD: 0000-0002-3922-9684

Doctor of Pedagogical Sciences, Associate Professor, Professor of the Department of Business Informatics and Management

67 Bolshaya Morskaia St, St. Petersburg, 190000, Russian Federation

Valentin M. Kosmachev

Saint-Petersburg State University of Aerospace Instrumentation

Email: kvm@aanet.ru
ORCID iD: 0000-0002-9453-1915

Candidate of Engineering Sciences, Associate Professor, Professor of the Department of Business Informatics and Management

67 Bolshaya Morskaia St, St. Petersburg, 190000, Russian Federation

Olga I. Moskaleva

Saint-Petersburg State University of Aerospace Instrumentation

Author for correspondence.
Email: o.i.moskaleva@gmail.com
ORCID iD: 0000-0001-7378-5126

senior lecturer, Department of Business Informatics and Management

67 Bolshaya Morskaia St, St. Petersburg, 190000, Russian Federation

References

  1. Gubanov NI, Gubanov NN, Shorikova ES. Types of academic fraud and its causes. Philosophy and Society. 2021;(2):5–22. (In Russ.)
  2. Yakovlev VF. Preventing students’ academic dishonesty in distance learning. Open and Distance Education. 2016;(1):14–19. (In Russ.) http://doi.org/10.17223/1609544/61/2
  3. Shelispanskaya E. The problem of academic dishonesty of students during distance lear- ning. Philosophical, Sociological, Psychological and Pedagogical Problems of Modern Education. 2021;(3):69–72. (In Russ.) http://doi.org/10.37386/2687-0576-2021-3-69-72
  4. Kolesnikov OL, Kolesnikova AA, Shishkova YuS, Sinitskii AI. Problems related to the implementation of distance education technologies. Mir Nauki, Kultury, Obrazovaniya. 2020;(4):243–245. (In Russ.). http://doi.org/10.24411/1991-5497-2020-00746
  5. Davydochkina SV. The use of questions such as “dragging markers” and “drag on the image” in the development of tests in the disciplines of the mathematical cycle. Voprosy Pedagogiki. 2020;(5‒2):109–114. (In Russ.)
  6. Davydochkina SV. Development of tests on probability theory in the electronic educational environment Moodle. Voprosy Pedagogiki. 2020;(10‒2):68‒71. (In Russ.)
  7. De Sande JCG. Calculated questions and e-Cheating: a case study. Education Applications and Developments. 2015;9:92–100.
  8. Nicholls GM, Schell WJ, Lewis NA. Best practices for using algorithmic calculated questions via a course learning management system. Paper presented at 2016 ASEE Annual Conference and Exposition, New Orleans, Louisiana. http://doi.org/10.18260/p.26377
  9. De Sande JCG. How long does it take for a calculated question to be burned? International Conference on Education and New Developments. Madrid; 2014.
  10. Ranjith R, Naseer A. Using functions and cyclic group in calculated questions Moodle 3.2. International Journal of Data Mining Techniques and Applications. 2017;6:39–42. http://doi.org/10.20894/IJDMTA.102.006.001.008
  11. Dobson J. Calculated question. The New Scientist. 2014;224:31–31.
  12. Smirnova ZhV, Mukhina MV. Moodle learning environment in the organization of know- ledge test control. Modern Problems of Science and Education. 2017;(2):182. (In Russ.)
  13. Glukhanova AA, Zakharova AYu, Mishchenko EV, Savitskaya TV. Development and implementation of information-educational resources on the calculation of technical systems reliability in the Moodle. Advances in Chemistry and Chemical Technology. 2016;30(4):15–17. (In Russ.)
  14. Vaganova OI, Aleshugina EA, Trutanova AV. Electronic system of management of Moodle training in organization of educational process of students-certificates. Azimuth of Scientific Research: Pedagogy and Psychology. 2017;6(2):25–27.
  15. Titova YuF. The use of calculated questions as a factor in improving the quality of edu- cation. Proceedings of the International Banking Institute. 2014;(9):93–96. (In Russ.)
  16. Osokin AE. Using a calculated type of test questions in the Moodle system. Information and Education: Borders of Communications. 2013;(5):385–386. (In Russ.)
  17. Fetisov V. Creating test tasks of a calculated type in Moodle. Educational Measurements. 2014;(4):69–76. (In Russ.)
  18. Tyugashev AA. Basics of programming (part 1). St. Petersburg: ITMO University; 2016. (In Russ.)
  19. Avacheva TG, Prutskov AV. A modern look at the concept of structured programming. Cloud of Science. 2019;6(4):645–665. (In Russ.)
  20. Stepanov AG, Kosmachev VM, Moskaleva OI. A calculated question in Moodle as a means of testing a student’s knowledge and skills. Informatization of Education and Methods of e-Learning: Digital Technologies in Education: Materials of the VI International Scientific Conference (part 3, p. 346–350). Krasnoyarsk; 2022. (In Russ.)
  21. Olekhova EF. To the question of generating test questions in mathematics in LMS Moodle. Modern Mathematics and Concepts of Innovative Mathematical Education. 2021;8(1):360–366. (In Russ.)

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Copyright (c) 2023 Stepanov A.G., Kosmachev V.M., Moskaleva O.I.

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.