Вычисляемые вопросы Moodle как средство проверки знаний и умений

Полный текст

Постановка проблемы. Академическое мошенничество существовало в науке всегда. Традиционно к нему относили плагиат, фальсификацию данных и некоторые другие виды недобросовестности, связанные с присвоением чужих результатов [1]. Развитие информационных технологий привело и к расцвету различных форм академической нечестности среди обучающихся. Начавшись с индивидуального изготовления шпаргалок, списывания и подсказывания, она приняла почти промышленные масштабы в виде различного рода организаций и групп, изготавливающих на заказ контрольные, курсовые и выпускные работы, а также выполняющих компьютерное тестирование третьими лицами [2]. Повсеместное использование средств тестирования даже породило новые термины «для обозначения обмана и списывания при проведении компьютерного и удаленного контроля знаний: электронное списывание (e-cheating), списывание онлайн (online e-cheating) и киберсписывание (cybercheating)» [3, с. 70-71]. Ситуация существенно обострилась в условиях массового перехода на дистанционное обучение [4]. С.В. Давыдочкина указывает на бесконтрольное использование «самими тестируемыми сети Интернет с обширной информационной базой, откуда можно почерпнуть ответы на практически любой вопрос теста, и все более разрастающейся сферой вычислительных услуг, предлагаемых различными порталами и сайтами, специализирующимися на решении стандартных задач из многих учебных дисциплин» [5, с. 109]. Современные технические средства (смартфоны, умные часы и т. п.) во время проведения контроля позволяют испытуемым производить поиск в таблицах правильных ответов на задания теста. Для борьбы с мошенничеством и с целью повышения качества оценивания результатов обучения возникает необходимость разработки методики создания таких тестовых заданий, ответы на которые не могут быть получены средствами компьютерного поиска по мошенническим схемам. Анализ имеющихся возможностей показал, что традиционно применяемые средства программирования тестовых заданий не в полной мере удовлетворяют потребностям практики и позволил выявить проблему, заключающуюся в несоответствии используемых возможностей систем компьютерного тестирования требованиям сегодняшнего дня в части обеспечения качества контроля знаний и умений на этапах текущего и промежуточного контроля. Цель исследования - разработка методики создания тестовых заданий, защищенных от академического мошенничества. Методология. Система управления обучением Moodle предлагает пользователю шестнадцать вариантов построения тестовых заданий. Большинство из них («Верно/Неверно», «Множественный выбор», «Выбор пропущенных слов» и т. п.) ориентированы в первую очередь на проверку знания фактов. При их использовании в ответ на сформулированный вопрос система ожидает точный ответ. Задания подобного рода могут решаться методом угадывания, а при групповой работе с тестом сбором статистики для составления таблиц правильных ответов, что, собственно говоря, и происходит в реалиях. Далее в процессе проведения тестирования, пользуясь собственными техническими средствами, испытуемые находят ответ на вопрос в таблице и, как следствие, дезавуируют систему контроля. Поэтому перечисленные задания целесообразно использовать только в процессе текущего контроля, когда проверяющий заинтересован не столько в результатах измерения уровня знаний, сколько в автоматизации усвоения обучаемыми набора фактов или утверждений. В этом случае система тестирования используется как дополнительное средство обучения. Самостоятельную роль в текущем контроле могут играть предусматривающие клавиатурный ввод текста обучаемым задания «Короткий ответ». Их удобно использовать для контроля владения терминологией, когда проверяется знание определений. При их программировании приходится учитывать особенности русского языка, связанные со склонением и спряжением слов. В этом случае задание предусматривает несколько вариантов правильных ответов и имеет частичную возможность токенизации введенного слова. На этапе промежуточного контроля при проверке знаний, умений и навыков как средство борьбы с академической нечестностью предлагается использовать задания со случайными вариантами наборов входных данных. С.В. Давыдочкина упоминает так называемый «Вычисляемый вопрос» [6]. Он обсуждается как в зарубежных [7-11], так и в отечественных публикациях [12-14]. На целесообразность использования «Вычисляемого вопроса» Moodle обратила внимание и Ю.Ф. Титова [15]. Указывая на его высокую эффективность, она отмечает существенно бо́льшую трудоемкость его создания, но утверждает при этом, что если «сравнить время, затраченное на создание 100 однотипных вопросов типа „короткий ответ“ с разными исходными данными, и время, затраченное на создание одного вычисляемого вопроса, то второе будет меньше, а результат качественнее» [15, с. 96]. Особо выделяет «Вычисляемый вопрос» А.Е. Осокин [16]. На примере вычисления касательной графика степенной функции он программирует выражение для правильного ответ на вопрос тестового задания при случайных значениях весового коэффициента и степени исследуемой функции. Наиболее подробно технология программирования «Вычисляемого вопроса» изложена в статье В. Фетисова [17], где автор шаг за шагом приводит последовательность действий по кодированию и настройке в среде Moodle вычисляемого вопроса. «Вычисляемый вопрос» Moodle имеет и ряд недостатков. При его подготовке у разработчика теста возникают трудности связанные с ограниченными возможности языка программирования правильного ответа. Перечень предлагаемых базовых арифметических операций и доступных встроенных функций относительно невелик[28]. К сожалению, в нем отсутствуют функции, позволяющие учитывать результаты проверки логических выражений для ветвления программы. Результаты и обсуждение. В программировании принято различать императивный и декларативный подходы к составлению алгоритмов [18]. Универсальные языки программирования используют императивный подход и, в соответствии с теоремой о структурном программировании, обеспечивают возможность решения любой алгоритмической задачи. Предполагается, что «программы строятся из трех видов управляющих структур (следование, выбор и повторение) с помощью конструктивного метода нисходящего проектирования с возможностью доказательства их правильности» [19, с. 660]. С развитием информатики и внедрением методик обучения языкам высокого уровня в школе императивные языки и, как следствие, императивный способ мышления получили широкое распространение при решении самых разных прикладных задач. В то же время средства программирования Moodle опираются на декларативный подход к вычислению правильного ответа. Очевидно, что при алгоритмической подготовке тестового задания у разработчика возникает желание воспользоваться более знакомой ему императивной методикой. К сожалению, создать обязательный набор операторов структурного программирования для «Вычисляемого вопроса» пока не удалось. Методы создания декларативных условных алгоритмов обсуждаются[29]. В [20, с. 346-350] мы описали свою методику программирования «Вычисляемого вопроса», реализующую условный оператор. В табл. 1 приводится сводка полученных там результатов. Если и целые числа и в поле «Формула ответа 1 =» надо запрограммировать вычисление результата выполнения условия вида Результат = if (Условие) then (Выражение 1) else (Выражение 2), то формула для вычисления правильного ответа может быть записана как последовательность декларативных операторов Moodle, в которые также входят и описанные пользователем выражение 1 и выражение 2. Таблица 1 Заготовки для декларативного программирования условных операторов Условие Заготовка формулы для вычисления правильного ответа ((Abs({x} - {y} + 0.5) / ({x} - {y} + 0,5) + 1) / 2) * (Выражение 1) + (1 - ((Abs({x} - {y} + 0,5) / ({x} - {y} + 0,5) + 1) / 2)) * (Выражение 2) (1 - (Abs({x} - {y} + 0,5) / ({x} - {y} + 0,5) + 1) / 2) * (Выражение 1) + (((Abs({x} - {y} + 0,5) / ({x} - {y} + 0,5) + 1) / 2)) * (Выражение 2) ((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2) * (Выражение 1) + (1 - ((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2)) * (Выражение 2) (1-((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2)) * (Выражение 1) + ((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2) * (Выражение 2) (1 - ((1 - ((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2)))) * (1 - (1 - ((Abs({x} - {y} + 0,5) / ({x} - {y} + 0,5) + 1) / 2))) * (Выражение 1) + ((1 - ((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2)) + (1 - ((Abs({x} - {y} + 0,5) / ({x} - {y} + 0,5) + 1) / 2))) * (Выражение 2) ((1 - ((Abs({x} - {y} + 0,5) / ({x} - {y} + 0,5) + 1) / 2)) + (1 - ((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2))) * (Выражение 1) + (1 - ((1 - ((Abs({y} - {x} + 0,5) / ({y} - {x} + 0,5) + 1) / 2)))) * (1 - (1 - ((Abs({x} - {y} + 0,5) / ({x} - {y} + 0,5) + 1) / 2))) * (Выражение 2) Table 1 Workpiece for declarative programming of conditional statements Condition Workpiece a formula to calculate the correct answer ((Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2) * (Expression 1) + (1 - ((Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2)) * (Expression 2) (1 - (Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2) * (Expression 1) + (((Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2)) * (Expression 2) ((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2) * (Expression 1) + (1 - ((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2)) * (Expression 2) (1-((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2)) * (Expression 1) + ((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2) * (Expression 2) (1 - ((1 - ((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2)))) * (1 - (1 - ((Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2))) * (Expression 1) + ((1 - ((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2)) + (1 - ((Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2))) * (Expression 2) ((1 - ((Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2)) + (1 - ((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2))) * (Expression 1) + (1 - ((1 - ((Abs({y} - {x} + 0.5) / ({y} - {x} + 0.5) + 1) / 2)))) * (1 - (1 - ((Abs({x} - {y} + 0.5) / ({x} - {y} + 0.5) + 1) / 2))) * (Expression 2) Сложнее обстоит дело с программированием операторов цикла. Имеются примеры декларативного программирования на основе кода с неизменяемыми переменными и рекурсии[30]. К сожалению, найти аналогичные варианты с использованием операторов программирования «Вычисляемого вопроса» в Moodle нам пока не удалось, поэтому приходится использовать альтернативные варианты формулировок вопросов тестового задания. Так, например, если при тестировании проверяется понимание студентом сути задания и владение им необходимыми для решения методами, в словесной формулировке вопроса теста можно требовать не обработку всего набора данных, а вычисления, например, наибольшего или наименьшего значения, что программируется на основе встроенных функций min или max. На форуме Moodle кроме «Вычисляемого вопроса» обсуждается возможность применения еще одного типа тестового задания: Formulas или в русском переводе «Формулы»[31]. Обучением программированию заданий такого типа занимается Л.А. Татарникова[32], а общая технология программирования вопроса «Формулы» описана в работе Е.Ф. Олеховой [21]. Тип задания «Формулы» тоже обеспечивает возможность создания компьютерных тестов на основе случайных исходных данных и использования методов программирования для вычисления правильного ответа, но проще в разработке и имеет бо́льшие функциональные возможности. Хотя систематического описания языка программирования, который используется во вкладках «Переменные» [21, с. 363] задания «Формулы», нами не найдено, экспериментально установлено, что язык содержит, правда в ограниченном варианте применения, блоки операторов, условный оператор и оператор цикла в форме перебора всех элементов созданной ранее последовательности. Существует возможность подстановки в формулировку вопроса, случайно выбранного из последовательности в том числе и текстового элемента. Такой прием позволяет генерировать множество случайных заданий с различными текстами основного вопроса, что сужает возможности поиска при академической нечестности. К недостаткам можно отнести отсутствие развитых средств работы со строками, что ограничивает возможность обработки ответов испытуемого только численными значениями. Как следствие, использование заданий подобного типа открывает весьма широкие возможности для создания защищенных от мошенничества обучающихся систем тестирования. Использование условных операторов в сочетании с генерацией случайных наборов данных позволяет расширить возможности компьютерной проверки знаний, умений и навыков. К сожалению, реализовать оператор цикла для «Вычисляемого вопроса» не удалось, в связи с чем язык его программирования не может быть признан универсальным. Целесообразно вводить в практику задания типа «Формулы», которые имеют большие возможности для реализации принципов императивного программирования. Однако в настоящее время его использование ограничивается отсутствием описания встроенного языка программирования. Как результат, использование заданий обсуждаемых типов уменьшит количество случаев мошенничества при проведении тестирования за счет существенного увеличения вариантов заданий и дополнительно позволит использовать систему тестирования как тренажер для формирования знаний и умений обучаемых. Разработанная технология декларативного программирования вычисляемого вопроса применялась нами для организации тестирования в процессе обучения дисциплине «Основы программирования». Фиксировать случаи мошенничества при проведении тестирования и тем более получить надежную их статистику весьма затруднительно. Поэтому для организации эксперимента были приняты во внимание следующие соображения. Для вопросов типа «Вычисляемый», «Формулы», «Числовой ответ», которые могут использоваться для формирования умений, может генерироваться 100 и более вариантов их формулировки. При проведении испытаний каждый билет при каждом сеансе тестирования для каждого студента формируется случайным образом средствами Moodle. Как следствие, все предлагаемые студентам задания уникальны в пределах одной дисциплины, что снижает вероятность академической нечестности. Было решено предоставить студентам возможность самопроверки результатов своего обучения за счет введения дополнительных испытаний, использующих созданный банк тестовых вопросов в Moodle. Он содержит разбитые на категории в соответствии с разделами дисциплины 813 заданий. Номенклатура используемых вопросов приведена в табл. 2. К эксперименту, проводимому в осеннем семестре 2022-2023 учебного года, были привлечены 33 студента второго курса направления «Бизнес-информатика». Таблица 2 Номенклатура используемых вопросов системы тестирования Вид испытаний Вычисляемый Формулы Числовой ответ Короткий ответ На соответствие и слу- чайный вопрос на соответствие Перетаскивание в текст Выбор пропущенных слов Множественный выбор Верно/ Неверно Текущие 70 3 46 105 29 14 8 202 336 Промежуточные 59 1 40 85 22 14 5 70 11 Table 2 Nomenclature used questions of testing system Type of test Calcu- lated Formula Numeric answer Short answer Match and random correspondence question Drag to text Missing word pick Multiple choice True / False Current 70 3 46 105 29 14 8 202 336 Inter- mediate 59 1 40 85 22 14 5 70 11 Дополнительный текущий контроль, участие в котором было необязательным для студента, представлял собой четыре синхронизированных по содержанию с лекционным курсом процедуры тестирования. В каждой из них студент выполнял до трех независимых попыток пройти тест, причем последующие попытки разрешались не раньше, чем через 48 часов после завершения предыдущей. Участвовать в каждой процедуре можно было с произвольного компьютера в любое удобное время в течение двух календарных недель в конце каждого месяца обучения. Промежуточный контроль знаний (экзамен) также был реализован в виде компьютерного теста, однако при его проведении для контроля результатов обучения использовались специально выделенные из общего числа относительно сложные задания общим количеством 307 штук. К текущим испытаниям были допущены все студенты, но этой возможностью воспользовалось 12 человек, из которых только 7 получили положительные оценки за все четыре этапа текущих испытаний. Именно они и составили контрольную группу студентов, которая прошла промежуточное тестирование со средним результатом 8,03 балла по десятибалльной шкале. Остальные 22 студента, допущенные к промежуточной аттестации, были отнесены к экспериментальной группе и по результатам промежуточного контроля получили средний балл 5,32 по десятибалльной шкале. Таким образом, имея возможность многократно сталкиваться с типовыми задачами с различными наборами данных по мере изучения материала дисциплины, студенты получают дополнительные умения, в то время как отсутствие подобного опыта снижает качество подготовки. Как следствие, предлагаемая методика позволяет снизить вероятность академического мошенничества и может быть использована на практике. Заключение. Новые технологии, внедряемые в учебный процесс, приводят только к изменению форм обучения, но поведение людей при этом не меняется. Мы и далее будем сталкиваться с проявлениями академической нечестности, но отказаться от использования компьютеров как средств контроля результатов обучения уже никогда не сможем. Скорее всего, скоро придется признать, что использовать тестовые задания с альтернативным и множественным выбором имеет смысл только на начальном этапе изучения дисциплины, например для автоматизации обучения терминологии. А сам контроль должен проводиться с использованием заданий со случайными формулировками и наборами входных данных.

Об авторах

Александр Георгиевич Степанов

Санкт-Петербургский государственный университет аэрокосмического приборостроения

Email: georgich_spb@mail.ru
ORCID iD: 0000-0002-3922-9684

доктор педагогических наук, доцент, профессор кафедры бизнес-информатики и менеджмента

Российская Федерация, 190000, Санкт-Петербург, ул. Большая Морская, д. 67

Валентин Михайлович Космачев

Санкт-Петербургский государственный университет аэрокосмического приборостроения

Email: kvm@aanet.ru
ORCID iD: 0000-0002-9453-1915

кандидат технических наук, доцент, профессор кафедры бизнес-информатики и менеджмента

Российская Федерация, 190000, Санкт-Петербург, ул. Большая Морская, д. 67

Ольга Ильинична Москалева

Санкт-Петербургский государственный университет аэрокосмического приборостроения

Автор, ответственный за переписку.
Email: o.i.moskaleva@gmail.com
ORCID iD: 0000-0001-7378-5126

старший преподаватель, кафедра бизнес-информатики и менеджмента

Российская Федерация, 190000, Санкт-Петербург, ул. Большая Морская, д. 67

Список литературы