Прогностическая модель оценки успешности предметного обучения в условиях цифровизации образования

Полный текст

Проблема и цель. Высшие учебные заведения России и мира активно внедряют цифровые технологии, обеспечивающие поддержку образовательного процесса и повышение качества образования в условиях его цифровой трансформации [1; 2]. Одним из распространенных примеров цифровой поддержки является применение систем управления обучением (LMS) и создание на их базе электронных обучающих курсов (ЭОК), количество которых стремительно выросло за последние годы, особенно в период распространения новой коронавирусной инфекции и вынужденного массового перехода вузов к онлайн-обучению. Педагогическая практика и накопленный опыт в области электронного обучения демонстрирует высокий уровень результативности и эффективности смешанного формата обучения, сочетающего традиционные формы офлайн-обучения с элементами онлайн-обучения. Наличие множества образовательных данных, накапливаемых в условиях смешанного обучения в электронной информационно-образовательной среде (ЭИОС) вуза и пополняемых как автоматизировано, так и вручную преподавателями, дает возможность решения различных задач учебной аналитики. Например, прогнозирования успешности обучения студента на основе построения и использования прогностических моделей. Анализ научно-педагогической литературы показывает, что наиболее часто прогностические модели опираются на алгоритмы машинного обучения и наборы предикторов, задаваемых авторами с учетом методики изучения дисциплин. В исследовании предлагается использовать Марковскую модель, которая, на наш взгляд, позволяет найти объективные прогнозные значения успеваемости обучающихся, оценить значения латентных параметров и на основе этого выстроить сценарии оптимального управления процессом обучения каждого обучающегося. Заметим, что в отличие от большинства исследовательских работ, в которых успешность обучения рассматривается с точки зрения прогнозирования отсева студентов, мы рассматриваем успешность обучения по конкретной дисциплине с целью раннего прогнозирования успеваемости обучающихся по дисциплине (результатов промежуточной аттестации). Одной из задач исследования является выделение кластеров обучающихся, классифицированных по группам риска относительно факта сдачи промежуточной аттестации по дисциплине, например группа высокого, пограничного и низкого риска неуспешности. Определив кластеры обучающихся, перспективным представляется построение и реализация сценариев управляющего содействия и помощи обучающимся с высоким риском образовательной неуспешности. Очевидно, что данная работа должна осуществляться на ранних этапах образовательного процесса и чем раньше это будет сделано, тем большего успеха в обучении может добиться студент. Таким образом, цель исследования - построение эффективной прогностической модели, обеспечивающей динамическое прогнозирование успешности предметного обучения студентов на основе данных ЭИОС вуза в условиях цифровизации образования. Методология. Наиболее распространенной практикой в области прогнозирования образовательных результатов обучающихся является прогнозирование на основе данных учебной аналитики. В научных исследованиях обозначены распространенные в образовательных организациях проблемы, связанные со сбором и интерпретацией образовательных данных. Особое значение в задачах учебной аналитики, как подчеркивают исследователи Университета Константина Философа (Constantine the Philosopher University in Nitra), приобретает важность процессов сбора и хранения данных учебной аналитики, ограничения и интерпретации доступных наборов образовательных данных [3]. Пример прогноза успешности обучения продемонстрирован в [4], где предложена прогностическая модель, использующая образовательные данные, накапливаемые в LMS, и данные, поступающие от преподавателей, а именно результаты текущей успеваемости и посещаемости аудиторных занятий. В связи с влиянием субъективного фактора при фиксации данных преподавателями и широкими возможностями регулярного мониторинга и сбора образовательной статистики в ЭИОС актуальность приобретает построение математической модели, обеспечивающей прогнозирование академической успеваемости студентов вуза на основе регулярно пополняемого цифрового следа обучающегося. Одним из распространенных подходов является прогнозирование отсева студентов на уровне дисциплины при статичной структуре электронного обучающего курса и регулярной наполняемости его данными в течение нескольких лет [5]. Очевидно, что в условиях интенсивной динамичности содержания образовательной программы и входящих в нее дисциплин это выступает существенным ограничением прогностической модели. В модели прогнозирования, предложенной учеными Национального университета Сан-Агустина (Universidad Nacional de San Agustín), в качестве предикторов используют не только данные из LMS, но и социально-демографические данные, а также данные социальных сетей [6]. Авторы в своем исследовании выделяют двадцать два предиктора и строят прогноз на основе алгоритма Simple Regression Tree Learner, достигая достаточно высокой точности для студентов старших курсов обучения, колеблющейся от 4 до 6 % для первого и третьего курсов. Однако подобные прогностические модели в связи с высоким количеством предикторов сложны для масштабирования и нуждаются в развитии с точки зрения повышения точности предсказания для студентов первого курса обучения. Исследователи Туринского политехнического университета (Politecnico di Torino), предлагают осуществлять раннее прогнозирование успеваемости на основе алгоритмов ассоциативной классификации [7]. Считается, что ассоциативные классификаторы более точны, чем традиционные деревья решений и алгоритмы машинного обучения и опираются на базу знаний, интерпретирующих повторяющиеся сочетания тех или иных предикторов. В основу модели положена классификация, выстроенная на базе знаний, которая интерпретирует повторяющиеся сочетания различных совокупностей предикторов. Подчеркивается, что результаты работы ассоциативной модели исследуется вручную для определения профилей учащихся, находящихся в группе риска неуспешности обучения, что серьезно ограничивает применение модели для прогнозирования при большом контингенте студентов. Одним из наиболее обстоятельных является исследование группы ученых Университета Овьедо (University of Oviedo) и Коркского технологического института (Cork Institute of Technology) по раннему прогнозированию успешности обучения. В нем авторы на основе использования совокупности методов машинного обучения демонстрируют, что модели, обученные на данных из LMS для одной выбранной дисциплины, могут давать низкую точность для другой дисциплины и предлагают подход, основанный на построении различных моделей прогнозирования для студентов, классифицированных по группам риска, например, так называемых неудачников и отличников [8]. Установлено, что точность прогнозирования при таком подходе возрастает по мере увеличения момента предсказания, то есть чем больше период сбора данных, тем выше точность прогноза. Например, уже начиная с середины семестра изучения дисциплины можно достичь точности выше 90 % для выявления обучающихся как высокого, так и низкого риска неуспешности. Но оказать помощь и поддержку отстающим студентам в тот момент, когда прошло уже более половины учебного семестра, не всегда представляется результативным. Несмотря на популярность и востребованность подобных исследований, подходов к построению прогностических моделей и реализации на их основе цифровых сервисов в ЭИОС вузов в отечественной и зарубежной практике, которые бы позволяли массово на регулярной основе на ранних этапах прогнозировать образовательный результат обучающихся, пока не представлено. Полагаем, в основу решения данной задачи можно заложить применение марковских моделей прогнозирования успешности обучения. Отметим, что марковские модели не пользуются популярностью в задачах прогнозирования успешности обучения студентов ни в России, ни за рубежом. Немногочисленные существующие работы, в основе которых лежит марковская модель, решают задачи долгосрочного прогнозирования, например позволяют на основе результатов промежуточных аттестаций студентов прогнозировать успешное завершение обучения в университете или вероятность отсева студентов по курсам или направлениям обучения [8-12]. Результаты и обсуждение. В исследовании мы рассматриваем процесс обучения как марковский процесс. В работе Е.С. Вентцеля и Л.А. Овчарова показано, что если процесс удовлетворяет свойствам пуассоновских потоков событий, а именно свойствам стационарности, отсутствия последействия и ординарности, то он может быть представлен как марковский процесс [13]. Для процесса обучения свойство стационарности представляет собой независимость времени изучения учебного материала (изучения темы, выполнения задания, решения теста и др.) от времени его начала. Свойство отсутствия последействия состоит в том, что время решения задачи не зависит от того, решались ли другие задачи ранее; время изучения темы не зависит от времени изучения других тем, а свойство ординарности в том, что наступление двух и более переходов между процессами тренинга и передачи знаний за малый промежуток времени практически невозможно. На основании этого процесс обучения по дисциплине можно представить с помощью марковского процесса «гибель - размножение». Для этого мы выделяем в процессе обучения студента по дисциплине процессы получения информации/учебного материала (представление учебных объектов и материалов, передача знаний, демонстрация умений и т. п.) и усвоения информации/учебного материала (формирование навыков, овладение опытом и т. п.), которые являются противоположно направленными. Конечно, это разделение является в некотором роде условным, но тем не менее прослеживается в научных исследованиях и педагогической практике. Заметим, что процесс получения информации не зависит от отношения к нему студента, который обязан освоить учебные материалы и сформировать образовательные результаты на уровне не ниже прописанного в рабочей программе дисциплины. В свою очередь, процесс усвоения учебного материалы субъективен и во многом зависит от личностных качеств и особенностей обучающихся. Классически при применении марковских моделей вводится шкала оценивания обучающегося и в каждый момент времени можно поставить в соответствие студенту некоторое состояние Sk при k, соответствующем размерности вводимой шкалы (5-балльная, 100-бальная и др.). Например, 5-балльная шкала оценивания, принятая в вузах России, предполагает, что состояние Sk может быть представлено как одно из четырех возможных состояний студента: S1 - студент знает предмет на «отлично», S2 - на «хорошо», S3 - на «удовлетворительно» и S4 - на «неудовлетворительно» [4]. Переходы между этими состояниями осуществляются под воздействием процессов получения и усвоения информации, генерирующих два встречных потока событий, связанных с учебной деятельностью, интенсивность которых можно считать постоянной. Обозначим интенсивность процесса получения информации λ, процесса усвоения информации μ. Таким образом, каждому состоянию Sk, например при k = 1,…,4, можно поставить в соответствие pk(t) - вероятность наступления этого состояния в момент времени t, которые можно найти из системы уравнений Колмогорова [13]: С учетом экспертного мнения преподавателей и согласно ранее проведенным исследованиям, принимаем интенсивность процесса получения информации λ = 1, а интенсивность процесса усвоения информации μ = 3/2 [4]. Однако, учитывая, что студенты по-разному усваивают материал дисциплины, считаем необходимым ввести персонификацию коэффициента μ относительно каждого обучающегося за счет введения функции успешности обучения - , характеризующей учебную деятельность i-го студента по изучению данной дисциплины в каждый момент времени изучения дисциплины t. В педагогической практике понятие «успешность обучения» рассматривается учеными как качественная характеристика, показатель результативности педагогической деятельности, но ее содержательное наполнение и набор качественных показателей различны [14]. Анализ разных подходов к определению сущности и результатов обучения позволил выделить такие качественные показатели успешности, как текущая успеваемость, активность и эффективность [15]. В условиях цифровизации образования и развития онлайн-обучения, осуществляемого на базе электронного обучающего курса, предлагаем формализовать эти характеристики следующим образом. Текущую академическую успеваемость обучающегося по дисциплине определим как суммарную оценку текущего образовательного результата i-го обучающегося в баллах из электронного журнала ЭОК в момент времени t. Активность определим как кликабельную активность i-го обучающегося в электронной среде предметного обучения в момент времени t и интерпретируем ее как личностную характеристику, выражающую упорство, целеустремленность студента в освоении дисциплины. Эффективность определим как количество эффективных входов i-го обучающегося в ЭОК по дисциплине в момент времени t - характеристика, отражающая настойчивость и вовлеченность студента в учебный процесс. Под эффективными входами понимаем учебные действия обучающегося в ЭОК, результаты которой сопровождаются получением оценки. Предложенные интерпретации показателей успешности в электронной среде как личностных характеристик обучающихся носят гипотетический характер и представляют интерес для дальнейшей исследовательской работы. Введенные в работе показатели успешности обучения выступают универсальными предикторами для построения прогностической модели, так как могут выступать источниками данных для прогнозирования успеваемости по любой дисциплине вне зависимости от структуры электронного обучающегося курса. В связи с разнородным характером, накапливаемых в учебном процессе данных предлагаем использовать относительные показатели успеваемости, активности и эффективности, рассчитываемые еженедельно в течение учебного процессе по дисциплине. Относительную успеваемость студента предлагаем определять как , , (2) где - относительная накопленная успеваемость i-го студента на текущую неделю t; - текущая успеваемость i-го студента в неделю ; - максимальное значение текущей успеваемости по группе в неделю . Относительную активность студента в ЭОК определим как , , (3) где - относительная накопленная активность в ЭОК i-го студента в текущую неделю t; - активность в ЭОК i-го студента в неделю ; - максимальное значение активности в ЭОК по группе в неделю . Относительную эффективность входов в ЭОК предлагаем определять как , , (4) где - относительная накопленная эффективность входов в ЭОК i-го студента в неделю t; - эффективность входов в ЭОК i-го студента в неделю ; - максимальное значение эффективности входов в ЭОК по группе в неделю . На основе полученных данных в электронной среде успешность обучения студента в относительном выражении предлагаем определять по формуле (5) где - это веса для параметров успеваемости (), активности () и эффективности входов () соответственно, Обучение модели раннего прогнозирования успешности обучения осуществлялось на основе архивных данных, которые были собраны в предшествующий исследованию период. Для расчета коэффициентов на основе обучающей выборки вычислены коэффициенты корреляции между результатами: - промежуточной аттестации студентов и их текущей успеваемостью (); - промежуточной аттестации студентов и их активностью в ЭОК (); - промежуточной аттестации студентов и эффективностью их входов в ЭОК ( Оказалось, что самая сильная корреляционная связь наблюдается между результатами промежуточной аттестации студентов и их текущей успеваемостью () (коэффициент корреляции равен 0,86), а корреляционная связь между результатами промежуточной аттестации студентов и их активностью в ЭОК и результатами промежуточной аттестации студентов и их эффективностью входов в ЭОК слабее (коэффициенты равны 0,22 и 0,32 соответственно). Исходя из этого, для вычисления функции успешности выбраны коэффициенты k1 = 0,7; k2 = 0,1; k3 = 0,2. В результате функция успешности обучения студента представляет собой (6) Соответственно, интенсивность процесса усвоения информации μ равняется , а система уравнений Колмогорова примет вид В результате решения полученной системы дифференциальных уравнений получаем вероятности pk(t) состояний для каждого обучающегося на неделе t. Поскольку процесс обучения длится достаточно долго, а потоки событий являются простейшими, возникает вопрос о предельном поведении вероятностей (финальных вероятностей) при t→∞. Финальные вероятности не зависят от того, в каком состоянии находилась система в начальный момент. Это означает, что в системе устанавливается предельный стационарный режим, в ходе которого она переходит из состояния в состояние, но вероятности состояний уже не меняются. Поэтому вероятности состояний целесообразно пересчитывать еженедельно по финальным вероятностям, они более точно характеризуют вероятности оценок на промежуточной аттестации, если интенсивность процесса усвоения информации останется на постоянном уровне. Формула для расчета финальных вероятностей при k = 1,…,4 имеет вид Для выделения кластеров студентов, характеризующихся высоким, пограничным (средним) и низким рисками неуспешности обучения, воспользуемся формулой математического ожидания, которое для i-го обучающегося в нашем случае будет иметь вид (9) В случае, когда соблюдается неравенство и математическое ожидание Mi ≤ 3, вероятности получить на экзамене оценки «отлично» или «хорошо» достаточно малы (менее 0,1 и менее 0,2 соответственно), а вероятность получения неудовлетворительной оценки достаточно высока - более 0,4. Вычисления по обучающей выборке это подтвердили. Экспериментально установлено, что кластер обучающихся высокого риска неуспешности обучения определяется неравенством Mi ≤ 3, кластер обучающихся пограничного риска определяется неравенством 3 < Mi ≤ 3,4, а кластер студентов низкого риска - 3,4 < Mi. Предложенная в работе прогностическая модель была применена для оценки успешности предметного обучения для студентов Сибирского федерального университета направления подготовки «Информатика и вычислительная техника» по дисциплинам: «Дискретная математика», «Алгебра и геометрия», «Программирование». Качественная оценка работы модели была произведена на основе расчета точности прогнозирования, а именно взвешенной абсолютной процентной ошибки прогнозирования. Взвешенная абсолютная процентная ошибка прогнозирования - WAPE (weighted absolute percent error) рассчитана по формуле , (10) где - прогнозируемое значение успешности (успех, неудача) промежуточной аттестации по дисциплине; - реальное значение успешности (успех, неудача) промежуточной аттестации по дисциплине; R - количество обучающихся, участвовавших в эксперименте. Оценка точности прогнозирования определена как разница между 100 % и ошибкой прогнозирования и представлена в виде графика понедельной точности работы прогностической модели оценки успешности предметного обучения (рисунок). Изображение выглядит как диаграмма Автоматически созданное описание Точность прогнозирования успешности предметного обучения Accuracy in predicting success in subject-based learning Как видно по рисунку, точность прогнозирования составила более 90 %, начиная с 7-й недели обучения. Проведенная апробация предложенной в работе прогностической модели показала, что прогнозирование успеваемости студентов по дисциплине осуществляется с достаточно высокой степенью точности, что позволяет говорить о состоятельности модели. Заключение. Подводя итоги, отметим, что в качестве источников данных прогностической модели могут выступать универсальные предикторы, определяющие успешность предметного обучения, такие как успеваемость, упорство (целеустремленность) и настойчивость, для которых определены качественные показатели ЭОК. Предложенная прогностическая модель позволяет выделить кластеры обучающихся с высоким, пограничным и низким риском неуспешности обучения на ранних стадиях образовательного процесса, что позволяет своевременно реагировать и принимать меры. На основе полученных результатов исследования считаем перспективным реализацию цифрового сервиса прогнозирования академической успеваемости обучающихся в электронной информационно-образовательной среде вуза. В настоящее время в Сибирском федеральном университете осуществляется программная реализация алгоритмов работы прогностической модели и создание цифрового сервиса прогнозирования академической успеваемости обучающихся на основе данных, формируемых в сервисах ЭИОС университета, что позволит своевременно реагировать и принимать меры содействия и поддержки, как в отношении обучающихся, попадающих в группу риска, так и успешных обучающихся, с целью выстраивания персонализированных маршрутов личностного развития.

Об авторах

Михаил Валерианович Носков

Сибирский федеральный университет

Email: mnoskov@sfu-kras.ru
ORCID iD: 0000-0002-4514-7925

доктор физико-математических наук, профессор, профессор кафедры прикладной математики и компьютерной безопасности, Институт космических и информационных технологий

Российская Федерация, 660041, Красноярск, Свободный пр-кт, д. 79

Юлия Владимировна Вайнштейн

Сибирский федеральный университет

Автор, ответственный за переписку.
Email: yweinstein@sfu-kras.ru
ORCID iD: 0000-0002-8370-7970

доктор педагогических наук, доцент, профессор кафедры прикладной математики и компьютерной безопасности, Институт космических и информационных технологий

Российская Федерация, 660041, Красноярск, Свободный пр-кт, д. 79

Марина Валериевна Сомова

Сибирский федеральный университет

Email: msomova@sfu-kras.ru
ORCID iD: 0000-0002-8538-4108

старший преподаватель, кафедра прикладной информатики, Институт космических и информационных технологий

Российская Федерация, 660041, Красноярск, Свободный пр-кт, д. 79

Ирина Михайловна Федотова

Сибирский федеральный университет

Email: ifedotova@sfu-kras.ru
ORCID iD: 0000-0002-8673-6275

кандидат физико-математических наук, доцент, доцент кафедры прикладной математики и компьютерной безопасности, Институт космических и информационных технологий

Российская Федерация, 660041, Красноярск, Свободный пр-кт, д. 79

Список литературы