Cluster approach to criteria evaluation of the quality of a student’s educational outcome

Full Text

Проблема и цель. Для современной теории и практики образования сохраняют свою актуальность проблемы критериального оценивания образовательных результатов обучаемого. Как правило, мероприятия по мониторингу образовательных ресурсов в учебных заведениях проводятся экспертными, «ручными», неавтоматизированными способами. Во многих психолого-педагогических исследованиях приходится сталкиваться с необходимостью проводить оценку качества инновационных средств и методов обучения. Целесообразность их использования, полезность и эффективность обычно доказывают путем сравнения образовательных результатов в контрольных и экспериментальных группах. При больших выборках обучающихся оценивание их учебных достижений, предметных, метапредметных и личностных результатов обучения представляет трудоемкую и затратную деятельность исследователя. В соответствии с направлениями цифровой трансформации образования необходимо создание технологичной, отвечающей требованиям современного общества системы оценивания, подлежащей автоматизации и интеллектуализации. Идея использовать методы распознавания образов для оценивания и диагностики качества образовательных результатов и ресурсов не получала развитие в силу достаточности и доступности существующих традиционных рейтинговых, анкетных, тестовых методик, опирающихся на методы математической статистики, и программных приложений типа электронных таблиц. Однако широкое распространение искусственного интеллекта определяет перспективные возможности машинного обучения в разработке интеллектуальных систем оценивания и диагностики качества образовательных продуктов. Цель работы - обоснование новой модели критериального оценивания качества образовательного результата, опирающейся на математические методы теории кластеризации и распознавания образов и позволяющей автоматизировать процедуры оценки качества образовательных объектов, ресурсов, учебных и личностных достижений обучаемых. Методология. В последнее время наибольшую популярность приобрела технология критериального оценивания, которая является одной из основных измерительных инструментов качества образовательных результатов [1]. Под критериальным оцениванием понимают процесс сравнения учебных достижений обучаемого с четко определенными экспертными критериями, соответствующими целям и содержанию образования. Само понятие «критерий» означает признак, основание, правило принятия решения по оценке чего-либо на соответствие предъявленным требованиям. Как правило, основной принцип критериального оценивания заключается в определении эталона (идеала) образовательного результата и создании шкалы, задающей степень соответствия достигнутых результатов обучаемого этому идеалу[12]. Одной из задач цифровизации образования является технологизация диагностики дидактических состояний обучаемого. Диагностика должна быть направлена не только на образовательные результаты (предметные, метапредметные и личностные), но и на когнитивные и психолого-педагогические аспекты учебно-воспитательного процесса [2]. Одной из задач современного образования является разработка подходов к определению уровня вычислительного мышления студентов [3], для развития которого необходимо формировать у студентов ряд специфических свойств. С.Л. Рубинштейн рассматривает мыслительный процесс как систему сознательно регулируемых интеллектуальных операций: «…к разрешению стоящей перед ним задачи мышление идет посредством многообразных операций, составляющих различные взаимосвязанные и друг в друга переходящие стороны мыслительного процесса» [4]. В качестве диагностируемого критерия можно рассматривать отдельные компоненты вычислительного мышления: алгоритмическое мышление, умение решать задачи, креативность, критическое мышление, познавательная активность студента, которую С.Л. Рубинштейн считает элементом мышления [4] и от которой значительно зависит результативность учебного процесса. О.В. Маркелова под познавательной активностью студента понимает когнитивно-психологический отклик на познавательный процесс, выражающийся в готовности к обучению и выполнению учебных заданий при индивидуальной или групповой работе, возросший интерес к практической и интеллектуальной деятельности, определяющий результативность предметной подготовки [5]. В большинстве оценочных процедур в качестве измерителей показателей критериальных характеристик объекта используют тесты. Начиная с работ Ф. Гальтона[13], который на основе математической статистики проводил измерения индивидуальных физических, физиологических и психических особенностей людей, тестовые методы оценивания качеств личности стали широко применятся в образовательных целях. Дж. Кеттелл, А. Бине, Т. Симон своими разработками показали возможность тестов как измерительных инструментов в научных и практических исследованиях личности. Значительный вклад в развитие тестовых измерений внес Г. Раш [6]. Он предложил простейшую модель вычисления условной вероятности правильного выполнения i-м испытуемым задания с уровнем сложности : , где - результат тестирования; - уровень подготовки обучаемого. Отметим работы Н.Ф. Талызиной по программированному обучению и В.П. Беспалько по проблемам педагогической технологии [7], в которых сделана попытка формализовать и алгоритмизировать диагностические методы. Несмотря на многочисленные подобные исследования, на практике чаще контроль и диагностика качества образовательных результатов осуществляются экспертным, субъективным и «ручным» способом. В этой связи в последнее время стали привлекательными оценочные диагностики на основе элементов искусственного интеллекта[14]. В частности, активно исследуются алгоритмы, способные осуществлять психолого-педагогическую диагностику обучаемых[15]. Роль искусственного интеллекта в образовании связана с созданием «умных» обучающихся систем, имитирующих оперативный диалог обучающегося и преподавателя. К примеру, в [8] показаны перспективные возможности машинного обучения в разработке интеллектуальных систем тестирования. Современные вызовы для образования, важность и порой необходимость перехода учебных и исследовательских работ в дистанционный формат актуализируют вопросы автоматизации проведения процедур критериального оценивания качества образовательных ресурсов и дидактических состояний обучаемых [9]. Представляют интерес разработки программ, веб-приложений, обеспечивающих автоматизацию мероприятий при проведении оценочных и конкурсных процедур в онлайн- и офлайн-режимах. Рассмотрим несколько примеров образовательных результатов, которые оцениваются с помощью критериальных характеристик. Учебные достижения. Схематично модель оценивания учебных достижений обучаемого можно представить следующим образом (рис. 1). Критериями модели оценивания являются тестовые задания, а их показателями являются значения характеристик , определяющие результат выполнения соответствующего задания в баллах из интервала их сложности. Таким образом, для каждого тестируемого уровень его учебных достижений определяется информационным вектором в некоторой шкале результативности обучения (например, удовлетворительно, хорошо, отлично). Как правило, распространенным способом является подсчет суммарного балла и определение уровня образовательного результата в рейтинговой уровневой шкале. Подобная оценка объективна для примитивного случая равнозначных по сложности тестовых заданий, которые чаще оценивают в интервале [0, 1]: 0 - неверное решение, 1 - верное решение. Критериальные модели оценивания могут предполагать разные интервалы значений показателей качества объекта. Для них интегральные рейтинговые шкалы малоинформативны и могут иметь значимые погрешности. Рис. 1. Схема тестового оценивания учебных достижений обучаемого Figure 1. Scheme of test assessment of student’s educational achievements Качество когнитивных способностей (на примере вычислительного мышления). Вычислительное мышление в настоящее время стало одной из главных компетенций для образовательной политики многих стран [2]. Обобщая работы по исследованиям способов измерения уровня этой компетенции, в [10] рассмотрена структурная диагностическая модель вычислительного мышления, которая включает пять критериев: креативность, алгоритмическое мышление, критическое мышление, решение задач и сотрудничество (рис. 2). По каждому критерию определены тестовые задания и анкеты (креативность - 6 пунктов, алгоритмическое мышление - 4, критическое мышление - 4, решение задач - 3, сотрудничество - 4). Таким образом, информационный вектор качества вычислительного мышления содержит 21 характеристику . Значения этих характеристик задавались по 5-балльной шкале: от 1 - нет ответа до 5 - дан исчерпывающий ответ. Многие объекты результатов образовательной деятельности могут быть описаны в формате представленных выше двух моделей, для которых допустима формализованная математическая постановка задачи в следующем виде[16]. Дано множество объектов (результатов образовательной деятельности) с некоторыми заданными качествами из характеристик : . Пусть признаки объекта задаются численными значениями из заданного интервала . Определим, к примеру, три класса объектов: 1) - класс с низким качеством; 2) - класс со средним качеством; 3) - класс с высоким качеством. Рис. 2. Структурная модель вычислительного мышления Figure 2. Structural model of computational thinking Для процедуры кластеризации необходимо назначить для каждого класса их «ведущих представителей» . К примеру, для первого класса объект ; для второго класса ; для третьего класса . Расстояние (сходство) между двумя объектами можно определить по метрике городских кварталов: , где и - признаки двух объектов (рис. 3, а). За расстояние между объектом и классом примем среднее значение всех расстояний от объекта до каждого объекта класса (рис. 3, б). Чтобы определить принадлежность объекта к искомому классу, будем находить минимальное расстояние среди расстояний объекта до всех введенных классов (рис. 4). а б Рис. 3. Расстояния между двумя объектами и объектом и классом Figure 3. Distances between two objects and an object and a class Рис. 4. Распознавание принадлежности объекта к заданному классу Figure 4. Recognition of an object belonging to a given class Заданное множество из объектов распределяем (кластеризуем) по трем классам путем нахождения расстояния от объектов до представителей этих классов. То есть объекты, которые «ближе» по расстоянию к , относим к , объекты, у которых сходство больше с , заносим в . Подобным образом объекты, «близкие» к , отнесем к . Принадлежность заданного объекта к тому или иному классу определяем по его минимальному расстоянию до созданных классов. Результаты и обсуждение. Разработана программа, которая состоит из трех модулей: модуль исходных данных, модуль кластеризации, модуль распознавания и обучения. В модуле исходных данных задаем первоначальное количество объектов K, количество признаков объекта n. Для каждого признака определяем интервалы их возможных значений и главных представителей классов, например для класса 1 - , для класса 2 - , для класса 3 - . Модуль кластеризации имеет два способа задания объектов: 1) для каждого объекта формируем его информационные вектора из признаков в интервале случайным образом; 2) информационные вектора каждого объекта вводим «вручную» (например, это могут быть данные по результатам тестирования реальных учеников по темам курса). Далее формируем три класса путем распределения заданных объектов по принципу их сходства с представителями классов. Итогом являются три множества объектов с интегральным качеством (низкое, среднее, высокое), которые сохраняются в виде базы данных на внешнем устройстве памяти. В модуле распознавания имеется возможность задать исследуемый объект в виде его информационного вектора и определить его принадлежность одному из созданных в предыдущем модуле классу. При этом если распознанный объект не совпадает по своим признакам ни с каким из существующих объектов класса, его можно внести в этот класс. Другими словами, провести процедуру «машинного обучения с учителем». Приведем модельные примеры реализации оценки качества образовательного результата обучаемого. Пример 1. Рассмотрим вариант оценивания успеваемости обучаемых, выполняющих тесты из четырех заданий, каждое из которых имеет 1 балл - не верно или 2 - верно. Количество объектов , количество признаков , представители класса с низким , класса со средним , класса с высоким качеством успеваемости . Результаты кластеризации пятнадцати объектов на три класса показаны на рис. 5. При процедуре распознавания задаваемых трех объектов получаем: - (1, 1, 2, 1) принадлежит классу 1; - (1, 1, 2, 2) принадлежит классу 2; - (2, 2, 1, 2) принадлежит классу 3. Полученные результаты работы программы полностью совпадают с традиционными рейтинговыми оценками, в которых уровни успеваемости определяются по количеству правильно решенных заданий. Полученные тестовые результаты подтверждают валидность алгоритма распознавания и корректность работы программного продукта. Class 1 Class 2 Class 3 1 1 1 1 2 1 1 1 1 1 2 1 1 2 1 1 1 1 1 2 1 2 1 2 2 1 1 2 2 1 2 1 2 2 1 1 1 1 2 2 1 2 2 1 2 2 2 1 2 1 2 2 1 2 2 2 2 2 2 2 Рис. 5. Сформированные классы из 15 объектов Figure 5. Formed classes of 15 objects Пример 2. Рассмотрим оценивание качества объекта, содержащего три критерия с показателями в интервале от 1 до 3 (рис. 6). Представителем класса с низким уровнем качества является экземпляр с информационным вектором , соответственно для среднего уровня - , а для высокого уровня качества - . При распознавании трех заданных объектов имеем: - (1, 2, 3) принадлежит классу 1; - (2, 2, 3) принадлежит классу 2; - (3, 2, 3) принадлежит классу 3. Class 1 Class 2 Class 3 1 1 3 1 3 1 1 2 1 1 1 1 3 2 1 3 2 2 2 2 3 2 2 2 2 3 3 3 2 3 3 3 2 3 3 1 3 3 3 Рис. 6. Классы объектов для примера 2 Figure 6. Feature classes for example 2 Таким образом, предложенная модель на основе кластеризации и метода распознавания показала возможность автоматизированной оценки качества образовательных результатов обучаемых. В процессе тестовой отладки алгоритма было замечено, что при малых количествах (мощности) объектов кластеризации могут возникнуть некорректные результаты распознавания. Однако если обучить систему путем добавления новых объектов в классы, то при определенном их количестве распознавание становится правильным. В этой связи следует предусмотреть элементы машинного обучения системы как «с учителем», так и «без учителя». Еще один фактор, возникающий при кластеризации задач оценивания качества образовательных результатов, возможность появления пересекающихся классов. Вероятны случаи, когда один и тот же экземпляр может входить одновременно в несколько классов. В ситуации пересекающихся классов необходимо предоставлять эксперту вопрос оценивания и принятия управляющего решения. Важно избегать неоднозначного распознавания объекта путем задания таких исходных данных, которые позволяют формировать строго непересекающиеся классы. Заключение. Предложенная модель оценивания качества образовательного результата имеет формализованную математическую постановку задачи. Алгоритмическая процессуальная основа метода прозрачна, технологична и обладает элементами искусственного интеллекта. Представляется целесообразным создание программного продукта в виде веб-приложения или облачного сайта открытого доступа для проведения критериальных оценок качества образовательных результатов и ресурсов, которые могут быть сведены к описанной математической постановке задачи.

About the authors

Nikolai I. Pak

Krasnoyarsk State Pedagogical University named after V.P. Astafyev

Email: nik@kspu.ru
ORCID iD: 0000-0003-2105-8861

ScD in Education, Professor, Head of the Informatics and Information Technologies in Education Department

89 Ady Lebedevoi St, Krasnoyarsk, 660049, Russia

Margarita M. Klunnikova

Siberian Federal University

Author for correspondence.
Email: mklunnikova@sfu-kras.ru
ORCID iD: 0000-0003-3657-1019

PhD in Education, Associate Professor of the Computing and Information Technologies Basic Department

79 Svobodnyi Prospekt, Krasnoyarsk, 660041, Russia

References

Supplementary files