Вопросно-критериальный способ оценки качества цифровой образовательной среды организации

Полный текст

Постановка проблемы. Создание и развитие цифровой образовательной среды (ЦОС) сегодня рассматривается как условие и как начальный этап цифровой трансформации образования. Ее создание подразумевает различные уровни реализации, и, в каждой образовательной организации, включая организации дополнительного образования детей, должна быть создана своя ЦОС. И на этом этапе становятся актуальными вопросы оценки состояния и мониторинга развития ЦОС на разных уровнях. ЦОС организации дополнительного образования детей должна строиться на основе принятой обобщенной модели[9] в рамках федерального проекта «Цифровая образовательная среда» с учетом организационной и содержательной специфики деятельности. Однако, в программных документах не описаны механизмы такого оценивания. В соответствии с направлениями цифровой трансформации образования необходимо создание технологичной, отвечающей требованиям современного общества, системы оценивания, подлежащей автоматизации и интеллектуализации для мониторинга многоуровневой, многокомпонентной цифровой образовательной среды. Цель работы - обоснование вопросно-критериального способа оценки качества цифровой образовательной среды организации, опирающегося на математические методы теории кластеризации и распознавания образов (на примере мониторинга развития цифровой образовательной среды практик дополнительного образования детей). Проектирование и оценка образовательной среды - это задача, которая решается на протяжении многих лет. Рассматриваются различные аспекты оценки образовательных сред школы, вуза в условиях цифровизации, данный опыт и диагностический инструментарий является важным условием для развития подходов к оценке ЦОС. Так сделаны попытки оценки информационно-образовательной среды вуза в условиях ее цифровизации на основе экопсихологического подхода [1], предложена методика оценки качества информационно-образовательной среды школы на основе адаптированной системы оценки Self-review Framework for ICT (Naace SRF) [2], Однако, современные процессы цифровой трансформации образования приводят к необходимости делать определенные акценты при понимании и оценке информационно-образовательной среды. Так, определены критерии оценки ЦОС: согласованность, мобильность, открытость, неформальность, полнота, свобода, доступность, безопасность, а сама методика находится все еще в стадии разработки [3]. Авторами рассматриваются отдельные аспекты, однако комплексный, общепринятый подход оценки ЦОС до сих пор не разработан. В то же время, отмечается несостоятельность, ограниченность квалиметрического подхода к оценке информационно-образовательной среды [4]. В последнее время наибольшую популярность приобретает технология критериального оценивания. В основе критериального оценивания лежит четкое представление о том, как в идеале должен выглядеть результат, а оценивание означает такую шкалу как определение степени приближения к данной цели. Этот принцип делает критериальное оценивание наиболее подходящим инструментом для оценки и мониторинга образовательных достижений и сред. Для эффективного применения этой технологии необходимо определение основных компонентов системы критериального оценивания. Ключевым является критерий, под ним понимается признак, на основании которого производится оценка. Показатель или дескриптор в процедуре оценивания рассматривается как измеряемая характеристика какой-то одной стороны признака (критерия) изучаемого объекта. Показатель служит для получения количественной или качественной информации о проявлении этой стороны признака[10]. Дескрипторы описывают уровни шкалы достижения результата по каждому критерию. Важным этапом критериального оценивания образовательных сред, в том числе цифровой образовательной среды, является определение понятия и описание структуры объекта оценивания. Многообразие определений понятия «цифровая образовательная среда», существующее в педагогической литературе, обусловлено сделанными авторами смысловыми акцентами при определении структуры среды. Так, в [5], при определении ЦОС, делается акцент на технических решениях для поддержки учебно-методической и информационной деятельности. Авторами [6], ЦОС понимается как «опосредованный использованием цифровых технологий и цифровых образовательных ресурсов комплекс отношений в образовательной деятельности, способствующих реализации субъектами образовательного процесса возможностей по освоению культуры, способов самореализации, выстраивания социальных отношений, нацеленных на формирование ответственного цифрового поведения гражданина современного общества». Такой психолого-педагогический акцент обуславливает соответствующую структуру среды и позволяет определить критерии и шкалу всесторонней оценки, как утверждают авторы [7], ЦОС с позиции удовлетворенности электронной образовательной средой. Так же, некоторые исследователи, определяя ЦОС, отражают лишь общее назначение среды без какой-либо конкретики ее структуры: «открытая совокупность информационных систем, предназначенных для обеспечения различных задач процесса образования[11]. С такими подходами, в рамках нашего исследования, трудно согласиться. Критериальный подход к оценке ЦОС, требует всестороннего и полного описания среды с использованием признаков и показателей оценки. Будем придерживаться определения ЦОС, данного авторами [8], как «совокупность аппаратного и программного обеспечения, а также образовательного и управленческого контента, обеспечивающая все информационные запросы субъектов образовательного процесса при любых организационных вариантах обучения (контактном, дистанционном, смешанном, гибридном)». Таким образом, общая задача оценки ЦОС, в свете принятого выше определения понятия «цифровая образовательная среда», сводится к выявлению и оценке (качественной и количественной) каждой из групп ее характеристик. На этом этапе представляет интерес применение метода пирамиды Б. Минто. Суть метода заключается в выборе основного вопроса или ситуации, делящихся на ряд проблем и задач, которые далее также разделяются на части до тех пор, пока разбивка не приведет к конкретным решениям. Высокая эффективность для мониторинговых и оценочных процедур при оценке качества цифровых образовательных сред метода пирамиды отмечается в работе. Кроме того, применение элементов вопросного метода прослеживается в методологии оценки цифровой зрелости организации[12], разработанной Центром перспективных управленческих решений, при определении дескрипторов в каждом блоке показателей цифровой трансформации организации. Таким образом, если использовать вопросный метод для определения не только показателей, но и для определения критериев и рубрик, то удачное построение дерева вопросов позволит экспертам объективно давать ответы на них. Суммирующие оценки экспертных ответов по всем веткам «пирамиды вопросов» позволят не только в целом дать характеристику оцениваемого объекта, но и диагностировать качества отдельных его частей и компонент. Методология. Обобщенную модель критериального оценивания ЦОС организации можно представить в виде схемы (рис. 1) Критериями модели оценивания являются количественные и качественные характеристики ЦОС. А их показателями (дескрипторами) являются значения характеристик xi, для группы количественных характеристик, определяющие значение из интервала шкалы дескриптора в баллах с учетом ценности или веса данного критерия в общей системе оценивания. И значения характеристик yi, для группы качественных характеристик, из интервала шкалы дескриптора в баллах, определяемые экспертным путем. Таким образом, для каждой характеристики ЦОС получаем уровень его оценки, который определяется информационным вектором (x1, x2, … xn) для количественных характеристик и (y1, y2, … yn) для качественных характеристик, в некоторой шкале оценки качества ЦОС (например, низкий, средний, высокий уровень). Изображение выглядит как текст, снимок экрана, знак Автоматически созданное описание Рис. 1. Обобщенная модель критериального оценивания ЦОС организации Изображение выглядит как текст, снимок экрана, знак Автоматически созданное описание Figure 1. Generalized model of criteria assessment of the organization's digital educational environment Для определения элементов системы критериального оценивания и мониторинга ЦОС практик дополнительного образования детей воспользуемся методом пирамиды Б. Минто. В результате получим иерархическое дерево вопросов, приводящее нас к описанию критериев и шкал дескрипторов. Первый уровень вопросов позволяет определить функции и структуру, результативность (затраты/продуктивность) ЦОС организации дополнительного образования детей (рис. 2). Изображение выглядит как текст Автоматически созданное описание Рис. 2. Фрагмент дерева вопросов. Первый уровень Figure 2. A fragment of the question tree. First level Из принятого нами выше определения ЦОС вытекают ее функции: · ресурсная - размещение и хранение структурированного контента учебного назначения и информации для управления обучением; · коммуникационная - обеспечение доступа обучающихся и педагогов к контенту, коммуникация субъектов образовательного процесса, обеспечение cooperative learning; · инструментальная - обеспечение обучающихся инструментальными программами и приложениями, необходимыми для выполнения учебных заданий; · организационная - обеспечение возможности для преподавателя управления процессом обучения. При определении структуры ЦОС организации дополнительного образования детей выделим четыре направления: материально-техническая база, информационные системы, управление образованием, информационно-образовательные ресурсы. Таким образом, получаем второй уровень вопросов в вопросной пирамиде (рис. 3). На основе требований к ЦОС, предложенных в [8], и приказе Министерства просвещения РФ «Об утверждении Целевой модели цифровой образовательной среды»[13], а также, с учетом критериев и показателей качества цифровой среды, определенных авторами [9], выделим показатели ЦОС по каждому направлению. По направлению «Материально-техническая база» показатели для ЦОС разделим на количественные: скорость подключения к сети Интернет, количество единиц вычислительной техники, используемой в образовательном процессе относительно количества обучающихся, количество единиц вычислительной техники, используемой работниками организации относительно количества работников, количество лицензий на использование специализированного программного обеспечения для функций управления организацией и образовательным процессом, количество комплексов презентационного оборудования относительно количества учебных помещений, количество учебных занятий, проходящих с использованием презентационного оборудования и вычислительной техники относительно всех занятий в образовательной организации. И качественные показатели по направлению «Материально-техническая база»: наличие программного обеспечения и технологических решений для управления финансово-хозяйственной деятельностью организации и организации электронного документооборота, наличие кабинета (возможно совмещенного с библиотекой или информационно-библиотечным комплексом), в котором вычислительная техника может быть использована для самостоятельной работы по установленному расписанию, соответствие телекоммуникационной инфраструктуры для обеспечения технологической связанности оборудования с региональной и федеральной информационно-сервисной платформой. Рис. 3. Фрагмент дерева вопросов. Второй уровень Figure 3. A fragment of the question tree. Second level По направлению «Информационные системы» в качестве показателей примем: реализацию технологической совместимости с региональной информационной системой и ресурсами платформы цифровой образовательной среды по типу «одного окна», реализацию технологии идентификации и аутентификации пользователей, возможность получения в автоматизированном виде обработанной статистической информации о результатах учебной деятельности в форме, соответствующей документам отчетности, наличие средств коммуникации участников образовательного процесса для проведения занятий в группах, в том числе с использованием интерактивной связи участников образовательного процесса, реализацию безопасности доступного обучающимся контента, наличие инструментов оплаты за использование цифрового образовательного контента, наличие возможности просмотра и использования выбранного цифрового образовательного контента встроенными средствами без установки дополнительного программного обеспечения для потребителей, наличие функциональной возможности по формированию единицы контента или контентной группы, а также интерфейса для их последующей загрузки, хранения, актуализации и предоставления потребителям предусмотренными средствами и программным обеспечением. По направлению «Управление образованием» в показатели для ЦОС важно включить наличие избыточной информации об образовательных программах и условиях реализации. Наличие электронного расписания учебных занятий, электронных дневников, электронного журнала. Понятное описание условий обучения, с описанием прогнозируемых результатов обучения. Возможность контроля занятости и деятельности ребенка. Возможность включить результаты обучения в портфолио ребенка. Наличие инструментов для организации педагогической диагностики. Автоматизация процесса заполнения журнала и дневника за счет интеграции систем журнала, дневника с электронным курсом или веб-сопровождением обучения по программе дополнительного образования. Наличие инструмента для получения статистических данных по успеваемости, посещаемости и пр. показателям эффективности организации учебного процесса по программам обучения. Наличие профессионального цифрового портфолио педагога. Автоматизация процесса заполнения журнала и дневника за счет интеграции систем журнала, дневника с электронным курсом или веб-сопровождением обучения по программе дополнительного образования. Все это имеет особое значение для системы дополнительного образования. По направлению «Информационно-образовательные ресурсы» в список показателей ЦОС важно включить наличие встроенных в используемые информационно-сервисной платформы инструментов для совместной работы с интересными сервисами, позволяющими решать различные педагогические задачи, например применение современных педагогических технологий, интерактивности, использование виртуальных моделей, дополненной реальности. Поскольку предполагается возможность педагогами наполнение ЦОС организации, региональной ЦОС и выше собственными цифровыми образовательными ресурсами, видится в качестве критерия оценки ЦОС и обеспеченности образовательными ресурсами программ количество лицензионных договоров с внешними для организации авторами цифровых образовательных ресурсов и авторами-разработчиками цифровых образовательных ресурсов из числа работников образовательной организации. Определив критерии оценивания, продолжаем строить дерево вопросов, и следующий уровень определяет дескрипторы по выделенным критериям (рис. 4.). Таким образом, формируется два информационных вектора критериев качества: (x1, x2, … xn) - для количественных и (y1, y2, … yn) - для качественных критериев (рис. 5). Полученные значения после проведения опроса по количественным характеристикам и экспертизы качественных показателей качества ЦОС позволяют получить итоговую рейтинговую оценку конкретной организации: R = ∑ xi + ∑ yi. Также можно определить оценочный балл по каждому из выделенных четрых направлений: Z1, Z2, Z3, Z4. Эти данные позволяют задать признаки для каждого исследуемого объекта в виде w = (Z1, Z2, Z3, Z4). Следовательно, допустима формализованная математическая постановка задачи. Изображение выглядит как стол Автоматически созданное описание Рис. 4. Фрагмент дерева вопросов. Уровень определения дескрипторов Figure 4. A fragment of the question tree. Descriptor definition level Рис. 5. Сводная структура оценочной формы ЦОС Figure 5. Summary structure of the evaluation form of the digital educational environment Дано множество объектов с заданными качествами из четырех характеристик : . Признаки объекта задаются численными значениями из заданного интервала . Определим три класса объектов: - класс с низким качеством; - класс со средним качеством; - класс с высоким качеством. Следует распределить (провести кластеризацию) заданные объекты по указанным классам, используя расстояние (меру сходства) между двумя объектами по метрике городских кварталов: , здесь и - признаки двух объектов. Результаты и обсуждение. Оценку и мониторинг цифровой образовательной среды организации предлагается проводить по функциональным характеристикам среды с использованием опросных листов, которые для количественных критериев заполняются представителями организации, а для качественных - экспертами после работы с сайтом организации. Опросные листы разработаны на основе вопросного дерева, созданного по методу пирамиды, в которых определено тридцать количественных и качественных критериев оценивания ЦОС со шкалами дескрипторов с соответствующими им баллами по сто балльной шкале и вес каждого критерия в системе оценивания, который определяется экспертно. Пример чек-листа для оценки материально-технической базы ЦОС системы дополнительного образования детей уровня организации приведен в таблице. Проведение оценочной процедуры предлагается осуществлять с использованием автоматизированной системы «АСКО» [10]. Программа специально предназначена для организации конкурсных и оценочных мероприятий в режиме реального времени, где применим экспертно-статистический метод. Программа реализует регистрацию и упорядочивание участников конкурса, составление списка экспертов, назначение на мероприятие, установление критериев оценки, сбор оценок, а также подсчет итогов конкурса[14]. После получения и обработки чек-листов и экспертных оценок качественных характеристик ЦОС для каждой организации формируем ее оценочный след в виде признаков . Для распознавания принадлежности рассматриваемого объекта к одному из классов (с низким, средним или высоким уровнем) была разработана специальная программа. Она состоит из трех модулей: модуль исходных данных, модуль кластеризации, модуль распознавания и обучения. Таблица 1 Пример чек-листа для оценки материально-технической базы ЦОС системы дополнительного образования детей уровня организации Критерий (количественные) Дескриптор Вес Итоговый балл Скорость подключения к сети Интернет Значение ≤1Мб/с ≤50Мб/с ≤100Мб/с >100Мб/с 1 Балл 25 50 75 100 Количество единиц вычислительной техники, используемой в образовательном процессе относительно количества обучающихся Значение ≤0,25 ≤0,5 ≤0,75 >0,75 0,5 Балл 25 50 75 100 Количество единиц вычислительной техники, используемой работниками организации относительно количества работников Значение ≤0,25 ≤0,5 ≤0,75 >0,75 0,5 Балл 25 50 75 100 Количество лицензий на использование специализированного программного обеспечения для функций управления организацией и образовательным процессом Значение 0,5 Количество комплексов презентационного оборудования относительно количества учебных помещений Балл ≤0,25 ≤0,5 ≤0,75 >0,75 0,5 Значение 25 50 75 100 Количество учебных занятий, проходящих с использованием презентационного оборудования и вычислительной техники относительно всех занятий в образовательной организации Балл ≤0,25 ≤0,5 ≤0,75 >0,75 1 Значение 25 50 75 100 Критерий (качественные) Дескриптор Вес Итоговый балл Наличие программного обеспечения и технологических решений для управления финансово-хозяйственной деятельностью организации и организации электронного документооборота Значение Отсутствие Наличие 1 Балл 0 100 Наличие кабинета (возможно совмещенного с библиотекой или информационно-библиотечным комплексом), в котором вычислительная техника может быть использована для самостоятельной работы по установленному расписанию Значение Отсутствие Наличие 0,5 Балл 0 100 Соответствие телекоммуникационной инфраструктуры для обеспечения технологической связанности оборудования с региональной и федеральной информационно-сервисной платформой Значение Отсутствие Наличие 1 Балл 0 100 Table 1 An example of a checklist for assessing the material and technical base of the digital educational environment of the system of additional education of children of the organization level Criterion (quantitative) Descriptor Weight Final score Internet connection speed Value ≤1Мb/s ≤50Мb/s ≤100Мb/s >100Мb/s 1 Score 25 50 75 100 The number of units of computer technology used in the educational process relative to the number of students Value ≤0.25 ≤0.5 ≤0.75 >0.75 0.5 Score 25 50 75 100 Number of units of computer equipment used by employees of the organization relative to the number of employees Value ≤0.25 ≤0.5 ≤0.75 >0.75 0.5 Score 25 50 75 100 Number of licenses to use specialized software for organization and educational process management functions Value 0.5 Number of presentation equipment complexes relative to the number of training rooms Score ≤0.25 ≤0.5 ≤0.75 >0.75 0.5 Value 25 50 75 100 Number of training sessions taking place using presentation equipment and computer equipment in relation to all classes in the educational organization Score ≤0.25 ≤0.5 ≤0.75 >0.75 1 Value 25 50 75 100 Criterion (qualitative) Descriptor Weight Final score Availability of software and technological solutions for management of financial and economic activities of the organization and organization of electronic document management Value Absence Availability 1 Score 0 100 The presence of a cabinet in which computing equipment can be used to independently work according to the established schedule Value Absence Availability 0.5 Score 0 100 Compliance of telecommunication infrastructure to ensure technological connectivity of equipment with the regional and federal information and service platform Value Absence Availability 1 Score 0 100 В модуле исходных данных задаем первоначальное количество объектов K и для каждого признака определяем интервалы их возможных значений . Для реализации модифицированного горного алгоритма кластеризации примем ведущих представителей классов: для класса 1 - , для класса 2 - , для класса 3 - . В модуле кластеризации имеется два способа задания объектов. Для каждого объекта формируем его признаки в интервале случайным образом. Признаки каждого объекта вводим «вручную» (или считываем из заполненных опросных форм по чек-листу и итоговых экспертных процедур из программы «АСКО»). Алгоритм кластеризации используется классический - распределение заданных объектов происходит по принципу их сходства с представителями классов. Результатом кластеризации являются три множества (класса) объектов с низким, средним и высоким качеством, которые сохраняются в базе данных на внешнем устройстве памяти. В модуле распознавания текущий исследуемый объект распознается и определяется его принадлежность одному из созданных в предыдущем модуле классу. Если распознанный объект не совпадает по своим признакам, ни с каким из существующих объектов класса, его вносим в этот класс. Заключение. Описанный способ оценивания и мониторинга качества ЦОС организаций можно обобщено представить в следующем виде: 1. Заявленная для мониторинга организация заполняет количественные показатели чек-листа, созданного с помощью Яндекс-формы, и указывает ссылку на сайт и другие значимые ресурсы ЦОС. 2. Данные Яндекс-формы с помощью специального конвектора передаются в электронные таблицы и обрабатываются для получения рейтинговых количественных оценок и признаков ЦОС организации. 3. Назначенные эксперты оценивают по заданным качественным критериям заявленные организацией основные ресурсы ЦОС (оценка ресурсов сайта организации) в системе «АСКО». 4. Результирующие экспертные оценки с помощью специального конвектора передаются в электронные таблицы и обрабатываются для получения качественных оценок и признаков ЦОС организации. 5. Полученные сводные данные w = (Z1, Z2, Z3, Z4) вносятся в программу распознавания, которая выдает итоговую оценку качества ЦОС организации. 6. Результатом работы предложенной системы является лист мониторинга ЦОС организации, содержащего все промежуточные данные по всем критериям и показателям согласно рис. 5. Таким образом, предложенный способ позволяет осуществлять оценку качества цифровой образовательной среды организации с использованием математических методов теории кластеризации и распознавания образов с учетом важнейших методологических принципов: принципа объективности, который ориентирует на выбор и применение оценочных методик; критериев и показателей, которые максимально точно и адекватно позволяют судить об эффективности образовательной среды; и принципа технологичности, который требует реализации простых, экономичных, удобных, понятных, доступных технологий и методик оценки эффективности.

Об авторах

Николай Инсебович Пак

Красноярский государственный педагогический университет имени В.П. Астафьева

Email: koliapak@yandex.ru
ORCID iD: 0000-0003-2105-8861

доктор педагогических наук, профессор, заведующий кафедрой информатики и информационных технологий в образовании

Российская Федерация, 660049, Красноярск, ул. Ады Лебедевой, д. 89

Алексей Александрович Сыромятников

Красноярский государственный педагогический университет имени В.П. Астафьева

Автор, ответственный за переписку.
Email: syromyatnikov@kspu.ru
ORCID iD: 0000-0002-6439-4577

кандидат педагогических наук, доцент, доцент кафедры информатики и информационных технологий в образовании

Российская Федерация, 660049, Красноярск, ул. Ады Лебедевой, д. 89

Список литературы