Визуализация процедуры оценки качества цифровой образовательной среды по модели «Прозрачный ящик»

Полный текст

Постановка проблемы. В последние годы цифровая трансформация образования охватывает все его сферы. Особую актуальность приобретают вопросы глубоких преобразований с применением цифровых технологий для системы дополнительного образования детей. В первую очередь эффективность цифровой трансформации связывают с появлением и развитием цифровой образовательной среды (ЦОС), создающей условия для инновационных и прорывных решений по повышению качества обучения и воспитания обучающих. Цифровая среда нацелена на обеспечение комфортных условий реализации программ дополнительного образования конкретных образовательных учреждений. Однако создание цифровой образовательной среды как системы информационно-образовательных ресурсов и инструментов, исключающее глубокие преобразования в профессиональной деятельности педагогов, обновление практик обучения и воспитания молодежи, не всегда может обеспечить требуемые показатели. В связи с этим объективизация оценки и мониторинга деятельности цифровой образовательной среды с точки зрения ее влияния на качество образовательного процесса представляет собой научно-методическую проблему. Традиционные способы мониторинга ЦОС опираются на ее критериальные модели оценки качества и, как правило, используют рейтинговые шкалы измерителей. При этом оценочные процедуры осуществляются с использованием модели «Черный ящик». Несмотря на широкое распространение этой модели в оценочных целях, она имеет ряд недостатков и, по всей видимости, в эпоху когнитивных и цифровых технологий ее потенциал во многом исчерпан. Современные когнитивные технологии позволяют создавать интерактивные, визуальные и интеллектуальные средства для оценки и мониторинга качества объектов и ресурсов. Имеет смысл проводить эти процедуры с точки зрения модели «Прозрачный ящик», которая может обеспечить высоковизуализированные данные мониторинга для анализа и разработки управленческих решений по развитию цифровой образовательной среды в учреждениях. Цель исследования - обосновать модель «Прозрачный ящик» для визуализации процедуры мониторинга ЦОС учреждений дополнительного образования на основе объектно-структурной карты, содержащей ее структурные и функциональные компоненты с топологическим набором статистических и мониторинговых показателей. Создание и развитие цифровых образовательных сред в учреждениях дополнительного образования связаны с необходимостью [1-3]: - обеспечить в системе непрерывного образования подготовку большого количества обучающихся на разных уровнях, формах и видах образования; - использовать в обучении новые технологии виртуальной и дополненной реальности, онлайн-образование; - расширить каналы доступа к образовательному контенту, - адаптировать педагогические технологии с учетом геймификации, виртуализации, индивидуализации образования; - усилить акцент на формирование компетенций, обеспечение практического опыта обучающихся с учетом образовательных запросов. Процесс мониторинга ЦОС образовательного учреждения представляет собой сбор и накопление данных с целью получить статистические и прогнозные результаты ее состояния и развития. В последнее время усилилось внимание исследователей к экспертизе и управлению качеством информационно-образовательных сред образовательных организаций. Этим вопросам, например, посвящены работы С.Л. Атанасяна, С.Г. Григорьева, В.В. Гриншкуна [4; 5], Г.М. Абилдиновой [6] и др. В них предлагается формировать структуру информационно-образовательной среды на системной основе, рассматривая основные виды научной, внеучебной и учебной деятельности, контроля за подготовкой обучаемых. Практически большая часть подобных исследований осуществляется в рамках модели «Черный ящик». Под «Черным ящиком» обычно понимается объект (в нашем случае - цифровая образовательная среда), устройство которого неизвестно. Оказывая на него различные воздействия, исследователи наблюдают отклик, позволяющий установить закономерности между входным и выходным сигналами [7]. Несмотря на значительный потенциал этой модели, в последнее время начинает приобретать большую привлекательность модель «Прозрачный ящик», обоснованная Н. Винером [8]. Для использования модели «Прозрачный ящик» необходимо смоделировать устройство, которое должно быть известно и доступно для наблюдения и анализа. Представляется, что реализация модели «Прозрачный ящик» с помощью компьютерных технологий позволит обеспечить высокую степень интерактивности и визуализации оценочных и мониторинговых процедур. Методология. Как отмечено выше, практически все критериальные мониторинговые оценки качества объектов и ресурсов осуществляются по модели «Черный ящик». Сбор, накопление и статистическая обработка данных производятся с помощью специальных программных инструментов, в которых итоговые результаты представляются в виде диаграмм, гистограмм и других наглядных материалов. В отличие от «Черного ящика», в модели «Прозрачный ящик» предусматривается построение объектно-структурной карты (ОСК) всех компонент образовательной среды, обобщенный вид которой показан на рис. 1. Изображение выглядит как снимок экрана, Шрифт, Графика, круг Автоматически созданное описание Рис. 1. Объектно-структурная карта среды Источник: создано Н.И. Паком, А.А. Сыромятниковым, Т.А. Степановой, Д.О. Куулар. Изображение выглядит как снимок экрана, Шрифт, Графика, круг Автоматически созданное описание Figure 1. Object-structure map of the environment Source: created by Nikolay I. Pak, Alexey A. Syromyatnikov, Tatyana А. Stepanova, Dolaana O. Kuular. Отношения между объектами являются ориентированными в одну или в обе стороны, имеют весовой коэффициент, определяющий качество этого отношения между объектами. В качестве целевых ориентиров муниципального управления развитием дополнительного образования выделяют цели формирования [9]: - единого образовательного пространства для качественного предоставления услуг и условий, отвечающих образовательным потребностям всех слоев и групп населения; - практики социализации и воспитания подрастающего поколения средствами дополнительного образования. Цифровая образовательная среда организации дополнительного образования может способствовать решению задач: - модернизации образовательного процесса на основе тех технологий, которые будут использованы обучающимися; - обновления форм и механизмов воспитательной работы на основе соучастия, самоорганизации обучающихся; - формирования сообщества образовательного учреждения, содействующего формированию компетенций выпускников; - позиционирования образовательного учреждения в культурно-образовательном пространстве города, края и Российской Федерации посредством вхождения в федеральные, краевые программы и проекты развития, и культурно-образовательное пространство разного масштаба. Особое значение создание цифровой образовательной среды имеет с точки зрения двух ведущих характеристик потенциала дополнительного образования: персонализации и мотивации. Цифровизация открывает значительные возможности для совершенствования образовательного процесса, управления и коммуникации с семьями в дополнительном образовании [10]. Таким образом, можно выделить группы задач цифровой образовательной среды организации дополнительного образования детей: ● организационно-управленческие: - информирование заинтересованных лиц (дети, родители) об образовательных программах, графике учебного процесса, событиях и т. п.; - оперативная дистанционная коммуникация субъектов образовательного процесса (учащихся, педагогических работников, родителей (законных представителей), администрации, органов управления в сфере образования, общественности); - дистанционное взаимодействие организации дополнительного образования детей с иными организациями социальной сферы: другими учреждениями дополнительного образования детей, учреждениями культуры, здравоохранения, спорта, досуга, службами обеспечения безопасности жизнедеятельности; - мониторинг и фиксация результатов деятельности организации дополнительного образования, показателей развития цифровой образовательной среды; ● образовательные: - размещение и доступ учащихся к цифровому образовательным ресурсам; - фиксация достижений учащихся (например, в рамках электронного портфолио); ● технологические: - обеспечение цифровыми техническими средствами проведение учебных занятий, в том числе дистанционных; - снабжение учащихся программным инструментарием, необходимым для проведения учебных занятий; - поддержка функционирования среды. Для решения поставленных задач ЦОС должна включать следующие компоненты: - аппаратный - оборудование рабочих мест преподавателя и учащегося, предусматривающее проведение любых занятий (аудиторных, дистанционных, гибридных); - программный - приложения и сервисы, обеспечивающие размещение образовательного контента и доступ к нему учащихся и педагогических работников, а также программные инструменты для выполнения учебных заданий, контроля и управления; - содержательный - цифровые образовательные ресурсы, необходимые для учебной деятельности учащихся, а также организационно-справочная информация. На рис. 2 показана обобщенная структурно-логическая схема основной образовательной деятельности учреждений дополнительного образования. Важным критерием качества ЦОС является доступ ко всем сервисам и удобство работы для всех участников образовательного процесса. На основании схемы рис. 2 можно описать состав программного обеспечения ЦОС: - веб-сайт организации, отражающий деятельность организации дополнительного образования и осуществляющий функции информационного обеспечения; - LMS (система управления учебным процессом) - обеспечивает хранение, создание и доступ к цифровым образовательным ресурсам и управление процессом обучения; возможны два варианта реализации LMS: программно-аппаратный (системы Moodle, e-Learning 4G и т. п.) и облачный (Google Classroom, Mail.ru и др.); - программный инструментарий - набор приложений и сервисов, необходимых для реализации образовательных программ (например, 3D-моделирование, компьютерная анимация, компьютерная графика, робототехника и др.); - система видео-конференц-связи (ВКС) - средство дистанционного интерактивного онлайн-взаимодействия организации с удаленными обучаемыми (Zoom, Google Meet, Discord, «Сферум»); - коммуникационные сервисы - распространенные системы WhatsApp, Telegram и др., а также социальные сети («ВКонтакте» и др.); - электронное портфолио - облачный сервис, позволяющий размещать и сохранять информацию об учебных и иных достижениях обучаемого (например, удобный и бесплатный сервис 4portfolio.ru); - система поддержки компьютерных технологий - набор инструментальных программ и приложений для создания и использования ЦОР; - корпоративный портал - интегрирует различные программно-аппаратные средства управления (документооборот, бухгалтерский и финансовый учет, кадры, контингент обучаемых, расписание, ЦОР и пр.); - система онлайн-мониторинга - сервисы для информирования всех участников образовательного процесса для управления и отчетности по показателям эффективности деятельности организации. Изображение выглядит как снимок экрана, текст, Параллельный, Прямоугольник Автоматически созданное описание Рис. 2. Структурно-логическая схема информационной деятельности учреждений дополнительного образования Источник: создано Н.И. Паком, А.А. Сыромятниковым, Т.А. Степановой, Д.О. Куулар. Изображение выглядит как снимок экрана, текст, Параллельный, Прямоугольник Автоматически созданное описание Figure 2. Structural and logical diagram of information activities of institutions of additional education Source: created by Nikolay I. Pak, Alexey A. Syromyatnikov, Tatyana А. Stepanova, Dolaana O. Kuular. Для создания ОСК цифровой образовательной среды будем использовать в качестве объектов ее основные компоненты: материально-техническая база, информационные системы, информационно-образовательные ресурсы, управление учебным процессом, официальный сайт. На рис. 3 показана объектно-структурная карта ЦОС учреждения дополнительного образования, разработанная по материалам [11]. Эта ОСК представляет каркас модели «Прозрачный ящик». Каждый из пяти объектов имеет свои свойства (интегральные количественные и качественные показатели) и может быть представлен в виде собственной объектно-структурной карты объекта. Например, на рис. 4 показана карта по объекту «Материально-техническая база». Результативность (качество) ЦОС учреждения дополнительного образования можно оценить по возможности осуществлять эффективно традиционные, инновационные и дивергентные технологии (практики) образовательной деятельности. Их уровень (низкий, средний, высокий) представляет важнейший мониторинговый показатель качества ЦОС. Важнейшими показателями «цифровой зрелости» организаций образования на всех уровнях (муниципальном, региональном, федеральном) являются обобщенные средние значения пяти показателей[15]: - доля обучающихся, по которым осуществляется ведение цифрового профиля; - доля обучающихся, по которым предложены рекомендации по повышению качества обучения и формирования индивидуальных траекторий с использованием цифрового портфолио учащегося; - доля педагогических работников, получивших возможность использования верифицированного цифрового образовательного контента и цифровых образовательных сервисов; - доля обучающихся, имеющих возможность бесплатного доступа к электронному образовательному контенту и сервисам для самостоятельной подготовки; - доля заданий в электронной форме для учащихся, проверяемых с использованием технологий автоматизированной проверки. Каждый из этих показателей следует представлять в нормированной форме (относительно к числу обучающихся в муниципальных, региональных и федеральном границах). Соответственно, оценивать эти показатели можно по уровням: низкий, средний и высокий. Возможный информационный портрет текущего сценария оценки качества ЦОС конкретной организации после получения данных показан на рис. 5. Изображение выглядит как текст, снимок экрана, Шрифт, линия Автоматически созданное описание Рис. 3. Объектно-структурная карта ЦОС Источник: создано Н.И. Паком, А.А. Сыромятниковым, Т.А. Степановой, Д.О. Куулар. Изображение выглядит как текст, снимок экрана, Шрифт, линия Автоматически созданное описание Figure 3. Object-structural map of the digital educational environment Source: created by Nikolay I. Pak, Alexey A. Syromyatnikov, Tatyana А. Stepanova, Dolaana O. Kuular. Изображение выглядит как текст, снимок экрана, Шрифт Автоматически созданное описание Рис. 4. Структурная карта объекта «Материально-техническая база» Источник: создано Н.И. Паком, А.А. Сыромятниковым, Т.А. Степановой, Д.О. Куулар. Изображение выглядит как текст, снимок экрана, Шрифт, линия Автоматически созданное описание Figure 4. Structure map of the object “Material and technical base” Source: created by Nikolay I. Pak, Alexey A. Syromyatnikov, Tatyana А. Stepanova, Dolaana O. Kuular. Для наглядности определим три цвета для отражения качественных уровней любой компоненты среды: красный - низкий; желтый - средний; зеленый - высокий. Большую значимость в ОСК играют функциональные свойства и потоки информации между объектами. Они формируют механизмы, определяющие результативность достижения целевых показателей среды. Объекты и их связи наделяются критериальными показателями, которые оцениваются экспертами. Связи также следует закрашивать соответствующими цветами, в зависимости от их весомости. Определение цветовой палитры элементов схемы (уровня качества) удобно осуществлять по методике кластеризации [12]. Наложение на ОСК тепловой карты, по цветности соответствующей экспертным оценкам, определяет визуализированную картину состояния среды в целом и отдельных ее участков в частности. Главной особенностью модели является ее топологическая интерактивность, позволяющая отображать оценочные и мониторинговые показатели среды для анализа и принятия управляющих решений по развитию ЦОС. Изображение выглядит как текст, снимок экрана, Шрифт, дизайн Автоматически созданное описание Рис. 5. Тепловая карта ЦОС Источник: создано Н.И. Паком, А.А. Сыромятниковым, Т.А. Степановой, Д.О. Куулар. Изображение выглядит как текст, снимок экрана, Шрифт, дизайн Автоматически созданное описание Figure 5. Thermal map of the digital educational environment Source: created by Nikolay I. Pak, Alexey A. Syromyatnikov, Tatyana А. Stepanova, Dolaana O. Kuular. Результаты и обсуждение. В качестве информационной поддержки критериальной модели оценки качества цифровой образовательной среды создан специальный сайт мониторинга цифровой образовательной среды учреждений дополнительного образования (рис. 6.) [13]. https://lh4.googleusercontent.com/S0lP_RWtHNzv1XhCs7dw-_3MbAL6J221VXEqHU41LZhYORfEh2HcmTyPPxf4O8l85lcuRXmjqP5MNN0DoiLef7Lfs5NjcncX6imiqsA9c3hj9IoRiR_YhnciSMQMiEl_lPTC4ia6_bjvQnnZrZ_4q98yEY9faaRHNERFclpVDrgOQsLRwojhWyul5A Рис. 6. Главная страница сайта мониторинга цифровой образовательной среды учреждений дополнительного образования Источник: создано Н.И. Паком, А.А. Сыромятниковым, Т.А. Степановой, Д.О. Куулар. Рисунок 6. Главная страница сайта мониторинга цифровой образовательной среды учреждений дополнительного образования.jpg Figure 6. The main page of the site for monitoring the digital educational environment of institutions of additional education Source: created by Nikolay I. Pak, Alexey A. Syromyatnikov, Tatyana А. Stepanova, Dolaana O. Kuular. Для внесения данных для мониторинга организация может воспользоваться либо предназначенным для этого разделом сайта (рис. 7), либо возможностями облачных сервисов и вносить данные в созданную для этих целей Яндекс-форму (рис. 8). https://lh4.googleusercontent.com/VEQsLEmbRUi2KUz9I2pE7U4KPlvfuR06bYC9MEf-5lXAJJb24PllB-z5Pi0-v65rV1aNEsnHNhGspAzZqylbw4MWkSFY74Q0mEu_lrXaedKUoW5L3WnXS01TJebE737wD5UMJf2W8ql_KJWdwoN8B1D8XUFUl-p9mO84TmZmuT-wS06hVaHQ1LVQRg Рис. 7. Список разделов сайта мониторинга цифровой образовательной среды учреждений дополнительного образования Источник: создано Н.И. Паком, А.А. Сыромятниковым, Т.А. Степановой, Д.О. Куулар. In the “Statistics” section presents summary reports of the results obtained for individual organizations, municipalities, and regionsIn the “Monitoring form” section, you must enter information about your organization and send it to the Administrator. After checking by the Administrator for the correctness of the entered information, either an error log is sent to you, or a message stating that no errors were found in the provided data and the report is added to the “List of institutions of additional education” sectionIn the “User monitoring results” section displays the current monitoring results of this user, presented in the form of petal diagram and analytical conclusion on the quality level of his digital education environment List of institutions of additional education Statistics User monitoring results Form the filling in the monitoring dataList of sectionsYou’re here: Main / List of sectionsРисунок 7. на английском.jpg Figure 7. List of sections of the site for monitoring the digital educational environment of additional education institutions Source: created by Nikolay I. Pak, Alexey A. Syromyatnikov, Tatyana А. Stepanova, Dolaana O. Kuular. Независимо от того, каким способом были внесены данные, результаты мониторинга хранятся в реляционной базе сервера под управлением СУБД MySQL. Данные мониторинга подвергаются статистической обработке с целью их обобщения, систематизации, определения статистических характеристик [14]. Предусмотрен расчет мер центральной тенденции, мер изменчивости, а также мер связи. При формировании отчетов происходит мониторинг динамики изменения статистических характеристик по каждому критерию оценивания. Для собранных данных мониторинга выполняется процедура кластеризации, упорядочивающая объекты в сравнительно однородные группы по уровню качества цифровой образовательной среды учреждения (кластер высокого уровня качества ЦОС, кластер низкого уровня качества ЦОС и кластер среднего уровня качества ЦОС). При проведении кластеризации возникает проблема, связанная с неоднородностью единиц измерения, применяемых для оценки различных критериев. Для решения этой проблемы проводится предварительная стандартизация (standardization), или нормирование (normalization), которое приводит значения всех преобразованных оценок к единому диапазону значений. Это достигается путем выражения их через отношение данных значений величине, отражающей определенные свойства конкретного критерия [15]. В нашем случае для выполнения процедуры нормирования использован способ деления исходных данных на среднеквадратичное отклонение соответствующих признаков. Изображение выглядит как текст, электроника, снимок экрана, Шрифт Автоматически созданное описание Изображение выглядит как текст, снимок экрана, компьютер, программное обеспечение Автоматически созданное описание Рис. 8. Фрагмент многостраничной Яндекс-формы для оценивания цифровой образовательной среды учреждений дополнительного образования Источник: создано Н.И. Паком, А.А. Сыромятниковым, Т.А. Степановой, Д.О. Куулар. Figure 8. Fragment of a multi-page Yandex form for assessing the digital educational environment of institutions of additional education Source: created by Nikolay I. Pak, Alexey A. Syromyatnikov, Tatyana А. Stepanova, Dolaana O. Kuular. Наряду с процедурой нормирования данных, осуществляется процедура придания значению каждого критерия определенного коэффициента важности, или веса, который бы отражал значимость соответствующего критерия. В качестве весов выступают экспертные оценки, полученные в ходе опроса экспертов - специалистов в области оценки качества цифровой образовательной среды. Полученные произведения нормированных переменных на соответствующие веса позволяют получать расстояния между точками в многомерном пространстве с учетом неодинакового веса переменных. В ходе экспериментов проводилось сравнение результатов, полученных с учетом экспертных оценок и без них, и выбор лучшего из них. Графическое представление статистических данных мониторинга реализовано в виде лепестковой диаграммы. Таким образом, разработанный в качестве информационной поддержки критериальной модели оценки качества цифровой образовательной среды сайт мониторинга цифровой образовательной среды учреждений дополнительного образования является весьма эффективным веб-приложением, визуализирующим процесс мониторинга цифровой образовательной среды учреждений дополнительного образования и предоставляющим пользователям удобный интерфейс для анализа и принятия управляющих решений по дальнейшему развитию среды. Заключение. Показатели мониторинга ЦОС организаций дополнительного образования позволяют оценить их деятельность с позиций задач цифровой трансформации образования: - доступность цифровой инфраструктуры и оборудования; - эффективность использования цифровых технологий и ресурсов в образовательном процессе; - уровень цифровых навыков участников образовательного процесса; - результативность практики мониторинга успеваемости, достижений, здоровья обучающихся; - эффективность управления образовательной организацией. Для участия в национальной системе мониторинга развития ЦОС каждая организация должна зарегистрироваться в системе и осуществлять заполнение специальных форм. Первичная информация вводится в систему один раз через АРМ того подразделения, где она возникает (зарождается), а затем может быть использована любым подразделением предприятия. В дальнейшем проводится корректировка этих показателей раз в год. К первичной информации следует отнести в первую очередь сведения о реализуемых программах дополнительного образования, включая данные об условиях, в которых реализуется программа. Поэтому важен порядок внесения данных: сначала данные об образовательных организациях, включая материально-техническую, ресурсную базы, кадровый состав и пр. Главным достоинством предложенной модели «Прозрачный ящик», реализованной в виде объектно-структурной карты цифровой образовательной среды, являются ее топологичность, высокий уровень визуализации и интерактивность. Вместе с этим модель высоко технологична и достаточно проста для практической реализации. Предложенная модель оценки качества цифровой образовательной среды организаций дополнительного образования, реализованная при помощи веб-технологий, предоставляет возможность проводить эффективную аналитику и обеспечивает процесс принятия управленческих решений на научной основе. Данная модель может быть использована в широком классе исследований, связанных с критериальными оценочными мероприятиями.

Об авторах

Николай Инсебович Пак

Красноярский государственный педагогический университет имени В.П. Астафьева

Email: koliapak@yandex.ru
ORCID iD: 0000-0003-2105-8861

доктор педагогических наук, профессор, заведующий кафедрой информатики и информационных технологий в образовании

Российская Федерация, 660049, Красноярск, ул. Ады Лебедевой, д. 89

Алексей Александрович Сыромятников

Красноярский государственный педагогический университет имени В.П. Астафьева

Автор, ответственный за переписку.
Email: syromyatnikov@kspu.ru
ORCID iD: 0000-0002-6439-4577

кандидат педагогических наук, доцент, доцент кафедры информатики и информационных технологий в образовании

Российская Федерация, 660049, Красноярск, ул. Ады Лебедевой, д. 89

Татьяна Анатольевна Степанова

Красноярский государственный педагогический университет имени В.П. Астафьева

Email: step1350@mail.ru
ORCID iD: 0000-0001-9782-3641

кандидат педагогических наук, доцент, доцент кафедры информатики и информационных технологий в образовании

Российская Федерация, 660049, Красноярск, ул. Ады Лебедевой, д. 89

Долаана Орлан-ооловна Куулар

Тувинский государственный университет

Email: susanasaidana@mail.ru
ORCID iD: 0000-0003-0927-2507

кандидат педагогических наук, доцент кафедры информатики

Российская Федерация, 667000, Кызыл, ул. Ленина, д. 36

Список литературы