Методика формирования компетенций цифровой доступности: разработка и апробация на российской выборке

Полный текст

Введение Пандемия коронавирусной инфекции COVID-19 значительно ускорила глобальный переход различных видов деятельности человека в дистанционный формат, в частности активизировала соответствующие сдвиги в сфере образования[20]. Электронное обучение (ЭО) с использованием дистанционных образовательных технологий получило дополнительный импульс к распространению, повсеместно заменяя и дополняя различные очные формы организации образовательного процесса. В этих условиях содержание цифрового образования должно быть воспринимаемым, управляемым, понятным и надежным для всех участников образовательного процесса, включая наиболее уязвимые категории обучающихся (Meleo-Erwin et al., 2020; Lazar, 2021). Сложности адекватной реализации доступного ЭО связаны в первую очередь с недостаточной доступностью электронных образовательных ресурсов (ЭОР) (Meleo-Erwin et al., 2020; Lazar, 2022) и слабой подготовленностью специалистов сферы образования к поддержке ЭО, согласующегося с требованиями цифровой доступности (ЦД) и универсального дизайна (Mullin et al., 2021). В соответствии с определением Консорциума Всемирной паутины (англ. World Wide Web Consortium, W3C) веб-доступность представляет собой стратегию и результат разработки веб-ориентированных технологий с учетом их будущего использования пользователями, имеющими нарушения здоровья[21]. Понятие цифровой доступности (ЦД) базируется на предыдущем определении, но охватывает, помимо веб-контента, все прочие электронные ресурсы. Наибольшим авторитетом среди регламентов, регулирующих требования ЦД, пользуется группа рекомендаций доступности веб-контента Web Content Accessibility Guidelines (WCAG) версий 2.0 и 2.1[22]. Универсальный дизайн подразумевает разработку обстановок, предметов, программ и услуг, пригодных и доступных для каждого человека, вне зависимости от его физических, психических или сенсорных ограничений, без необходимости специальной адаптации[23]. Соблюдение требований ЦД и универсального дизайна при разработке цифрового образовательного контента позволяет одинаково эффективно использовать ЭОР как здоровым людям, так и обучающимся с ограничениями зрения, слуха, речи, опорно-двигательного аппарата, неврологическими, когнитивными и ментальными нарушениями. Кроме того, доступность цифрового контента нивелирует сложности восприятия и взаимодействия, связанные с временными нарушениями здоровья, техническими и ситуативными ограничениями[24]. В литературе явно обозначена проблема доступности ЭОР. Так, в работах зарубежных авторов (Al-Mouh et al., 2014; Bohnsack, Puhl, 2014; Ferati et al., 2016, Ramírez-Vega et al., 2017; Sanchez-Gordon, Luján-Mora, 2019) выявлены нарушения ЦД платформ открытого образования и массовых открытых онлайн курсов (МООК), в ряде исследований (Gilligan, 2020; Косова, 2020) поднимаются вопросы о необходимости повышения квалификации специалистов сферы образования по разработке доступного цифрового контента, некоторые ученые (Meleo-Erwin et al., 2020; Lazar, 2022; Mullin et al., 2021) исследуют сложности поддержки ЦД ЭО, возникшие в период пандемии COVID-19. Вопросам подготовки специалистов по ЦД в мире также уделяется достаточное внимание. Так, Международной ассоциацией профессионалов в области доступности (англ. International Association of Accessibility Professionals, IAAP) разработан свод знаний, регламентирующий компетенции соответствующих специалистов, который включает умения и навыки разработки доступных ЭОР[25]. На сайте Инициативы по обеспечению веб-доступности (англ. Web Accessibility Initiative, WAI) W3C сформулирован общий подход к обучению методам обеспечения ЦД[26]. В образовательном веб-пространстве присутствуют онлайн-курсы, формирующие компетенции специалистов в области ЦД (Косова, 2021). Таким образом, необходимость обучения авторов и разработчиков цифрового контента технологиям обеспечения ЦД, а также разработки соответствующих методов обучения и учебных курсов не подвергается сомнению. Вместе с тем в Российской Федерации (РФ) до недавнего времени отсутствовали методические системы обучения основам ЦД, разработчики образовательного контента не обладают достаточными компетенциями для реализации принципов ЦД, что, как следствие, приводит к ограниченной доступности ЭО для уязвимых групп обучающихся. Устранение противоречий между актуальными потребностями в квалифицированных специалистах сферы образования, способных организовать доступную среду ЭО, и фактическим состоянием профессиональной подготовки в этой области является предметом настоящей статьи. Целью исследования стало рассмотрение и апробация авторской методики формирования компетенций ЦД у обучающихся высших учебных заведений. Процедура и методы Методика формирования компетенций ЦД была разработана и апробирована в 2021 г. на базе институтов и академий Крымского федерального университета имени В.И. Вернадского (КФУ). Структура и содержание мероприятий по испытанию новой методики приведены в табл. 1. Таблица 1 / Table 1 Структура и содержание испытаний / Structure and content of the trials Этап / Stage Деятельность / Actions Подготовительный, январь - октябрь 2021 / Preparatory, January - October 2021 ● Разработка системы компетенций ЦД / Development of the system of digital accessibility competences. ● Создание программы обучения и онлайн-курса / Development of the training program and online courseю. ● Бета-тестирование и отладка программы обучения и онлайн-курса / Beta testing and debugging of the training program and online course. ● Формулирование гипотезы исследования / Formulation of the research hypothesis. ● Набор потенциальных слушателей курса / Enrollment of potential students Формирующий, ноябрь 2021 / Formative, November 2021 ● Формирование выборки исследования / Study sampling. ● Вводное тестирование цифровых компетенций обучающихся / Introductory testing of the students’ digital competences. ● Реализация обучения / Training delivery. ● Итоговое тестирование цифровых компетенций обучающихся / Final testing of the students’ digital competences Аналитический, декабрь 2021 / Analytic, December 2021 ● Статистический анализ результатов обучения / Statistical analysis of the training outcomes ● Обсуждение результатов апробации / Discussion of the trials’ results В качестве базовой методологии для разработки системы компетенций ЦД и методов проверки уровня их сформированности использовался алгоритм, предложенный Й. Клиффордом и соавт. (Clifford et al., 2020). Система компетенций разработана в соответствии с требованиями к подготовке специалистов в сфере ЦД[27] и рекомендациями по проектированию систем цифровых компетенций (Vuorikari et al., 2016; Carretero Gomez et al., 2017). Программа обучения и соответствующий онлайн-курс «Цифровая доступность в электронном обучении»[28] разработаны на основе массового открытого онлайн-курса (МООК) «Веб-доступность в электронном обучении»[29], дополненного практическими модулями, вступительными и итоговыми тестами. Бета-тестирование курса выполнено 15 студентами магистерской программы прикладной математики. В контент курса вошли 23 мини-лекции, 6 видеоинструкций, 11 тестов формирующего оценивания (всего 32 вопроса) и 9 практических работ. Перед началом обучения выполнялась диагностика общего уровня сформированности цифровых компетенций обучающихся, после завершения обучения - уровня сформированности новых профессиональных цифровых компетенций, названных компетенциями ЦД. Системы цифровых компетенций и способы их измерения были согласованы между собой. Измерение общего уровня цифровых компетенций перед началом обучения использовалось для проверки однородности групп обучающихся, а также для оценки связи между результатами самооценки и формальной оценки до и после обучения. Для определения уровня сформированности цифровых компетенций в начале курса и в конце обучения применялись тесты самооценки и формальной оценки. Вводная диагностика цифровых компетенций выполнялась с помощью внешнего ресурса[30]. Вопросы вводного теста самооценки были подготовлены на основе рекомендованных опросных листов (Clifford et al., 2020), итоговые тесты самооценки и формальной оценки разработаны авторами. Критерием успешности обучения являлись результаты итогового теста формальной оценки. Вопросы в тестах самооценки (по 16 в каждом тесте) были сформулированы в виде утверждений с четырьмя градациями ответов: «Нет, это не так», «Скорее нет/не совсем», «Как правило, да», «Да, абсолютно». Итоговый тест формальной оценки состоял из вопросов разного типа и сложности (всего 14), включая открытые вопросы с ответом в виде файла. Для проверки надежности (внутренней согласованности) вводного теста самооценки и обоих итоговых тестов были рассчитаны значения α Кронбаха; внутренняя согласованность считалась достаточной при α ≥ 0,8 (Nunnally, Bernstein, 1994). Результаты проверки показали достаточную внутреннюю согласованность: α = 0,9 для вводного и итогового тестов самооценки, α = 0,8 для итогового теста формальной оценки. Уровни сформированности цифровых компетенций в начале и в конце обучения оценивали в соответствии со шкалой, определенной следующим образом: низкий уровень - до 33 % от максимально возможного результата теста, базовый уровень - от 34 до 60 %; средний уровень - от 61 до 74 %; продвинутый уровень - 75 % и выше. Курс считался завершенным успешно при достижении как минимум базового уровня сформированности компетенций. Низкий уровень означал, что компетенции не были приобретены. Гипотеза исследования заключалась в том, что подход к формированию компетенций ЦД будет эффективным при соблюдении следующих условий: - учебные материалы курса основаны на принципах ЦД и универсального дизайна, а также на актуальных методах проектирования доступного образовательного веб-контента; - обучение проводится в режиме онлайн с возможностью тьюторской поддержки обучающихся; - рекомендуемые практические задания и тесты формирующего оценивания выполнены обучающимися с положительным результатом. Обучение осуществляли в рамках бесплатных факультативов для обучающихся бакалавриата и магистратуры. Все слушатели имели возможность записаться на курс самостоятельно, однако de facto многие студенты были зачислены администрацией вуза принудительно. Процесс обучения, который поддерживали онлайн два преподавателя, включал добровольное самостоятельное изучение лекций, решение практических задач и обязательное прохождение вступительного и итогового формального тестирования. Переходы между элементами курса не ограничивались и не зависели от обязательного выполнения предыдущего элемента. Предоставлялось две попытки для прохождения итогового формального теста и неограниченное количество попыток выполнения заданий и тестов формирующего оценивания. На момент запуска курса общую аудиторию составил 781 студент КФУ, из которых 556 записались самостоятельно, 225 были добавлены администрацией. Всего из исследования были исключены 604 студента, из которых 394 человека не прошли ни одной контрольной точки, 209 человек не прошли стартовое или итоговое тестирование, один студент не принадлежал целевой аудитории (не являлся обучающимся бакалавриата или магистратуры). В итоге пригодную для анализа выборку исследования составили данные, полученные от 177 человек (23 % первичной аудитории). В итоговую выборку вошли студенты девяти институтов и академий КФУ (табл. 2). Количество студентов в выборке существенно варьировало между вузами - от одного (0,56 %) до 63 (35,59 %). По собственному желанию на курс были зачислены 86 человек (48,59 %), 91 (51,41 %) - под административным давлением. Наибольшее число слушателей (более трети выборки) составили студенты Института педагогического образования и менеджмента, из которых 96,83 % были зачислены на курс принудительно. Далее, в порядке уменьшения числа привлеченных, находились студенты Физико-технического института (96,97 % зарегистрировались самостоятельно) и Евпаторийского института социальных наук (93,55 % зачислены принудительно). Следовательно, студенты информационно-технологических направлений подготовки чаще, чем представители других специальностей, самостоятельно и осознанно выбирали данный курс для совершенствования собственных профессиональных навыков. На педагогических направлениях подготовки обучались 94 человека (53,11 %), 13 (7,34 %) - имели в программе бакалавриата отдельные педагогические дисциплины, 20 (11,30 %) - изучали педагогику в рамках магистерских программ. Таким образом, обучение почти трех четвертей привлеченных студентов (127; 71,75 %) было напрямую связано с их возможной преподавательской деятельностью в будущем. Для дальнейшего анализа выборка исследования была разделена на две группы: «Младшая» - студенты 1-3-го курсов бакалавриата; «Старшая» - студенты 4-го курса бакалавриата и 1-2-го курсов магистратуры (табл. 2). Таблица 2 / Table 2 Распределение вовлеченных студентов в выборке исследования, N = 177 / Distribution of the students involved in the study sample, N = 177 Институты и академии КФУ / CFU academies and institutes Младшая группа / Junior group, n, % Старшая группа / Senior group, n, % Всего / Total, n, % Б., 1-й курс / Un., 1st year Б., 2-й курс / Un., 2nd year Б., 3-й курс / Un., 3rd year Б., 4-й курс / Un., 4th year М., 1-й курс / Gr., 1st year М., 2-й курс / Gr., 2nd year АСиА / ACA 0 (0,00) 0 (0,00) 0 (0,00) 2 (1,13) 4 (2,26) 0 (0,00) 6 (3,39) АТА / ATA 0 (0,00) 1 (0,56) 0 (0,00) 0 (0,00) 0 (0,00) 0 (0,00) 1 (0,56) ЕИСН / YISS 0 (0,00) 14 (7,91) 5 (2,82) 12 (6,78) 0 (0,00) 0 (0,00) 31 (17,51) ИММиД / IMMD 0 (0,00) 3 (1,69) 3 (1,69) 3 (1,69) 0 (0,00) 0 (0,00) 9 (5,08) ИПОМ / IPEM 3 (1,69) 7 (3,95) 11 (6,21) 42 (23,73) 0 (0,00) 0 (0,00) 63 (35,59) ИЭиУ / IEM 2 (1,13) 6 (3,39) 4 (2,26) 0 (0,00) 0 (0,00) 0 (0,00) 12 (6,78) СЭГИ / SIEH 0 (0,00) 2 (1,13) 13 (7,34) 3 (1,69) 0 (0,00) 0 (0,00) 18 (10,17) ТА / TA 0 (0,00) 2 (1,13) 0 (0,00) 1 (0,56) 1 (0,56) 0 (0,00) 4 (2,26) ФТИ / PTI 1 (0,56) 8 (4,52) 8 (4,52) 1 (0,56) 9 (5,08) 6 (3,39) 33 (18,64) Всего / Total 6 (3,39) 43 (24,29) 44 (24,86) 64 (36,16) 14 (7,91) 6 (3,39) 177 (100,00) 93 (52,54) 84 (47,46) Примечание: КФУ - Крымский федеральный университет имени В.И. Вернадского; АСиА - Академия строительства и архитектуры; АТА - Агротехнологическая академия; ЕИСН - Евпаторийский институт социальных наук; ИММиД - Институт медиакоммуникаций, медиатехнологий и дизайна; ИПОМ - Институт педагогического образования и менеджмента; ИЭиУ - Институт экономики и управления, СЭГИ - Севастопольский экономико-гуманитарный институт; ТА - Таврическая академия; ФТИ - Физико-технический институт; Б. - бакалавриат; М. - магистратура Note: CFU - V. I. Vernadsky Crimean Federal University; ACA - Academy of Construction and Architecture; ATA - Agrotechnology Academy; YISS - Yevpatoria Institute of Social Sciences; IMMD - Institute of Media Communications, Media Technologies and Design; IPEM - Institute of Pedagogical Education and Management; IEM - Institute of Economics and Management; SEHI - Sevastopol Institute of Economics and Humanities; TA - Taurida Academy; PTI - Physics and Technology Institute; Un. - undergraduate; Gr. - graduate. Для статистического анализа и представления результатов исследования использован язык программирования R и программа Microsoft Excel. Применялись следующие критерии и методы: Шапиро - Уилка - для проверки нормальности распределения; Манна - Уитни и χ2 Пирсона - для проверки однородности распределения; критерий Уилкоксона и дисперсионный анализ сравнения выборок, коэффициент корреляции - для изучения связей между переменными. Связь считалась подтвержденной, а различия значимыми при значении p < 0,05. Для выполнения статистического анализа результаты по всем проверяемым элементам курса были нормированы из расчета, что 100 % соответствует максимально возможной оценке. Результаты Система компетенций ЦД. Обучение на курсе было направлено на формирование двух профессиональных компетенций (далее обозначаемых как ПК1 и ПК2), предназначенных для создания, интеграции и обработки доступного цифрового образовательного контента в соответствии с принципами ЦД и универсального дизайна. Способность разрабатывать цифровой образовательный контент для ЭО лиц с ОВЗ рассматривалась как ПК1, а способность интегрировать и обрабатывать цифровой образовательный контент для вышеуказанных лиц - как ПК2. Разработана система компетенций, состоящая из 10 элементов для ПК1 и шести - для ПК2. Элементы компетенций были распределены по типам (знания - 25 % элементов, навыки - 62,5 %, интенции - 12,5 %) и по рангам в соответствии со шкалой сформированности компетенций (базовый уровень - 25 % элементов, средний - 50 %, продвинутый - 25 %). Содержание компетенций поэлементно представлено в табл. 3. Подход к структурированию системы компетенций с соблюдением предложенных пропорций отдельных ее элементов позволил очертить круг знаний и навыков, достаточных для выполнения работ по созданию, преобразованию и анализу доступных ЭОР. Между вопросами итоговых тестов и содержанием каждого элемента было установлено взаимно однозначное соответствие, что дало возможность охватить всю систему компетенций и получить в ходе проверки целостную картину их сформированности. Исключение составили элементы типа «интенция», которые проверялись в ходе самооценки, но отсутствовали в тесте формальной оценки в связи с невозможностью их объективизации. Таблица 3 / Table 3 Структура и содержание системы компетенций ЦД / Structure and content of the system of digital accessibility competences № / No. Элемент компетенции / Competence element Тип элемента / Element type Ранг элемента / Element grade ПК-1. Способность разрабатывать цифровой образовательный контент для ЭО лиц с ОВЗ в соответствии с принципами ЦД и универсального дизайна / PC1. The ability to develop digital educational content for e-learning of persons with disabilities in accordance with the principles of digital accessibility and universal design 1.1 Знать, что такое ЦД, универсальный дизайн и универсальный дизайн для обучения; какими международными стандартами и нормами они регулируются / Know what are the digital accessibility, universal design and universal design for learning; what international standards and norms they are regulated by Знания / Knowledge Базовый / Baseline 1.2 Понимать требования доступности к цифровому образовательному контенту (по типу контента, включая цифровые документы, мультимедиа, тесты, симуляции, научную нотацию и т. д.) / Understand the accessibility requirements for educational digital content (by content type, including digital documents, multimedia, tests, simulations, scientific notation, etc.) Знания / Knowledge Базовый / Baseline 1.3 Знать, какие требования к образовательному веб-контенту должны быть выполнены, чтобы предоставить всем обучающимся доступное обучение, и насколько эти требования соответствуют принципам и положениям международных стандартов веб-доступности / Know what requirements to educational web content must be met in order to provide all students with accessible learning, and how these requirements comply with the principles and provisions of international web accessibility standards Знания / Knowledge Базовый / Baseline 1.4 Знать и понимать, почему необходимо следовать принципам универсального дизайна и стандартам веб-доступности при разработке образовательного веб-контента / Know and understand why it is necessary to follow the universal design principles and web accessibility standards when designing the educational web content Знания / Knowledge Базовый / Baseline 1.5 Иметь желание и намерение распространять информацию о ЦД и универсальном дизайне в профессиональном сообществе / Have the desire and intention to spread information on digital accessibility and universal design in the professional community Интенции / Intentions Средний / Interjacent Окончание табл. 3 / Table 3, ending № / No. Элемент компетенции / Competence element Тип элемента / Element type Ранг элемента / Element grade 1.6 Знать методы проверки доступности образовательного контента и уметь их применять / Know methods for checking the accessibility of educational content and be able to apply them Навыки / Skills Средний / Interjacent 1.7 Уметь создавать текстовые документы, компьютерные презентации, электронные таблицы и документы в формате PDF, отвечающие требованиям доступности / Be able to design text documents, computer presentations, spreadsheets, and PDF documents that meet the accessibility requirements Навыки / Skills Средний / Interjacent 1.8 Уметь разрабатывать субтитры и стенограммы для видео / Be able to develop subtitles and transcripts for videos Навыки / Skills Средний / Interjacent 1.9 Уметь разрабатывать задания (тесты, задачи) для ЭОР с соблюдением требований доступности / Be able to develop assignments (tests, tasks) for electronic educational resources in compliance with the accessibility requirements Навыки / Skills Средний / Interjacent 1.10 Иметь желание и намерение разрабатывать доступные ЭОР / Have the desire and intention to develop accessible electronic educational resources Интенции / Intentions Средний / Interjacent ПК-2. Способность интегрировать и перерабатывать цифровой образовательный контент для ЭО лиц с ОВЗ с соблюдением принципов доступности / PC2. The ability to integrate and process digital educational content for e-learning of persons with disabilities in accordance with the principles of digital accessibility and universal design 2.1 Уметь оценивать и анализировать доступность учебных цифровых (в то числе онлайн-) материалов с помощью методов автоматической и экспертной проверки / Be able to evaluate and analyze the accessibility of digital (including online) learning materials using automated and peer review tools Навыки / Skills Продвинутый / Advanced 2.2 Уметь определять тип нарушения доступности цифрового контента, включая образовательный контент, и указывать способы исправления ошибки / Be able to identify the type of violation of the accessibility of digital content (including learning materials) and indicate ways to correct the error Навыки / Skills Средний / Interjacent 2.3 Знать и уметь описать словами изображение и видео, знать и уметь применять основные правила аудиодескрипции / Know and be able to describe images and videos in words, know and be able to apply the basic rules of audio description Навыки / Skills Средний / Interjacent 2.4 Уметь исправлять собственные и чужие ошибки доступности в текстовых документах, презентациях, электронных таблицах и pdf-документах / Be able to correct one’s own and others’ accessibility errors in text documents, presentations, spreadsheets and pdf documents Навыки / Skills Продвинутый / Advanced 2.5 Уметь разрабатывать доступные ЭОР, состоящие из разных типов контента (тексты, таблицы, презентации, видео, тесты, задания и т. д.) / Be able to develop accessible electronic educational resources consisting of different content types (texts, tables, presentations, videos, tests, tasks, etc.) Навыки / Skills Продвинутый / Advanced 2.6 Уметь научать других людей тому, как проверять доступность ЭОР и как создавать доступный образовательный цифровой контент / Be able to teach other people how to check the accessibility of electronic educational resources and how to create accessible educational digital content Навыки / Skills Продвинутый / Advanced Однородность выборки исследования. Проверка однородности выборки в группах «Младшая» и «Старшая» выполнялась в два этапа: 1) выдвинуты нулевые гипотезы H0(1) и H0(2) о равенстве медиан оценок студентов в группах «Младшая» и «Старшая» при вводном и итоговом тестировании сформированности компетенций соответственно. Для обеих групп значения p критерия Шапиро - Уилка оказались < 0,05, следовательно распределения в группах отличались от нормального, что способствовало выбору критерия Манна - Уитни для проверки равенства медиан. Для вводного и итогового тестирования p критерия Манна - Уитни оказались > 0,05, следовательно, нулевые гипотезы о том, что медианы выборок статистически не отличаются, не могли быть отвергнуты; 2) выдвинуты нулевые гипотезы H0(3) и H0(4) об однородности выборок в группах «Младшая» и «Старшая» соответственно. Для проверки гипотез использован критерий χ2 Пирсона с предварительной перегруппировкой выборок путем объединения данных, соответствующих низкому и базовому уровням сформированности компетенций (не более 60 % от максимально возможного результата). Для обеих групп значения p > 0,05, следовательно, нулевые гипотезы о том, что выборки однородны, не могли быть отвергнуты. В табл. 4 приведены результаты проверки однородности выборки исследования. Таблица 4 / Table 4 Результаты проверки однородности в группах «Младшая» и «Старшая» с помощью критериев Шапиро - Уилка, Манна - Уитни и χ2 Пирсона / Results of checking the homogeneity in the “Junior” group and “Senior” group using the Shapiro - Wilk test, Mann - Whitney U test and Pearson’s chi-squared test Уровни сформированности компетенций и наименования статистических показателей* / Levels of formed competences and names of statistical indices* Вводная формальная оценка сформированности компетенций / Introductory formal assessment of formed competences Итоговая формальная оценка сформированности компетенций / Final formal assessment of formed competences Младшая группа / Junior group, N = 93 Старшая группа / Senior group, N = 84 Младшая группа / Junior group, N = 93 Старшая группа / Senior group, N = 84 Низкий + базовый** / Low + Baseline**, n, % 21 (11,86) 29 (16,38) 30 (16.95) 28 (15.82) Средний / Interjacent, n, % 43 (24,29) 33 (18,64) 20 (11.30) 21 (11.86) Продвинутый / Advanced, n, % 29 (16,38) 22 (12,43) 43 (24.29) 35 (19.77) Средняя оценка / Average mark, a ± σ, % 67,13 ± 11,67 62,94 ± 16,80 68.70 ± 18.49 67.23 ± 17.69 Медиана оценок / Median of marks, Me ± MAD, % 69,00 ± 7,00 66,50 ± 9,00 68.90 ± 14.47 69.43 ± 13.34 Критерий Шапиро - Уилка, W(p) / Shapiro - Wilk test, W(p-value) 0,9322 (<0,001) 0,9165 (<0,001) 0.9688 (0.025) 0.9602 (0.012) Критерий χ2 (Пирсона), χ2 (p) / Pearson’s chi-squared test, χ2 (p-value) 3,107 (0,210) 0,457 (0,796) Критерий Манна - Уитни, W(p) / Mann - Whitney test, W(p-value) 4350,5 (0,192) 4101,5 (0,567) Степени свободы, df / Degrees of freedom df 2 2 Примечание: * N - количество студентов в группах; n - количество слушателей с разными уровнями сформированности компетенций: σ - стандартное отклонение оценок; MAD - медианное абсолютное отклонение оценок; p - уровень значимости; ** данные низкого и базового уровней объединены для проверки однородности выборки. Note: * N - the number of students in the groups; n - the number of students with different levels of formed competences; σ - the standard deviation of marks; MAD - median absolute deviation of marks; p - the significance level; ** low and baseline level data were combined to check the sample homogeneity. На основании выполненной проверки, гипотезы об однородности групп «Младшая» и «Старшая» не были отвергнуты, что позволило объединить обе группы и в последующем работать с ними как с единой выборкой, то есть делать совместные выводы об успеваемости членов групп. Иными словами, уровни сформированности компетенций перед и после обучения в обеих группах статистически не отличались, поэтому при положительном результате испытаний курс может быть рекомендован к включению в образовательные программы как на раннем, так и на позднем этапах обучения. Исследование результатов обучения в объединенной выборке. Исходные материалы, характеризующие процесс и результаты обучения, приведены в наборе данных, опубликованном авторами (Kosova, Redkokosh, 2022). Данные тестирования сформированности цифровых компетенций в начале и в конце обучения представлены в табл. 5 и 6 соответственно. Таблица 5 / Table 5 Результаты самооценки и формального оценивания уровня цифровых компетенций у студентов перед началом обучения, N = 177 / Results of self-assessment and formal assessment of the students’ digital competences (before the start of training), N = 177 Уровни сформированности компетенций / Levels of formed competences Самооценка / Self-assessment Формальная оценка / Formal assessment Критерий Уилкоксона W(p) / Wilcoxon test W(p-value) Низкий / Low n, % 25 (14,12) 8 (4,52) 124 (0,317) Me ± MAD, % 29,19 ± 2,06 27,00 ± 2,24 Базовый / Baseline n, % 88 (49,72) 42 (23,73) 1308,5 (0,007) Me ± MAD, % 47,94 ± 6,25 53,00 ± 5,00 Средний / Interjacent n, % 38 (21,47) 76 (42,94) 941 (0,002) Me ± MAD, % 66,69 ± 2,13 68,00 ± 2,24 Продвинутый / Advanced n, % 16 (9,04) 51 (28,81) 599 (0,005) Me ± MAD, % 83,31 ± 3,13 79,00 ± 5,29 Пренебрегли тестированием / Ignored testing, n, % 10 (5,65) 0 (0,00) 7592,5 (<0,001) Meобщая ± MAD / Megeneral ± MAD, % 52,06 ± 12,50 68.00 ± 8,00 Примечание: n - количество слушателей с разными уровнями сформированности компетенций; Me - медиана оценок на каждом уровне; Meобщая - медиана оценок во всей выборке; MAD - медианное абсолютное отклонение оценок Note: n - the number of students with different levels of digital competences; Me - the median mark on each level; Megeneral - the median mark in the entire sample; MAD - the median absolute deviation of marks. Подавляющее большинство обучающихся (169 человек, 95,50 %) имели стартовый уровень сформированности цифровых компетенций не ниже базового. Вместе с тем приведенные результаты (табл. 5) свидетельствуют о значимых различиях между данными самооценки и формальной оценки как в совокупности, так и по отдельным уровням. Слушатели с базовым и средним уровнями сформированности цифровых компетенций, судя по медиане оценок, умаляли свои возможности, тогда как слушатели, достигшие продвинутого уровня, напротив, себя переоценивали. В целом же на старте обучения бóльшая часть участников была склонна себя недооценивать. По результатам итогового формального тестирования (табл. 6) курс успешно завершили 170 человек, что составляет 96,05 % от числа всех зачисленных. При этом значимых различий между данными формальной оценки и итоговой самооценки (по уровням и в общем) обнаружить не удалось (p > 0,05). Это может свидетельствовать о приобретении в ходе обучения соразмерности между уверенностью обучающихся в своих силах и фактическим уровнем сформированности у них компетенций ЦД. Таблица 6 / Table 6 Результаты самооценки и формального оценивания компетенций ЦД у студентов после завершения обучения, N = 177 / Results of self-assessment and formal assessment of the students’ digital accessibility competences (after the completion of training), N = 177 Уровни сформированности компетенций / Levels of formed competences Самооценка / Selfassessment Формальная оценка / Formal assessment Критерий Уилкоксона W(p) / Wilcoxon test W(p-value) Низкий / Low n, % 2 (1,13) 7 (3,95) 14 (0,056) Me ± MAD, % 5,22 ± 1,03 26,67 ± 2,50 Базовый / Baseline n, % 39 (22,03) 51 (28,81) 986,5 (0,951) Me ± MAD, % 50,00 ± 8,31 50,57 ± 6,00 Средний / Interjacent n, % 37 (20,90) 41 (23,16) 815 (0,575) Me ± MAD, % 66,69 ± 2,13 66,67 ± 3,00 Продвинутый / Advanced n, % 53 (29,94) 78 (44,07) 1782 (0,182) Me ± MAD, % 87,50 ± 8,31 83,33 ± 3,00 Пренебрегли тестированием / Ignored testing, n, % 0 (0,00) 11722 (0,868) Meобщая ± MAD / Megeneral ± MAD, % 68,75 ± 12,50 69,43 ± 13,34 Примечание: n - количество слушателей с разными уровнями сформированности компетенций; Me - медиана оценок на каждом уровне; Meобщая - медиана оценок во всей выборке; MAD - медианное абсолютное отклонение оценок. Note: n - the number of students with different levels of digital competences; Me - the median mark on each level; Megeneral - the median mark in the entire sample; MAD - the median absolute deviation of marks. Задания формирующего (текущего) оценивания (табл. 7) были согласованы с содержанием разработанной системы компетенций ЦД (табл. 3). Различные рекомендованные задания успешно выполнены минимум 64 (36,16 %) и максимум 172 (97,18 %) студентами при средних оценках в пределах 69,17-95,29 %. Наименьшие значения числа вовлеченных студентов (58 человек, 32,77 %) и средней оценки (66,21 %) зарегистрированы для факультативного практического задания-интервью (табл. 7, модуль 1), в то время как другие необязательные для выполнения задания (табл. 7, модули 3 и 4) привлекли более половины слушателей, средние оценки которых составили 74,55 и 91,83 %, соответственно. Тесты формирующего оценивания пройдены большинством студентов (168-172 человек, 94,92-97,18 %) с высокой результативностью (не менее 85,48 % от максимально возможной оценки). Формирующее оценивание не вносило формального вклада в итоговую оценку, однако могло способствовать развитию и закреплению необходимых компетенций и, как следствие, более успешному прохождению итоговых испытаний. Это и другие предположения о возможных связях между переменными были проверены с помощью статистических методов (табл. 8). Таблица 7 / Table 7 Содержание и результаты формирующего оценивания успеваемости студентов на курсе «Цифровая доступность в электронном обучении», N = 177 / Content and results of the formative assessment of student performance in the course on Digital Accessibility in e-Learning, N = 177 № / No. Тема задания / Task topic Студенты, выполнившие задание / Students who completed the task, n, % Средняя оценка / Average mark, a ± σ, % Модуль 1. ЦД и универсальный дизайн / Module 1. Digital accessibility and universal design Т1* Что такое веб-доступность, ЦД и универсальный дизайн? / What are web accessibility, digital accessibility and universal design? 172 (97,18) 89,60 ± 13,54 Т2 Кому нужна веб-доступность? Проблемы дизайна / Who needs web accessibility? Design challenges 171 (96,61) 90,53 ± 16,71 Т3 Вспомогательные технологии и адаптивные стратегии / Assistive technology and adaptive strategies 170 (96,05) 95,29 ± 21,24 Т4 Международные стандарты ЦД / International digital accessibility standards 168 (94,92) 88,72 ± 23,31 Т5 Руководство WCAG 2.1 по обеспечению доступности веб-контента / WCAG 2.1 Web Content Accessibility Guidelines 171 (96,61) 85,48 ± 24,35 П1 / P1* Интервью с лицом, имеющим ОВЗ, о проблемах ЦД (необязательное задание) / Interview with a person with disabilities about digital accessibility problems (optional task) 58 (32,77) 66,21 ± 23,46 Модуль 2. Правила доступности образовательного контента / Module 2. Accessibility rules applied to educational content Т6 Типы контента для электронного обучения / Types of e-learning content 171 (96,61) 94,37 ± 17,32 Т7 Доступность медиаконтента / Accessibility of media content 171 (96,61) 94,57 ± 12,31 Т8 Доступность основного контента / Accessibility of main content 171 (96,61) 89,77 ± 21,44 Т9 Доступность тестов / Accessibility of tests 171 (96,61) 89,54 ± 19,46 Т10 Доступность научной нотации / Accessibility of scientific notation 171 (96,61) 90,71 ± 17,36 Т11 Доступность интерактивных модулей, симуляций / Accessibility of interactive modules, simulations 171 (96,61) 93,63 ± 13,20 П2 / P2 Разработка информационного ресурса для иллюстрации проблем доступности / Development of an information resource to illustrate accessibility issues 131 (74,01) 76,05 ± 24,37 Модуль 3. Проверка ЦД / Module 3. Checking digital accessibility П3 / P3 Проверка контрастности веб-контента (необязательное задание) / Web content contrast rating (optional task) 99 (55,93) 74,55 ± 20,37 П4 / P4 Проверка доступности веб-контента с помощью инструмента WAVE / Checking web content accessibility using the WAVE tool 113 (63,84) 71,24 ± 32,83 П5 / P5 Экспертный анализ доступности онлайн-курсов / Expert analysis of online course accessibility 109 (61,58) 73,28 ± 29,58 Окончание табл. 7 / Table 7, ending № / No. Тема задания / Task topic Студенты, выполнившие задание / Students who completed the task, n, % Средняя оценка / Average mark, a ± σ, % Модуль 4. Методы разработки доступного контента для электронного обучения / Module 4. Methods for developing accessible e-learning content П6 / P6 Разработка доступных документов / Development of accessible documents 100 (56,50) 69,17 ± 17,47 П7 / P7 Аудиодескрипция и текстовое описание (необязательное задание) / Audio description and text description (optional task) 93 (52,54) 91,83 ± 11,51 П8 / P8 Разработка доступной видеолекции / Development of an accessible video lecture 64 (36,16) 70,47 ± 30,73 П9 / P9 Разработка доступного теста и задания / Development of an accessible test and task 96 (54,24) 70,83 ± 29,15 Средняя отметка за тесты формирующего оценивания / Average mark for formative assessment tests 166 (93,79)** 91,58 ± 13,22 Средняя отметка за рекомендованные практические задания / Average mark for recommended practical tasks 53 (29,94)*** 75,93 ± 16,02 Примечание: * Т - тест, П - практическая работа; ** количество студентов, выполнивших все тесты; *** количество студентов, выполнивших все практические задания (без учета необязательных). Note: * Т = test, P = practical work; ** the number of students who completed all the tests; *** the number of students who completed all the practical tasks (except optional tasks). Согласно полученным данным, чем успешнее студенты справлялись с прохождением формирующих тестов и практических заданий, тем лучшие результаты они показывали при сдаче итоговых тестов (табл. 8). При этом выполнение необязательных практикумов не оказывало существенного влияния на итоговые результаты: кластеры студентов, выполнивших и не выполнивших необязательные практикумы, статистически не отличались друг от друга по показателям успеваемости (p > 0,05). Успех в формирующем тестировании оказал бо́льшее влияние на результаты формального итогового теста, чем выполнение рекомендованных практических заданий, тогда как в отношении итоговой самооценки отмечена обратная закономерность: успешное выполнение практических заданий оказало большее влияние на результат. Другими словами, выполнение практикумов повышало самооценку обучающихся в отношении формируемых компетенций, а прохождение тестов повышало фактический уровень сформированности компетенций. Кроме того, установлено, что успешность обучения не зависела от способа зачисления на курс (самостоятельно или в принудительном порядке) и наличия педагогического компонента в учебных планах обучающихся. Между результатами итоговых самооценки и формальной оценки обнаружена связь со средней величиной эффекта, которую можно интерпретировать как согласованность между удовлетворенностью обучением и его успешностью (табл. 8). Возвращаясь к результатам итогового формального тестирования, следует отметить, что в сегменте низкого уровня сформированности компетенций (7 человек, 3,95 %) отсутствовали обучающиеся, выполнившие все обязательные практикумы и тесты. Четверо из них не выполнили ни одного обязательного практикума, один - не выполнил ни одного практикума или теста, шестеро - не использовали вторую попытку прохождения итогового тестирования, ни один из обучающихся не обратился к преподавателям за консультацией. На основании подтвержденных связей можно предположить, что низкие итоговые результаты обучающихся связаны с неполноценным прохождением ими обучения на курсе. Таблица 8 / Table 8 Результаты проверки связей между переменными, способными повлиять на результаты обучения, с помощью дисперсионного анализа / Results of checking the relationships between the variables that can influence the training outcomes using the analysis of variance Переменные факторы / Variable factors Результирующие переменные / Resulting variables Показатели итоговой самооценки / Indices of final self-assessment Показатели итоговой формальной оценки / Indices of final formal assessment Степень влияния ƞ2(p) / Degree of influence ƞ2(p-value) Коэффициент корреляции r(p) / Correlation coefficient r(p-value) Число студентов / Number of students, n Степень влияния ƞ2(p) / Degree of influence ƞ2(p-value) Коэффициент корреляции r(p) / Correlation coefficient r(p-value) Число студентов / Number of students, n Средняя отметка за тесты формирующего оценивания / Average mark for formative assessment tests 0,100 (<0,001) 0,316 (<0,001) 126 0,280 (<0,001) 0,529 (<0,001) 166 Средняя отметка за рекомендованные практические задания / Average mark for recommended practical tasks 0,295 (<0,001) 0,543 (<0,001) 50 0,128 (0,008) 0,358 (0,008) 53 Наличие педагогических дисциплин в учебных планах (в наличии/отсутствуют) / Presence of pedagogical disciplines in educational curricula (present/absent) 0,017 (0,135) НП / NA 131 0,006 (0,302) НП / NA 177 Способ зачисления на курс (самостоятельно/принудительно) / Enrollment in the course (voluntary/ compulsory) 0,017 (0,141) НП / NA 131 0,006 (0,287) НП / NA 177 Показатели итоговой самооценки / Indices of final self-assessment 0,085 (<0,001) 0,290 (<0,001) 177 Показатели итоговой формальной оценки / Indices of final formal assessment 0,085 (<0,001) 0,290 (<0,001) 177 Примечание: ƞ2 - степень влияния переменной-фактора на результирующую переменную; значение ƞ2 ~ 0,01 соответствует слабой величине эффекта, ƞ2 ~ 0,06 - средней величине эффекта, ƞ2 > 0,14 - большой величине эффекта (Cohen, 1988); p - уровень значимости; r - коэффициент корреляции Пирсона для количественных переменных; при r > 0 - направленность связи положительная; n - количество слушателей, для которых измеримы значения переменных-факторов и результирующих переменных; НП - не применимо. Note: ƞ2 - the degree of influence of the variable factor on the resulting variable; ƞ2 ~ 0.01 corresponds to a weak effect size, ƞ2 ~ 0.06 corresponds to an average effect size, ƞ2 > 0.14 corresponds to a large effect size (Cohen, 1988); p - the significance level; r - the Pearson correlation coefficient for quantitative variables; if r > 0, the direction is positive; n - the number of students for whom the values of variable factors and resulting variables are measurable; NA - not applicable. Обсуждение Методика формирования компетенций ЦД разработана и применена в РФ впервые. Результаты обучения в рамках факультативного курса для обучающихся уровней образования «бакалавриат» и «магистратура» показали эффективность нового подхода: 96 % обучающихся успешно завершили обучение, из них более 67 % с формированием среднего и продвинутого уровней сформированности компетенций. Присутствие низкого уровня в итоговой выборке можно отнести к допустимым погрешностям обучения, связанным с человеческим фактором. Разработанный подход согласуется с технологиями обучения, предложенными W3C[31] и сводом знаний, сформулированным IAAP[32]. Контент курса корреспондирует с содержанием англоязычных ЭОР, размещенных на открытых образовательных платформах Canvas[33], Coursera[34], EdX[35], FutureLearn[36] и Udacity[37]. Результаты исследования подтвердили исходную гипотезу и выявили дополнительные закономерности. В результате анализа связей переменных, определяющих показатели формирующего и итогового оценивания, обнаружено, что выполнение текущих тестов и заданий оказывает положительное влияние на итог обучения (как при формальной оценке, так и при самооценке). Полученные данные согласуются с ранее опубликованными выводами о том, что текущее (формирующее) оценивание обладает ценными мотивирующими, обучающими и измерительными свойствами (Halamish, Bjork, 2011; Baird et al., 2017; Ventista, 2018) и в итоге благоприятно влияет на качество формируемых компетенций (Boud, Falchikov, 2007; Ventista, 2018). Выравнивание самооценки от заниженной при стартовых измерениях до адекватной при итоговом тестировании, а также согласованность результатов итоговых испытаний между собой можно объяснить практико-ориентированным содержанием курса. Из ранее опубликованных работ известно, что большей согласованности самооценки и формальной оценки способствуют присутствие в обучении практического опыта (Yilmaz, 2017; Andrade, 2019) и обратной связи (Thawabieh, 2017; Andrade, 2019). Предложенный нами подход подразумевает оперативную обратную связь по запросу обучающихся, а выполнение практических работ можно с уверенностью отнести к эмпирическому опыту, способствующему формированию устойчивых компетенций. При таком подходе показатели самооценки ожидаемо отражают степень удовлетворенности результатом обучения. В предыдущих исследованиях, в частности в работе (Umek et al., 2015) также обнаружена положительная значимая корреляция между успешностью обучающихся при онлайн-обучении и их удовлетворенностью обучением. Наличие педагогических видов деятельности в учебных планах не стало предиктором успешности обучения, так как статистических различий в результатах обучения будущих педагогов и специалистов других областей не выявлено. Кроме того, успешность обучения не зависела от этапа университетского образования (на младших или на старших курсах). Полагаем, что полученный результат может быть интерпретирован в пользу универсальности разработанной методики и онлайн-курса. Формируемые в результате обучения компетенции следует отнести к базисным составляющим цифровой компетентности любого специалиста, деятельность которого может иметь отношение к разработке общедоступного электронного контента. Частичные подтверждения этому тезису мы находим в литературе. Так, например, показана и обоснована результатами исследований необходимость формирования компетенций ЦД библиотекарей электронных ресурсов (McCann, Peacock, 2021), веб-разработчиков и веб-дизайнеров (Gay et al., 2017; Rajšp et al., 2019), преподавателей высшего образования (Gilligan, 2020). На основании полученных результатов исследования дисциплина «Цифровая доступность в электронном обучении» включена в учебные планы бакалавриата и магистратуры направления подготовки «Прикладная математика» как обязательный предмет, а также в учебные планы прочих направлений подготовки в качестве дисциплины по выбору. Заключение Анализ результатов обучения показал эффективность разработанной методики формирования профессиональных компетенций в сфере проектирования, переработки и интеграции доступного цифрового образовательного контента. Гипотеза исследования подтверждена эмпирически на основании статистически значимых результатов. В частности, установлено, что эффективность методики формирования компетенций ЦД связана со следующими факторами: выполнение с положительным результатом тестов и практических заданий формирующего оценивания, практико-ориентированное содержание курса, консультативная поддержка онлайн-обучения. Полученные нами результаты находят подтверждение в ранее опубликованных работах. Существенно, что удовлетворенность обучением (самооценка) и формальный уровень сформированности компетенций ЦД согласуются между собой, что является косвенным свидетельством эффективности разработанной методики. Дополнительно установлено, что способ зачисления на курс (принудительно или добровольно), наличие педагогических дисциплин в учебных планах слушателей, а также год обучения в университете не относятся к факторам, определяющим успешность обучения на курсе. Таким образом, разработанная методика обучения вместе с онлайн-курсом могут быть рекомендованы для включения в образовательные программы на любом этапе университетского образования в рамках как элективных, так и обязательных дисциплин. Разработанные методические инструменты, в том числе онлайн-курс, могут быть использованы для профессиональной подготовки будущих и практикующих преподавателей, формирования компетенций специалистов сферы информационных технологий, в том числе веб-разработчиков и веб-дизайнеров, а также для повышения общей цифровой грамотности специалистов, связанных по роду деятельности с разработкой цифрового контента. Считаем целесообразным внести компетенции ЦД в пул ключевых компетенций (универсальных или общепрофессиональных), устанавливаемых федеральными государственными образовательными стандартами высшего образования РФ. Выполненное исследование позволяет частично закрыть лакуны, связанные с профессиональной подготовкой специалистов к организации доступной образовательной среды ЭО, однако для более детального изучения проблем формирования компетенций ЦД требуются дальнейшие исследования. В частности, в перспективе целесообразно: выполнить сравнительное исследование эффективности применения методик обучения основам ЦД в дистанционном, очном и смешанном форматах; разработать и экспериментально проверить эффективность методических систем профильной информационно-технологической подготовки в сфере разработки доступных платформ ЭО, технической экспертизы и коррекции ЦД образовательных платформ и онлайн-курсов. Исследование имеет ряд ограничений, а именно: обучение проводилось в рамках элективного курса; тесты формирующего оценивания предусматривали неограниченное количество попыток и не вносили формального вклада в итоговую оценку; выполнение практических работ и текущих тестов было факультативным. Не исключено, что при наличии строгого контроля за результатами формирующего оценивания в рамках обязательной дисциплины обучающиеся могли продемонстрировать иные итоговые образовательные результаты.

Об авторах

Екатерина Алексеевна Косова

Крымский федеральный университет имени В.И. Вернадского

Автор, ответственный за переписку.
Email: lynx99@inbox.ru
ORCID iD: 0000-0002-3263-9373

кандидат педагогических наук, доцент, заведующая кафедрой прикладной математики, Физико-технический институт

Российская Федерация, 295007, Симферополь, пр-кт Вернадского, д. 4

Кирилл Игоревич Редкокош

Санкт-Петербургский государственный университет

Email: kirillf13@yandex.ru
ORCID iD: 0000-0003-3535-7336

магистрант, направление подготовки 01.04.02 «Прикладная математика и информатика», направленность «Математическое моделирование, программирование и искусственный интеллект»

Российская Федерация, 199034, Санкт-Петербург, Университетская набережная, д. 7-9

Список литературы