Developing competencies in constructing dialogic instructional scenarios for AI tutors among pre-service teachers

Full Text

Постановка проблемы. Развитие и расширение сфер применения цифровых интеллектуальных систем приводит в том числе и к появлению новых форм педагогического взаимодействия. В области такого взаимодействия особую значимость приобретает использование тьюторов, функционирующих на базе технологии искусственного интеллекта (ИИтьюторов) - цифровых диалоговых агентов, способных адаптировать объяснения, задавать уточняющие вопросы, предлагать учебные задачи и поддерживать индивидуальные траектории образовательной деятельности обучающихся. Для основной школы такие средства информатизации являются не только технологическим новшеством, но и инструментом, расширяющим возможности персонализированного обучения и поддержки учащихся с разным уровнем подготовки и мотивации. Вместе с тем внедрение ИИ-тьюторов предъявляет особые новые требования к профессиональной подготовке и деятельности учителя [1-3]. В частности, на этом фоне возрастает значимость умений педагогов, связанных с проектированием диалоговых сценариев, предусматривающих использование средств ИИ. Не следует забывать, что традиционная методическая подготовка будущего учителя достаточно редко включает его знакомство с написанием системных запросов - промптов, конструированием ветвящихся диалогов, учетом ограничений цифровых моделей и диагностикой недостаточно качественных и объективных ответов [4-6]. На практике это приводит к тому, что даже в условиях доступности необходимых технологий ИИ-тьюторы оказываются не встроенными в образовательный процесс и функционируют в качестве внешней цифровой надстройки. При таком подходе не обеспечивается целостность, методические и смысловые полнота и замкнутость реализуемого образовательного процесса. Актуальность проблемы построения и использования ИИтьюторов и знакомства с их особенностями педагогов усиливается тем, что имеющиеся исследования в области использования технологии ИИ в образовании пре имущественно сосредоточены на алгоритмах адаптивного обучения и анализе данных [7; 8]. При этом вопрос о том, как будущий учитель конструи рует диалоговые обучающие сценарии, на каких педагогических основаниях строится такой дизайн, до сих пор не получил должного освещения в научной литературе. Подобным проблемам посвящено множество исследований, которые описаны в публикациях И.А. Журавлёва, Е.В. Каплёва [9], И.А. Парфеновой, И.Г. Галушко, Д.А. Бачуринской, А.С. Гладкой [10], Е.Н. Соломахи, Н.Е. Житниковой, В.А. Разоренова [11], Ю.С. Зимина, И.В. Каспарова, Д.А. Стро ганова [12] и др. Анализ таких работ показывает, что до сих пор сохраняется дефицит целостных методических подходов к подготовке учителя к работе с ИИ-тьюторами, учитывающих технологические, дидактические, этические и некоторые другие значимые аспекты [13]. Данное исследование выполнено в рамках проекта по созданию персоноориентированных ИИ-агентов для школ, включавшего разработку корпусов знаний, формирование системных промптов, тестирование механизмов контекста, опору на блокчейн-технологии для объективизации используемых данных, а также апробацию ИИ-тьюторов в сетевой образовательной среде. Логика выполнения описываемого проекта позволила связать исследовательскую задачу с практическими действиями учителя, такими как проектирование объяснительных моделей, построение ветвящихся диалоговых сценариев, регулирование глубины и стиля ответов, а также разработку цифровых инструментов для проверки педагогической корректности ответов, полученных при помощи средств ИИ. Цель - теоретически обосновать и спроектировать модель педагогического дизайна ИИ-тьюторов для основной школы, а также определить условия и подходы для формирования у будущих учителей умений конструирования диалоговых обучающих сценариев, рассматривая взаимодействие обучающихся со средствами ИИ как педагогическую ситуацию, требующую управляемого диалога, прозрачных критериев и процессуального оценивания на основе учета данных из цифрового следа. Методология. Методологическую основу составили подходы к проектированию цифровых образовательных ресурсов и совершенствованию педагогического дизайна, ориентированные на системное и эффективное использование средств ИИ в учебном процессе [14-16]. Исследование опиралось на компетентностный подход, в рамках которого проектирование диалоговых обучающих сценариев рассматривается как особый вид профессиональной деятельности педагога, а также на концепцию формирующего оценивания, позволяющую интерпретировать взаимодействие с ИИ-тьютором как источник цифровых следов и оценивать не только результат, но и ход учебной деятельности. В рамках проекта была разработана и исследована модель построения и использования ИИтьюторов, частью которой является значимая для настоящего описания структура диалогового обучающего сценария ИИтьютора (рис. 1). Эмпирическая часть исследования реализована в формате проектной практической работы с итеративными циклами вида «проектирование - тести рование - анализ цифровых следов - уточнение промпта - повторное тестирование», что обусловлено вероятностной природой функционирования ИИ-тьюторов и зависимостью качества их поведения от точности изначально заданных рамок. Рис. 1. Структура диалогового обучающего сценария ИИ-тьютора Источник: создано И.А. Стесиком, Ф.А. Булиным-Соколовым. Figure 1. The structure of the interactive learning scenario of an AI tutor Source: created by Ivan A. Stesik, Fedor A. Bulin-Sokolov. Исследование проводилось в рамках учебных модулей подготовки будущих учителей информатики в вузе. Участие в педагогическом эксперименте приняли две группы студентов по 24-28 человек в каждой, вовлеченные в разработку и проверку эффективности диалоговых сценариев для ИИ-тьюторов, созданных в рамках проекта. Результаты и обсуждение. В ходе исследования были организованы и проведены мастерские, направленные на освоение способов построения ветвящихся диалогов, управления стилем и глубиной ответа, задания педагогических ограничений, проектирования диагностических ситуаций, а также анализа сбоев и нежелательных паттернов поведения средств ИИ. В качестве данных использовались логи взаимодействия, версии системных промптов, скринкасты проектирования, таблицы устойчивости поведения средств ИИ в типовых и провокационных ситуациях, а также экспертные листы анализа диалогов. Пример диалогового взаимодействия с ИИ-тьютором с заданными предметными и ролевыми ограничениями, аналогичного тем, что были задействованы при подготовке студентов - будущих педагогов и в рамках описываемого эксперимента, приведен на рис. 2. Рис. 2. Пример диалогового взаимодействия с ИИ-тьютором с заданными предметными и ролевыми ограничениями Источник: создано И.А. Стесиком, Ф.А. Булиным-Соколовым. Figure 2. Example of dialogic interaction with an AI tutor under predefined domain and role constraints Source: created by Ivan A. Stesik, Fedor A. Bulin-Sokolov. Обработка результатов проведенного педагогического эксперимента опиралась на сопоставление входных и итоговых версий диалоговых сценариев, качественный анализ типовых ошибок и экспертную оценку педагогической логики и устойчивости поведения агента. При необходимости применялись простые процедуры проверки согласованности экспертных суждений и динамики показателей. В качестве критериев для анализа в ходе эмпирической части исследов ания использовались связность и логическая целостность диалогового сценария, устойчивость выполнения дидактических функций ИИ-тьютора, коррект ность диагностических вопросов, а также свойства сценария, способствующие достижению целей обучения при вариативных и явно провокационных запросах обучающихся. Оценка проводилась на основе экспертных листов, а также сопоставления входных и итоговых версий диалоговых обучающих сценариев. В ходе проектно-исследовательской работы удалось выявить изменения в уровне сформированности у студентов педагогических специальностей вузов умений в области разработки педагогического дизайна ИИ-тьюторов и обосновать тот факт, что наиболее заметная динамика в этой области связана со способностью конструировать диалоговые сценарии, обеспечивающие устойчивое и педагогически корректное поведение агента, функционирующего на основе технологии ИИ. На начальных этапах в сценариях фиксировались логические разрывы, избыточные переходы между ветвями и ситуации, при которых подобные агенты теряли предписанные им роли или не способствовали достижению целей обучения. Анализ логов и скринкастов показывал преобладание линейных структур, не рассчитанных на вариативные запросы обучающихся, что снижало обучающий потенциал их возможного взаимодействия со средствами ИИ. По мере проведения мастерских и уточнения системных промптов диалоговые сценарии становились более связными и управляемыми. Это обусловлено тем, что студенты осваивали способы постановки педагогической роли ИИ-тьютора, распределение функций тьютора и проектирование диагностических ситуаций, позволяющих выявлять специфику понимания учебного материала школьниками и корректировать ошибки в рассуждении. Сравнение входных и итоговых версий диалоговых обучающих сценариев выявило рост связности и педагогической логики, а также снижение частоты неоправданного изменения выполняемой роли и необоснованных смысловых искажений в объяснениях. Заметный вклад в такие результаты внесло освоение студентами - будущими педагогами принципов работы с контекстом, когда параметры диалога задавались так, чтобы ИИ-тьютор удерживал фокус на достижение заданных целей обучения даже при непредсказуемых запросах пользователей. Экспертные оценки подтвердили наличие качественных изменений. В итоговых диалоговых сценариях будущие учителя более четко формулировали цели обучения, задавали рамки поведения средств ИИ и продумывали систему уточняющих вопросов. По данным экспертных листов наблюдалась устойчивая положительная динамика по показателям связности сценариев и устойчивости педагогической роли финальных ИИ-тьюторов по сравнению с их первоначальными версиями. В ходе специального тестирования, включавшего провокационные вопросы, неоднозначные формулировки и частично корректные ответы, увеличилась доля диалоговых обучающих сценариев, сохраняющих устойчивость поведения ИИ-тьюторов. Такие средства ИИ реже уходили от темы, корректнее различали ошибочные рассуждения обучающегося и демонстрировали последовательность объяснений, включая ситуации, характерные для младшего подросткового возраста (стремление получить быстрый ответ, поверхностные запросы, попытки перевести диалог во внеучебную область). Отдельный результат, полученный в ходе исследования, был связан с изменениями в профессиональном мышлении будущих педагогов. В проведенных интервью и полученных рефлексивных отчетах студенты чаще описывали диалоговые сценарии не как набор реплик, а как педагогически осмысленную систему взаимодействия, включающую диагностику, поддержку, переходы между уровнями сложности и последующее использование цифровых следов и блокчейн-технологий для оценивания деятельности обучающихся. Это показывает, что проектный формат работы с ИИ-тьюторами способствует переходу от простого технологического использования средства информатизации к методически обоснованному управлению его поведением с учетом логики и специфики содержания реализуемой учебной деятельности. Заключение. Описанное исследование позволило обосновать и апробировать модель создания и развития ИИ-тьюторов, ориентированную на формирование у будущих учителей умений конструирования диалоговых обучающих сценариев для основной школы. Анализ результатов выполняемых проектов, цифровых следов и экспертных оценок показывает, что системная работа с ИИ-тьюторами, включающая проектирование диалогов, последовательное уточнение промптов, моделирование педагогических ситуаций, использование блокчейн-систем и проверку устойчивости поведения агента, создает условия, значимые для развития профессиональной готовности будущих учителей к использованию средств ИИ в различных видах образовательного процесса. Результаты исследования подтверждают, что соответствующие умения у студентов педагогических специальностей вузов не формируются автоматически. Их развитие требует специально организованной методической подготовки, в рамках которой ИИ-тьютор рассматривается как элемент учебной среды, поведение которого должно быть управляемым и существенным для реализации целей педагогической деятельности. Диалоговые сценарии, подготовленные на финальных этапах исследования, характеризуются большей структурной связностью и устойчивостью к вариативным запросам, а также более выраженной ориентацией на диагностику понимания и формирующее оценивание обучающихся. Ограничения исследования обусловлены проведением описываемых работ на базе одной образовательной организации и использованием конкретных версий ИИ-тьюторов, поведение которых может изменяться со временем. Следует учитывать, что вероятностная природа деятельности средств ИИ требует повторных и дополнительных проверок устойчивости диалоговых сценариев и влечет необходимость многоуровневой экспертной валидации. Перспективы дальнейших исследований связаны с расширением апробации на разные предметные области и уточнением критериев качества диалоговых обучающих сценариев в случае широкого применения подобных средств ИИ в массовой школе.

About the authors

Ivan A. Stesik

Moscow City University

Author for correspondence.
Email: stesikia@mgpu.ru
ORCID iD: 0009-0003-5265-6204
SPIN-code: 5614-8170

Lecturer at the Department of Digital Educational Creativity, K.D. Ushinsky Institute of Secondary Vocational Education

4 Vtoroi Sel’skokhozyaistvennyi proezd, bldg 2, Moscow, 129226, Russian Federation

Fedor A. Bulin-Sokolov

Company Fibonacci Capital

Email: fedor@fibo.market
ORCID iD: 0009-0001-1593-5517
SPIN-code: 4981-3789

Head of Sales Department

8 Presnenskaya naberezhnaya, bldg 1, Moscow, 123317, Russian Federation

References

Supplementary files