RUDN Journal of Informatization in EducationRUDN Journal of Informatization in EducationВестник Российского университета дружбы народов. Серия: Информатизация образования2312-86312312-864XPeoples’ Friendship University of Russia named after Patrice Lumumba (RUDN University)3548210.22363/2312-8631-2023-20-2-127-137KGBQIWEVOLUTION OF TEACHING AND LEARNING THROUGH TECHNOLOGYВЛИЯНИЕ ТЕХНОЛОГИЙ НА РАЗВИТИЕ ОБРАЗОВАНИЯResearch ArticleDefinition of reflection characteristics of educational process participants with artificial intelligence applicationОпределение характеристик рефлексии участников образовательного процесса с помощью средств искусственного интеллектаhttps://orcid.org/0000-0002-8204-9179GrinshkunVadim V.ГриншкунВадим Валерьевич

Academician of the Russian Academy of Education, Doctor of Pedagogy, Professor, Professor of the Department of Information Technologies in Continuous Education

академик Российской академии образования, доктор педагогических наук, профессор, профессор кафедры информационных технологий в непрерывном образовании

vadim@grinshkun.ruhttps://orcid.org/0000-0001-8549-1627DreytserSofya I.ДрейцерСофья Ильинична

PhD student, Institute of Digital Education, Moscow City University; instructional designer, LLC “Cerevrum”

аспирант, департамент информатизации образования, Институт цифрового образования, Московский городской педагогический университет; педагогический дизайнер, ООО «Цереврум»

dreitsersi562@mgpu.ruRUDN UniversityРоссийский университет дружбы народовMoscow City UniversityМосковский городской педагогический университетLLC “Cerevrum”ООО «Цереврум»15072023202VOL 20, NO2 (2023)ТОМ 20, №2 (2023)12713721072023Copyright ©; 2023, Grinshkun V.V., Dreytser S.I.Copyright ©; 2023, Гриншкун В.В., Дрейцер С.И.2023Grinshkun V.V., Dreytser S.I.Гриншкун В.В., Дрейцер С.И.https://creativecommons.org/licenses/by-nc/4.0https://journals.rudn.ru/informatization-education/article/view/35482

Problem statement . Artificial intelligence (AI) conversational tools like chat-bots, virtual assistants and dialog trainers begin to apply in education. However, its efficiency wasn't explored because of novelty and lack of related application experience. In this research an approach to conversations based on AI is considered as means to define reflection of educational process participants. And definition results of reflection are compared between an AI conversational tool and an expert's assessment in the educational process. Methodology . Opportunities of conversational simulations based on AI were analysed for reflection assessment. Behavioural markers of reflection in communication were developed as well as assessment procedures in online mode with AI simulations and in offline mode with an expert assessment. Research was provided as a part of the volunteer’s competition. There were 65 participants of the research, students of schools and universities. Statistical processing of the results was performed using Pearson's criteria. Results. Weak correlation was detected between AI and expert assessment. Conclusion. Suggestions were offered about AI assessment improvement for increasing assessment precision of reflection of educational process participants from the methodological point of view as well as from AI algorithms development.

Постановка проблемы . Инструменты коммуникации на основе искусственного интеллекта, такие как чат-боты, голосовые помощники, диалоговые тренажеры, уже начинают применяться в образовании. Однако эффект от их использования практически не изучен в связи с их новизной и недостаточностью соответствующего практического опыта. Рассматривается подход к коммуникации на основе средств искусственного интеллекта, используемых для определения характеристик рефлексии участников образовательного процесса, а также проводится сравнение результатов подобных процедур, осуществленных с помощью специальных систем искусственного интеллекта и экспертной оценки. Методология. Проанализированы возможности коммуникативных симуляций на базе средств искусственного интеллекта для определения характеристик рефлексии. Разработаны характеристики рефлексии на материале коммуникативных процессов, а также процедуры для ее дистанционной оценки с помощью симуляций и очной процедуры с помощью экспертной оценки в образовательном процессе. Экспериментальное исследование проведено в рамках образовательной программы и конкурса участников волонтерского движения. Участники эксперимента - 65 волонтеров, школьников и студентов. Статистическая обработка результатов выполнена с помощью критерия Пирсона. Результаты. Выявлена слабая корреляция между определением характеристик рефлексии, осуществленным с помощью симуляций, и определением с помощью экспертной оценки. Заключение. Выдвинуты предположения об усовершенствовании подходов к определению характеристик рефлексии участников образовательного процесса с помощью симуляций на основе искусственного интеллекта для повышения точности результатов как с точки зрения организации процедуры, так и с точки зрения совершенствования алгоритмов искусственного интеллекта.

conversational artificial intelligencedigitalization of educationreflection in educationassessment toolssimulationsинформатизация образованиярефлексия в образованииинструменты оценкисимуляцияDobrica VP, Goryushkin EI. The use of an intelligent adaptive platform in education. Auditorium. 2019;(1):1-7. (In Russ.)Добрица В.П., Горюшкин Е.И. Применение интеллектуальной адаптивной платформы в образовании // Auditorium. 2019. № 1 (21). С. 1‒7.Krechetov IA, Romanenko VV. Artificial intelligence in education: the implementation of adaptive learning based on educational analytics. Modern Education: Improving the Competitiveness of Universities: Proceedings of the International Scientific and Methodological Conference. 2021;(2):77-84 (In Russ.)Кречетов И.А., Романенко В.В. Искусственный интеллект в образовании: реализация адаптивного обучения на основе учебной аналитики // Современное образование: повышение конкурентоспособности университетов: материалы международной научно-методической конференции (Томск, 28–29 января 2021 года): в 2 частях. Часть 2. Томск: Томский государственный университет систем управления и радиоэлектроники, 2021. С. 77‒84Chetyrbok PV, Shostak MA. Adaptive learning using artificial intelligence in distance education. In: Makoveichuk KA. (ed.) Information Systems and Technologies in Modeling and Management: Proceedings of the V International Scientific and Practical Conference (Yalta, 20-22 May 2020). Yalta: Arial Publ.; 2020. p. 461-464 (In Russ.)Четырбок П.В., Шостак М.А. Адаптивное обучение с использованием искусственного интеллекта в дистанционном образовании // Информационные системы и технологии в моделировании и управлении: сборник трудов V Международной научно-практической конференции (Ялта, 20–22 мая 2020 года) / отв. ред. К.А. Маковейчук. Ялта: Ариал, 2020. С. 461‒464.Prokhorova MP, Mineeva OA, Blagodinova VV. Studying the attitude of university students to the digitalization of education. World of Science. Pedagogy and Psychology. 2020;8(2):1-9. (In Russ.)Прохорова М.П., Минеева О.А., Благодинова В.В. Изучение отношения обучающихся вуза к цифровизации образования // Мир науки. Педагогика и психология. 2020. № 2. C. 1‒9.Starichenko, B.E. Digitalization of education: realities and problems. Pedagogical Education in Russia. 2020;(4):16-26. (In Russ.)Стариченко Б.Е. Цифровизация образования: реалии и проблемы // Педагогическое образование в России. 2020. № 4. C. 16‒26.Alekseev NG. Designing the conditions for the development of reflective thinking (Ph.D. thesis). Moscow; 2002. (In Russ.)Алексеев Н.Г. Проектирование условий развития рефлексивного мышления: aвтореф. дис. … д-ра психол. наук. М.: МПГУ, 2002. 51 c.Karpov AV. Psychology of reflexive mechanisms of activity. Moscow: Institute of Psychology; 2004. (In Russ.)Карпов А.В. Психология рефлексивных механизмов деятельности. М.: Институт психологии РАН, 2004.Shchedrovitsky GP. Communication, activity, reflection. Study of Verbal and Mental Activity. Almaty: Kazakhstan Pedagogical Institute; 1974. p. 12-28 (In Russ.)Щедровицкий Г.П. Коммуникация, деятельность, рефлексия // Исследование речемыслительной деятельности. Алма-Ата: Казах. пед. ин-т, 1974. С. 12‒28.Drigas A, Mitsea E. The 8 pillars of metacognition. International Journal of Emerging Technologies in Learning. 2020;15(21):162-178. http://doi.org/10.3991/ijet.v15i21.14907Drigas A., Mitsea E. The 8 pillars of metacognition // International Journal of Emerging Technologies in Learning. 2020. Vol. 15. No. 21. Pp. 162–178. http://doi.org/10.3991/ijet.v15i21.14907Sizikova TE. Meta-model of reflection within the framework of meta-ontology. Siberian Journal of Psychology. 2018;(68):1-26. (In Russ.)Сизикова Т.Э. Мета-модель рефлексии в рамках мета-онтологии // Сибирский психологический журнал. 2018. № 68. С. 1‒26.Alekseev NG. Design and reflective thinking. Development of Personality. 2002;(2):85-102. (In Russ.)Алексеев Н.Г. Проектирование и рефлексивное мышление // Развитие личности. 2002. № 2. С. 85‒102.Obidina TV. The development of reflection and the manifestation of conformal tendencies in interpersonal relations among modern boys and girls. World of Science. Pedagogy and Psychology. 2018;(5):1-8. (In Russ.)Обидина Т.В. Развитие рефлексии и проявление конформных тенденций в межличностных отношениях у современных юношей и девушек // Мир науки. Педагогика и психология. 2018. № 5. С. 1‒8.Anistrenko TG. Social reflection: a transdisciplinary approach. Humanitarian, Socio-Economic and Social Sciences. 2016;(8-9):1-9. (In Russ.)Анистренко Т.Г. Социальная рефлексия: трансдисциплинарный подход // Гуманитарные, социально-экономические и общественные науки. 2016. № 8‒9. С. 1‒9.Anikina VG, Lagutin AV. The Reflexive aspect of the perception of each other by the subjects of the conflict. Psychological Science and Education. 2022;27(1):104-120. (In Russ.) http://doi.org/10.17759/pse.2022270109Аникина В.Г., Лагутин А.В. Рефлексивный аспект восприятия друг друга субъектами конфликта // Психологическая наука и образование. 2022. Т. 27. № 1. С. 104–120. http://doi.org/10.17759/pse.2022270109Fisher R, Ury W. Getting to yes: negotiating agreement without giving. Moscow; 1992. (In Russ.)Фишер Р., Юри У. Путь к согласию, или переговоры без поражения / пер. с англ. А. Гореловой; предисл. В.А. Кременюка. М., 1992.Khasan BI, Sergomanov PA. Psychology of conflict and negotiations. Moscow: Academiya Publ.; 2004. (In Russ.)Хасан Б.И., Сергоманов П.А. Психология конфликта и переговоры. М.: Академия, 2004.Koval MV, Dontsov AI. Psychological features of manifestation of reflection during negotiations. Bulletin of TSU. 2008;(11):188-191. (In Russ.)Коваль М.В., Донцов А.И. Психологические особенности проявления рефлексии в ходе переговоров // Вестник ТГУ. 2008. № 11. С. 188‒191.González-Calatayud V, Prendes-Espinosa P, Roig-Vila R. Artificial intelligence for student assessment: a systematic review. Applied Sciences. 2021;11(12):5467 http://doi.org/10.3390/app11125467González-Calatayud V., Prendes-Espinosa P., Roig-Vila R. Artificial intelligence for student assessment: a systematic review // Applied Sciences. 2021. Vol. 11. No. 12. http://doi.org/10.3390/app11125467Vysotskaya P, Zabelina S, Kuleshova J, Pinchuk I. Using the capabilities of artificial intelligence in the development of reflection skills. E3S Web of Conferences. 2020;210(2):22035. http://doi.org/10.1051/e3sconf/202021022035Vysotskaya P., Zabelina S., Kuleshova J., Pinchuk I. Using the capabilities of artificial intelligence in the development of reflection skills // E3S Web of Conferences. 2020. Vol. 210. No. 2. http://doi.org/10.1051/e3sconf/202021022035Ryzhova NE. Assessment center. Step by step. Development and implementation navigator. Accent Graphics Communications; 2015. (In Russ.)Рыжова Н.Е. Центр оценки. Шаг за шагом. Навигатор по разработке и проведению. Accent Graphics Communications, 2015. 64 с.Spencer LM, Spencer SM. Competencies at work. Moscow: Hippo Publ.; 2005. (In Russ.)Спенсер Л.М., Спенсер С.М. Компетенции на работе. М.: Гиппо, 2005. 384 с.