Using AR-technology for mastering hieroglyphics as an approach to informatization of learning Chinese language in school

Cover Page

Abstract


Problem and goal. Methods are proposed for solving the problem of searching for information technologies, which, due to new approaches to information visualization, can increase the efficiency of students mastering hieroglyphics - one of the main and most difficult to study components of Chinese language learning systems. As a way to solve this problem, the application of augmented reality technology can be proposed, provided that the means and forms of its effective use are found in the framework of teaching the Chinese language in school. The aim of the study described in the article was the development and experimental confirmation of the effectiveness of approaches to teaching students in school hieroglyphic writing and the semantic interpretation of hieroglyphs based on the use of augmented reality tools. Methodology. A practical study was carried out on the basis of the formation of the experimental (63 people) and control (71 people) groups of students in grades 5 and 6. Schoolchildren of the experimental group were trained using augmented reality tools, hieroglyph markers, a specially selected collection of 3D models and developed tasks for comparing hieroglyphs and their semantic meanings, searching for hieroglyphics by their meanings, developing 3D models for visualizing the meanings of hieroglyphs. The analysis of the level of lexical skills of schoolchildren in terms of comparing hieroglyphs and their semantic values was carried out using integral indicators using methods of mathematical statistics. Results. It is shown that the proposed approach to using augmented reality technologies in the framework of teaching the Chinese language at school is effective. It is justified to create and develop collections of electronic versions of hieroglyphs and virtual objects that reflect the meaning of the main hieroglyphs studied at school. An effective method is when the students themselves are involved in such developments. Such approaches can play a significant role in informatization of educational systems for schoolchildren, as well as in establishing additional interdisciplinary ties. Conclusion. The effectiveness of the proposed approaches to the development of systems for preparing schoolchildren to study hieroglyphics in the framework of teaching the Chinese language based on the use of augmented reality technology has been experimentally confirmed. During the study, schoolchildren of the 5th and 6th grades showed an increased level of lexical skills in terms of comparing hieroglyphs and their semantic meanings, searching and writing hieroglyphs for a given semantic value.


Full Text

Постановка проблемы. Современные компьютерные технологии способны положительно влиять на развитие методов обучения большинству школьных и вузовских дисциплин. Во многих случаях появление образовательных электронных ресурсов и других специфических средств обучения влечет за собой возможность реализации новых методов подготовки школьников, включение которых в методические системы обучения отдельным дисциплинам до появления таких средств было невозможным. С учетом этого можно говорить о развитии системы обучения на основе использования тех или иных новых технологий. В полной мере данные аспекты характерны для развития подходов к обучению школьников дисциплинам филологического цикла, таких как русский язык и иностранные языки [10]. При этом, если раньше основными иностранными языками, изучаемыми в школе, были английский и немецкий языки, то теперь в условиях глобализации общества и системы образования [8] популярными и распространенными становятся китайский и японский языки, обучение которым является специфичным, в том числе и потому, что школьникам приходится овладевать навыками иероглифического письма. Освоение соответствующих умений и навыков традиционно вызывает у школьников затруднения, что, в свою очередь, влечет за собой сложности в изучении китайского или японского языка в целом, поскольку они во многом базируются на владении базовой иероглифической грамотностью. Очевидно, что современные информационные технологии, привносящие в образование повышение наглядности, обладают существенным потенциалом с точки зрения обучения написанию и трактовке иероглифов. Дело в том, что, читая слова и предложения на русском языке, школьник обладает возможностью их произношения, не в полной мере при этом понимая значение соответствующих смысловых единиц. В этом случае он постепенно возвращается к тому, что было прочитано, осознавая смысл предложений и слов. При изучении китайского языка имеет место обратная ситуация. Для корректного понимания смысла прочитанного необходимо непосредственное зрительное восприятие слов, записанных в виде иероглифов. Особенности и методические приемы обучения иероглифическому письму отражены в работах Н.А. Деминой, Д. Джигун, Т.П. Задоенко, Д.П. Задорожных, С. Ки, А.Ф. Кондрашевского, И.В. Кочергина, М.В. Румянцевой, Д. Тяньжуо, М.Г. Фроловой, Х. Шуин и других ученых [3-8; 12]. В российских школах, осуществляющих обучение китайскому языку, число которых постоянно увеличивается, используется достаточно распространенный прием знакомства школьников с новыми лексикой и иероглифами. Такой прием подразумевает начертание изучаемых иероглифов на доске или экране компьютера с последующим индивидуальным или хоровым произношением, соответствующим фонетической транскрипции. Во многих случаях осуществляется воспроизведение монотонных аудиофрагментов, сопровождающих большинство современных учебников и пособий. Общеизвестно, что изучение иероглифов только лишь по бумажным источникам не влечет за собой необходимый повышенный интерес школьников. Многие филологи и педагоги отмечают многообразность форм написания иероглифических ключей и сложность структуры иероглифов, что затрудняет их освоение и запоминание обучающимися. Компьютерные технологии могли бы стать существенным подспорьем в решении этой проблемы, демонстрируя школьникам особые характерные свойства китайской иероглифической системы письма, обладающей сложной многоуровневой структурой. В частности, в рамках реализуемых сейчас подходов к обучению большинства школьников основная часть времени на занятиях тратится на объяснение иероглифического материала учителем. В случае подбора и эффективного использования соответствующих информационных технологий подходы к изложению такого учебного материала могут быть кардинально изменены, вследствие чего школьники становятся активными участниками учебного процесса, исследуя иероглифы самостоятельно. Первой существенной проблемой на пути построения и внедрения соответствующих методов обучения является необходимость выявления и развития подходящих для этого информационных и телекоммуникационных технологий. Исследования Р. Азумы, А.В. Гриншкуна, С. Джохима, Х. Кауфманна, А.С. Конушина, В.Р. Роганова, Л.Л. Лопез, Т. Нослони и других специалистов показывают, что существенным педагогическим потенциалом с точки зрения возможности демонстрации взаимосвязи между смысловыми единицами и изображениями обладает технология дополненной реальности. Однако в настоящее время не накоплен достаточный опыт использования этой технологии при обучении иероглифическому письму, неясен возможный эффект от ее внедрения в изучение китайского языка. Это свидетельствует о необходимости проведения соответствующих технологических и педагогических изысканий. Методы исследования. Описываемое в настоящей статье исследование базировалась на нескольких основных положениях и предположениях. Занимаясь изучением наиболее популярных способов освоения и заучивания иероглифов студентами и школьниками в рамках самообразования, С. Макгиннис выявил, что большинство обучающихся обдуманно или непроизвольно применяют для этого приемы автоматического повторения и придумывания истории [14]. Это означает, что необходим поиск таких информационных технологий, которые позволяли бы школьникам наглядно представлять смысл изучаемых иероглифов, вводить определенные ассоциации, которые помогали бы обучению. Технология дополненной реальности, позволяющая визуализировать многие объекты и процессы, безусловно, обладает соответствующими возможностями [1]. Применение данной технологии может позволить изучать китайский язык на основе предварительного рассмотрения иероглифов и их смысла. Это дает возможность реализовывать наиболее эффективные методы обучения языку. Китайские исследователи Сы Ся и Ли Нань доказывают, что обучающимся с самого начала следует учиться читать и писать тексты, смысл которых им понятен. Важным также является опыт применения разных технологий при обучении иероглифике и китайскому языку. Такой опыт свидетельствует о правильности подходов к визуализации смысловых конструкций, соответствующих иероглифам, при помощи компьютерных технологий. Существует много телекоммуникационных средств, применяемых в обучении китайскому языку. Примером может служить разработанная в США система Ponddy Education. Подобные системы базируются на применении технологий искусственного интеллекта для изучения иероглифики и китайского языка людьми, не являющимися его носителями. Китайский разговорный язык является тональным. Это значит, что одному слову могут соответствовать несколько различных значений, а письменный язык основан на использовании нескольких тысяч специальных символов. Электронный ресурс, основанный на технологиях искусственного интеллекта, позволяет существенно упростить процесс обучения соответствующим языковым аспектам. В таких ресурсах компоненты, базирующиеся на искусственном интеллекте, динамически расширяют онлайн-словарь, предоставляют школьникам быстрый доступ к требуемым содержательным элементам, группируют вместе схожие по смыслу или начертанию символы и слова. Большинство таких систем предоставляют школьникам возможность работать с контекстными определениями, аудиофрагментами разных уровней сложности, средствами написания китайских иероглифов при помощи латинского алфавита. Очевидно, что визуализация китайских иероглифов при помощи 3Dмоделей и технологии дополненной реальности в сочетании с упомянутыми системами позволили бы интегрировать эффект от использования искусственного интеллекта с преимуществами тактильных и визуальных технологий. В рамках проведенного исследования были разработаны новые методы и комплекс средств, основанные на технологии дополненной реальности, позволяющие осваивать написание и чтение иероглифов одновременно с освоением их смысловых значений. При таком подходе изучение знаков и их смысла имеет взаимный эффект: изображения и ассоциации способствуют быстрому освоению смыслового значения, и, наоборот, понимание смысла позволяет повысить эффективность запоминания начертания иероглифов. Основной идеей, лежащей в основе исследования, является использование иероглифов и их распечаток на бумаге в качестве маркеров и кодов, необходимых для визуализации 3D-объектов в рамках технологии дополненной реальности. При таком подходе компьютерная техника с использованием встроенной или внешней видеокамеры сканирует пространство, окружающее школьника. Специальное программное обеспечение предпринимает попытки поиска заранее известных реальных объектов. Для упрощения технической реализации такие объекты помечают при помощи специальных контрастных штриховых изображений. Образующийся при этом специальный рисунок, во многом похожий на всем известные QR-коды, получил название маркера [9; 11; 13]. Очевидно, что иероглифы в силу их специфики являются такими контрастными штриховыми изображениями и обоснованно могут использоваться в качестве маркеров дополненной реальности. Это свойство иероглифов предлагается положить в основу нового подхода к информатизации обучения китайскому языку. В этом случае после распознавания физического объекта (маркера-иероглифа) средства дополненной реальности отображают на экране компьютера виртуальный объект (чаще всего 3D-модель), визуально накладываемый на физический объект (распечатку иероглифа на бумаге). При этом электронный ресурс привязывает 3D-модель к физическому объекту и в случае вращения или перемещения такого объекта производит аналогичные действия с виртуальным объектом [9; 11; 13]. У человека, получающего при помощи экрана компьютера визуальную информацию, будет сформировано ощущение, что виртуальный объект существует и движется в условиях реального мира. Вращая или перемещая лист бумаги с написанным или напечатанным на нем иероглифом, школьник будет наблюдать соответствующие перемещения или вращения виртуальной 3D-модели, отображающей смысловое значение иероглифа. В ходе исследования был создан банк виртуальных 3D-моделей, соответствующих смыслу иероглифов, изучаемых на занятиях по китайскому языку российскими школьниками 5-6-х классов. Кроме того, были разработаны напечатанные на бумаге карточки, содержащие изображения соответствующих иероглифов. В некоторых случаях использовались изображения иероглифов, выводимые на экран мобильных телефонов или планшетов школьников. Для разработки 3D-моделей, их привязки к маркерам-иероглифам и соответствующей визуализации для школьников с применением технологии дополненной реальности использовалась система HP Reveal. Указанная система является телекоммуникационной студией-конструктором, при помощи которой возможны создание, визуализация, манипулирование, распространение объектов и событий на основе применения технологии дополненной реальности. HP Reveal использует видеокамеру, подсистемы GPS и Wi-Fi компьютерной техники для распознавания реальных объектов, которые затем отображаются на экране компьютера с визуально наложенными на них видеофрагментами, фотографиями, анимацией или 3D-моделями. Пример разработанного в ходе исследования средства обучения - маркера-иероглифа, 3D-модели и эффекта дополненной реальности, когда 3Dмодель визуально наложена на распечатанный иероглиф и перемещается вместе с ним в пространстве, отражен на рис. 1. Такие технологические разработки сопровождались развитием методической системы обучения китайскому языку в 5-х и 6-х классах школы. В частности, совершенствовались методы обучения иероглифическому письму и сопоставлению иероглифов с их смысловыми значениями. Если раньше это осуществлялась при помощи книг, плакатов, проектора и экрана, мела и доски, то в рамках нового метода школьники либо использовали готовые, либо создавали собственные маркеры дополненной реальности в виде иероглифов, дополняя их объектами из коллекции 3D-моделей. В этом случае школьники изучали иероглифическое письмо, тактильно манипулировали распечатками иероглифов, формировали их зрительные образы и смысловые ассоциации. Рис. 1. Применение технологии дополненной реальности для изучения и запоминания школьниками смыслового значения иероглифа Развитие получили используемые для этого учебные материалы, что принципиально важно для эффективной деятельности педагогов [2; 15]. Были разработаны специальные задания для школьников, в числе которых задания на поиск и демонстрацию иероглифов по заданному смысловому значению, поиск и демонстрация 3D-объектов по заданному иероглифу, установление соответствия между иероглифами и 3D-объектами с проверкой последующей правильности действий школьника (в случае ошибки 3D-объект «не привязывается» к иероглифу-маркеру), разработка собственных объектов дополненной реальности на основе предварительного изучения смысловых значений иероглифов. Экспериментальные исследования эффективности использования технологии дополненной реальности для изучения иероглифического письма и обучения смысловым значениям иероглифов проводились в школе «Перспектива» города Москвы с учениками 5-х и 6-х классов. Всего в эксперименте приняли участие 134 школьника. При проведении эксперимента использовались разработанные в ходе исследования коллекции маркеров и 3D-моделей, а также специальные тестовые задания, анкеты, экспертные оценки педагогов, сформированные в результате устных опросов школьников. Результаты и обсуждение. В ходе эксперимента школьники были сгруппированы в контрольную и экспериментальную группы, по каждой из которых в ходе всех этапов и видов экспериментальный проверки собирались и обрабатывались раздельные данные. При этом данные успешности школьников, демонстрируемые в рамках отдельных этапов эксперимента, суммировались с соответствующими весовыми коэффициентами, что давало возможность получить общую интегральную оценку по каждому школьнику контрольной и экспериментальной групп по всем видам экспериментов. Определялась средняя доля достижения (в процентах) школьников каждой группы от максимально возможного значения, взятого за 100 %. В контрольную группу суммарно вошли 71 школьник, в экспериментальную - 63 школьника. Все виды и этапы экспериментов, а также используемые методы, учебные и контрольно-измерительные материалы были нацелены на выявление лексических навыков школьника, сформированных при обучении китайскому языку в части владения способностью сопоставления иероглифов и их смысловых значений. Школьники контрольной группы в течение одного учебного года изучали иероглифическое письмо с использованием вышеописанных стандартных методов и средств. Обучающиеся экспериментальный группы взаимодействовали со средствами дополненной реальности в рамках выполнения вышеуказанных заданий. В их распоряжении были системы дополненной реальности (телекоммуникационный конструктор HP Reveal), а также разработанные в ходе исследования коллекции маркеров-иероглифов и 3D-моделей. Технологии дополненной реальности использовалась педагогами при работе со школьниками экспериментальный группы. Целью использования предлагаемых подходов и технологий на соответствующих занятиях являлось объяснение особенностей начертания и смыслового значения новых для школьников иероглифов. Обобщенные результаты эксперимента отражены на рис. 2. Для подтверждения достоверности полученных результатов использовался статистический критерий Пирсона. Выявленные значения параметра p свидетельствуют o достоверности полученных результатов. Рис. 2. Диаграмма, отражающая влияние использования технологии дополненной реальности при обучении китайскому языку на сформированность у школьников 5-х и 6-х классов лексических навыков в части сопоставления иероглифов и их смысловых значений Эксперименты показали, что школьники экспериментальной группы обладают существенным преимуществом по сравнению с обучающимися, составившими контрольную группу. Учащиеся, изучавшие китайский язык с применением технологии дополненной реальности, быстрее и правильнее ориентировались в поиске иероглифов, указании их смысловых значений. Было выявлено, что у школьников экспериментальный группы сформированы корректные визуальные и смысловые ассоциации, необходимые для приобретения соответствующих лексических навыков. Кроме того, по экспертным оценкам выявлено повышение мотивации обучающихся к изучению китайского языка в целом и иероглифическому письму в частности в условиях использования технологий дополненной реальности, 3D-моделирования, методов обучения, основанных на конструировании взаимосвязи иероглифов и их визуальных образов самими школьниками. Заключение. Предложенный в ходе описанного исследования подход к использованию технологий дополненной реальности в рамках обучения китайскому языку в школе является эффективным. Если говорить более точно, то применение технологий дополненной реальности позволяет существенно повысить результативность обучения китайскому языку в части изучения иероглифического письма, сопоставления иероглифов и их смысловых значений, поиска иероглифов и информации на китайском языке, а также написания иероглифов. Обоснованным является создание и развитие коллекций электронных версий иероглифов, использование которых возможно в качестве маркеров дополненной реальности, коллекций 3D-моделей и других виртуальных объектов, отражающих смысл основных иероглифов, изучаемых в школе. Эффективным является метод, когда к таким разработкам привлекаются сами школьники. Реализация предложенного в ходе исследования совершенствования методических систем обучения китайскому языку, основанного на применении технологий дополненной реальности, кроме достижения целей повышения эффективности обучения иероглифике может играть существенную роль в развитии подходов к информатизации обучения в школе, а также установлении дополнительных междисциплинарных связей.

About the authors

Vadim V. Grinshkun

People Friendship University of Russia (RUDN University)

Author for correspondence.
Email: vadim@grinshkun.ru
6 Miklukho-Maklaya St, Moscow, 117198, Russian Federation

Russian Academy of Education corresponding member, doctor of pedagogical sciences, full professor, professor of the department of information technologies in continuous education

Anna S. Grigorieva

“Perspektiva” school

Email: ane4ka-grigoreva@mail.ru
11а Sinyavinskaya St, Moscow, 141411, Russian Federation

teacher of foreign language of “Perspektiva” school

References

  1. Grinshkun AV. Vozmozhnosti ispol'zovaniya tekhnologij dopolnennoj real'nosti pri obuchenii informatike shkol'nikov [Possibilities of using augmented reality technologies in teaching informatics to schoolchildren]. Vestnik Moskovskogo gorodskogo pedagogicheskogo universiteta. Serija: Informatika i informatizacija obrazovanija [Bulletin of the Moscow City Pedagogical University. Series: Informatics and Informatization of Education]. 2014;3(29):87–93.
  2. Grinshkun AV. Tekhnologiya dopolnennoj real'nosti i podhody k ee ispol'zovaniyu pri sozdanii uchebnyh zadanij dlya shkol'nikov [Technology of augmented reality and approaches to its use in creating educational tasks for schoolchildren]. Vestnik Moskovskogo gorodskogo pedagogicheskogo universiteta. Serija: Informatika i informatizacija obrazovanija [Bulletin of the Moscow City Pedagogical University. Series: Informatics and Informatization of Education]. 2017;3(41):99–105.
  3. Demina NA. Metodika prepodavaniya prakticheskogo kitajskogo yazyka [Method of teaching practical Chinese]. Moscow: Vostochnaya literature Publ.; 2006.
  4. Zadoenko TP, Huan SH. Nachal'nyj kurs kitajskogo yazyka [Initial course of the Chinese language] (vol. 1). Moscow: Vostochnaya kniga Publ.; 2010.
  5. Zadorozhnyh DP. Metodika prepodavaniya kitajskoj ieroglificheskoj pis'mennosti [Methods of teaching Chinese hieroglyphic writing]. Vestnik nauki Sibiri [Bulletin of science of Siberia]. 2014;1(11):182–187.
  6. Kondrashevskij AF, Rumyanceva MV, Frolova MG. Prakticheskij kurs kitajskogo yazyka [Practical course of the Chinese language] (vol. 1). Moscow: Vostochnaya kniga Publ.; 2010.
  7. Kochergin IV. Ocherki metodiki obucheniya kitajskomu yazyku [Essays on methods of teaching Chinese]. Moscow: Muravej Publ.; 2000.
  8. Filippov VM, Krasnova GA, Grinshkun VV. Transgranichnoe obrazovanie [cross-border education]. Platnoe obrazovanie [Paid education]. 2008;(6):36–38.
  9. Dong A, Suyang B, Behzadan T, Amir H, Chen K, Feng U, Kamat R, Vineet R. Collaborative visualization of engineering processes using tabletop augmented reality. Advances in Engineering Software. 2013;(55):45–55.
  10. Golonka EM, Bowles AR, Frank VM. Technologies for foreign language learning: a review of technology types and their effectiveness. Computer Assisted Language Learning. 2014;(27):70–105.
  11. Henderson S, Feiner S. Exploring the benefits of augmented reality documentation for maintenance and repair. IEEE transactions on visualization and computer graphics. 2011;17(10):1355–1368.
  12. Ke C. Effects of strategies on the learning of Chinese characters among foreign language studies. Journal of the Chinese Language Teachers Association. 1998;33(2):93–112.
  13. Livingston M.A. Evaluating human factors in augmented reality systems. IEEE Computer Graphics and Applications. 2005;25(6):6–9.
  14. McGinnis SН. Student attitudes and approaches in the learning of written Chinese. Paper presented at the Annual Conference of the American Association for Applied Linguistics. Long Beach; 1995. СА. 1.
  15. Onalbek ZK, Grinshkun VV, Omarov BS, Abuseytov BZ, Makhanbet ET, Kendzhaeva BB. The Main Systems and Types of Forming of Future Teacher-Trainers' Professional Competence. Life Science Journal. 2013;10(4):2397–2400.

Statistics

Views

Abstract - 96

PDF (Russian) - 16

Cited-By


PlumX

Dimensions


Copyright (c) 2020 Grinshkun V.V., Grigorieva A.S.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies