THE DEFINITION OF STRUCTURE, TYPES OF TASKSAND DIRECTIONS FOR ELECTRONIC PORTFOLIOSTUDENTS EFFECTIVE USE

Cover Page

Abstract


The article deals with the use of electronic portfolio (e-portfolio) for university students anddescribes the features and results of the sociological research conducted with the aim of identifying the most appropriate applications and e-portfolios of graduates. The study identified criteria that allow to define a table of the possible types of components of an electronic portfolio. Taking into account the views of the respondents defined the most actual problems, which solution is possible with the use of properly structured e-portfolio. Such tasks are differentiated depending on the different categories of users portfolio. The article provides guidance to university students for creation of personal electronic portfolio and their subsequent efficient use in the choice of individual educational ways. Discusses the problem of compliance of materials portfolio requirements professional standards relating to professional competencies of graduates. The individuality of the portfolio content which takes into account the psycho ownersis emphasizes. The features and benefits of using portfolio, originally created in electronic form are demonstrates. The article is based on the results of the Kazakhstan project with Russian participation in the use of e-portfolio in universities in different countries.


На развитие системы образования оказывает влияние обширный комплекс внешних факторов, к числу которых, безусловно, относится и технологическое развитие общества. Неслучайно в сфере образования все чаще обсуждается четвертая промышленная революция, новые информационные и индустриальные революции. В России, Казахстане и ряде других стран принимаются различные программы обновления экономики, например, российский приоритетный проект «Цифровая экономика» или подходы к модернизации образования в Казахстане, заданные в контексте модели экономического роста, определенной направлениями Третьей модернизации [5]. Все это распространяется и на развитие систем образования, т.е. без изменения образовательного процесса и самих образовательных программ невозможно достичь новых приоритетов в подготовке кадров в соответствии с общегосударственными и отраслевыми рамками квалификаций. В этих условиях перед вузами стоит проблема эффективного оценивания профессиональных компетенций выпускников на соответствие требованиям рынка труда. Одной из технологий информатизации этого вида образовательной деятельности является технология электронных портфолио (е-портфолио). Такая технология сочетает преимущества индивидуализации и дифференциации обучения, обеспечивая, тем самым, многогранность педагогического воздействия на студентов и максимальное приближение к заранее запланированным результатам обучения, выраженных в компетенциях. Исторически портфолио стало одной из наиболее эффективных форм демонстрации профессиональных и личностных компетенций владельца. Электронная форма представления расширяют круг лиц, имеющих доступ к информации о результатах деятельности владельца портфолио. Кроме того, с помощью электронного портфолио можно продемонстрировать не только результаты, но и сам процесс деятельности. Под портфолио традиционно понимают способ сбора информации об определенных работах и их результатах, подтверждающих компетентность, в одну базу данных. Цель образовательного портфолио заключается в планировании разного рода работ как единой системы в целях дальнейшей демонстрации результатов обучения, профессиональной и личностной компетенции, уровня готовности к различным видам деятельности как преподавателям, так и потенциальным работодателям. Применительно к образованию портфолио представляет собой технологию фиксирования, накопления и оценки индивидуальных достижений обучающегося в определенный период обучения. Предназначение портфолио состоит в представлении отчета об обучении, показывающего целостную «картину» значимых образовательных результатов, отслеживании индивидуальной траектории обучающегося, демонстрации уровня сформированности его компетентности и оценивании результатов образовательной деятельности обучающегося. Специалисты из Европейского института электронного обучения определяют электронное портфолио как «персональную цифровую коллекцию информации, описывающую и иллюстрирующую обучение, карьеру, опыт и достижения человека» [11]. Электронное портфолио, являясь одной из информационных технологий, обладает возможностями для использования ее в качестве инструмента при проведении оценки степени сформированности профессиональных компетенций на соответствие требованиям рынка труда. Многие российские вузы предъявляют требование наличия такого портфолио к своим обучающимся [1]. Исследования, проведенные при участии авторов статьи, включали в себя анализ особенностей применения электронного портфолио в европейских, американских и азиатских университетах, при этом особое внимание уделялось российским и казахстанским вузам [9; 10; 12-14]. В частности, в рамках исследования проведен социологический опрос, результаты которого обработаны с помощью методов статистического анализа. Для изучения значимости технологии электронных портфолио для различных целевых групп, таких как работодатели, выпускники, руководство вузов и преподаватели использовалась выборка в 593 респондента из Республики Казахстан, из которых 228 представителей академической общественности, 240 студентов (бакалавриата и магистратуры), 125 представителей работодателей, в том числе сотрудники казахстанских вузов различных категорий, из которых 9 национальных, 16 государственных, 8 акционированных и 20 частных вузов. В состав респондентов из числа академической общественности были включены специалисты в области реформирования высшего образования, эксперты и представители национальных и международных аккредитационных агентств, представители Министерства образования и науки Казахстана и подведомственных организаций (Национальный Центр тестирования и его региональные представительства, Центр Болонского процесса и академической мобильности). Внутри описываемого исследования методом глубинного интервью было опрошено 20 респондентов. В рамках исследования использовались как количественные, так и качественные методы. В ходе кабинетного исследования был выполнен анализ вторичных источников информации - доступной официальной статистической информации, публикаций и отчетов. Кроме того, был проведен опрос респондентов методом очного опроса, позволивший выявить мнения разных категорий заинтересованных лиц. Для выбранных категорий респондентов были разработаны и распространены разнообразные анкеты и руководства. Для обеспечения прозрачности и достоверности данных использовались электронные системы опроса респондентов. Глубинное интервью отдельных респондентов проводилось в целях получения более подробной и детальной информации. Интервью были составлены из полуоткрытых вопросов, т.е. применялась техника интервьюирования, позволяющая изучить проблемы и вопросы, которые невозможно предположить логическим путем. Полуоткрытые вопросы предоставили респондентам возможность высказаться о том, что для них важно. Среди высказанных проблем следует выделить проблемы отсутствия профессиональных стандартов, пассивности работодателей, некорректности формулирования результатов обучения, неготовности преподавателей к полной и всесторонней оценке степени сформированности профессиональной компетентности и результатов обучения. Одной из целей опроса было выявление потребностей разных видов пользователей и владельцев портфолио в особых видах его структуры. Работодатели предполагают необходимость расстановки акцента на результатах обучения будущих специалистов, отражающих степень сформированности компетенций и уровень автономности владельца портфолио. Для работодателей также важны материалы, подтверждающие наличие компетенций и позволяющие провести их независимую оценку. Дифференциация структуры и содержания портфолио определяется двумя факторами: профессиональной направленностью и личностными особенностями. Дизайн портфолио и проектирование его структуры зависят от специфики профессиональной области. Это становится все более ясным для исследователей в связи с предлагаемой ими «жесткой» структурой портфолио без вариативной и субъективной составляющих [15]. Анализ результатов исследования и имеющихся публикаций позволяет говорить о наличии нескольких подходов к формированию структуры электронного портфолио [16-20]: - однородная структура: портфолио документов, портфолио отзывов, портфолио кейсов и др.; - неоднородная, заранее определенная структура; - неоднородная, заранее не определенная структура, ориентированная на профессиональные компетенции. Определение и описание структуры е-портфолио можно осуществить на основе выделения компонентов постоянства-вариативности и объективности-субъективности. При таком подходе обобщенная структура электронного портфолио (табл. 1), будет определяться следующими составляющими - объективным (оценка уже проведена экспертами, имеются подтверждения) и субъективным (представлены результаты деятельности владельца портфолио, оценить которые предстоит человеку, изучающему портфолио), а также инвариантным (обязательным для всех) и вариативным (творческим, заполняемым по желанию обучающегося) компонентами. Таблица 1 Матрица определения и классификации возможных структур электронных портфолио Составляющие е-портфолио Инвариантный компонент (задается образовательной организацией) Вариативный компонент (задается владельцем портфолио) Объективный компонент (экспертное или иное подтверждение, дипломы, сертификаты, удостоверения) Р 11 . Транскрипт (учебная справка), курсовые работы, проекты, выпускные и дипломные работы, оцененные контрольные работы, результаты экзаменов и тестирований Р 12 . Сертификаты курсов повышения квалификации, языковых курсов, дипломы и грамоты за участие в олимпиадах и конкурсах Субъективный компонент (материалы, не прошедшие формализованную оценку на соответствие требованиям) Р 21 . Эссе, резюме, биографии. Аналитические мнения, выраженные в различных формах. Материалы самооценки Р 22 . Творческие работы (например, фотографии, мнения, отзывы) Примечание. Каждое из четырех подмножеств портфоли условно обозначено специальным символом: Р 11 (инвариантный, объективный компоненты) - подмножество «Отражение»; Р 12 (вариативный, объективный компоненты) - подмножество «Саморазвитие»; Р 21 (инвариантный, субъективный компоненты) - подмножество «Представление»; Р 22 (вариативный, субъективный компоненты) - подмножество «Экспозиция». В электронном портфолио каждый размещенный владельцем элемент при наличии связей должен быть связан с компетенцией (компетенциями), которые он подтверждает. Такая связь может быть реализована с помощью системы тегов и гиперссылок. При таком подходе разработку и использование электронных портфолио можно рассматривать в качестве значимого компонента общих процессов информатизации образования [2; 3]. Если такие подмножества присущи структуре электронного портфолио на каждом уровне, то это позволяет учитывать интересы не только студентов как основных пользователей портфолио, но и их потенциальных работодателей. Кроме этого, с учетом специфики образовательной программы возможно построение соответствий, позволяющих демонстрировать взаимосвязи результатов обучения и профессиональной компетентности, состоящей из специальных и общих компетенций, а также личностных качеств [6]. С учетом такого подхода в зависимости от оценки электронное портфолио дорабатывается и дополняется. Возможно изменение образовательной траектории, как формальной, так и неформальной, с целью обеспечить полноту подтверждения результатов обучения. На заключительном этапе происходит принятие решения студентом о продолжении или прекращении обучения. В большинстве национальных и межнациональных систем образования уровни бакалавриата, магистратуры, аспирантуры или PhD-докторантуры предполагают развитие профессиональных компетенций в соответствии с различными требованиями, такими, например, как профессиональные стандарты, Европейская рамка квалификаций (EQF) или Национальная рамка квалификаций (НРК). Такими документами предусмотрено углубление компетенций при переходе на более высокий уровень [4]. Профессиональные стандарты предполагают возможность перехода на более высокий уровень не только при наличии диплома, но и при наличии практического опыта работы, что служит одним из аргументов в пользу создания и внедрения электронных портфолио. Профессиональная направленность накладывает свои особенности на структуру и содержание портфолио. Специфика естественнонаучного направления заключается в наличии в портфолио научных публикаций, творческого направления - видео, аудиозаписей и фотографий, инженерного направления - чертежей конструкций, фотомакетов и образцов, экономического - бизнес-планов и описаний результатов анализа ситуаций. Особенности личности, ее предпочтения, принадлежность к аудиальному, визуальному и кинестическому психотипу отражаются и в предпочитаемых материалах. Так, личности с преобладанием аудиального психотипа лучше воспринимают аудиозаписи, для них они лучшие средства для получения и представления информации. Люди визуального психотипа предпочитают визуальные сигналы и способы представления информации, поэтому портфолио владельца с преобладанием визуального психотипа часто содержат ссылки на видеоролики, фотографии, схемы, графики и тексты. Владельцы портфолио с кинестическим психотипом предпочитают размещать видеофрагменты, описания собственных ощущений и эмоций. В ходе упоминавшегося социологического исследования были выявлены различия в требованиях к структуре электронного портфолио у студентов, работодателей и представителей академической общественности (табл. 2). Работодатели предполагают необходимость первоочередной расстановки акцента на результаты обучения, отражающие степень сформированности компетенций и уровень автономности автора портфолио. Для них также важны материалы, подтверждающие наличие компетенций и позволяющие провести независимую оценку. Кроме того, работодатели зачастую предъявляют к выпускникам завышенные требования, несоответствующие завершенному уровню обучения. Социологическое исследование позволило оценить значимость задач, решаемых с помощью электронных портфолио, в зависимости от принадлежности респондентов к различным целевым группам. Результаты оценивались в интервале от 0 до 1. Сводные данные показывают различие значимости разных задач для разных групп потребителей сведений из электронных портфолио. Таблица 2 Значимость задач, решаемых с помощью электронных портфолио (в зависимости от потребностей разных целевых групп) Задачи Работодатели Преподаватели Обучающиеся Выпускники Задачи образовательного процесса Учет личностных особенностей обучающихся при организации образовательного процесса 0 0,4 1,0 0,7 Содействие внедрению кредитной технологии обучения 0 1,0 0,6 0,2 Организация виртуальных выставок и экспозиций результатов образовательной деятельности студентов 1,0 1,0 0,8 1,0 Мониторинг образовательного процесса и образовательных результатов обучающихся 0,5 1,0 0,6 0,4 Обеспечение прозрачности и адекватности оценки 1,0 1,0 0,7 0,7 Проведение индивидуальных консультаций 0 0,4 0,7 0,6 Обеспечение более полного участия каждого обучающегося в образовательном процессе 0,2 0,9 0,6 0,4 Предоставление обучающемуся инструмента исследования, конструирования, формализации знаний о предметном мире, средств моделирования 0,3 0,8 0,7 0,9 Поддержка индивидуальной образовательной траектории обучающегося 0,3 0,6 0,9 0,8 Формирование умений работать в команде 1,0 0,4 0,5 0,9 Реализация контекстного (профессионально-направленного) обучения 0,7 0,6 0,6 0,9 Учет удовлетворенности потребителей 0,9 0,3 0,9 1,0 Интенсивное общение субъектов образовательного процесса 0,3 0,8 0,9 0,8 Интеграция количественной и качественной оценки компетенций обучающихся посредством анализа разных продуктов образовательной деятельности 0,9 0,9 0,6 0,8 Содействие реализации профессиональной направленности обучения 1,0 0,8 0,9 1,0 Задачи личностного роста Мотивация личностного роста 0,8 0,7 0,9 1,0 Развитие познавательной самостоятельности 0,7 0,8 0,7 0,8 Формирование рефлексии 0,9 0,7 0,6 0,9 Формирование коммуникативных умений и навыков, в том числе умений объективно оценивать окружающих, отстаивать свою точку зрения, демонстрировать результаты деятельности 1,0 0,9 0,9 1,0 Формирование умения презентовать результаты образовательной деятельности 0,9 1,0 0,9 0,9 Развитие творческого потенциала 1,0 1,0 0,8 0,9 Формирование информационной компетентности и информационной культуры 0,9 0,9 0,8 0,9 Развитие личностных свойств (целеустремленности, настойчивости, уверенности, открытости, терпимости, эмоциональной устойчивости) 1,0 0,9 0,6 0,8 Формирование умений принять точку зрения другого 0,8 0,8 0,7 0,8 Свобода в выборе видов и способов деятельности и собственных маршрутов, в том числе и образовательных 0,8 0,6 1,0 1,0 Приобщение учащихся к определенным областям сетевой культуры 0,5 0,6 1,0 1,0 Предоставление возможностей выбора широкой палитры ценностей 0,6 0,6 1,0 1,0 Возможность изучения опыта других 1,0 1,0 1,0 1,0 Возможности технологий информатизации и структура электронных портфолио - определяющий фактор для выявления возможностей и методики использования таких портфолио в образовательном процессе. Их значимое достоинство состоит в комбинации различных видов и способов оценок, в числе которых самооценка, оценке достижения результатов обучения в рамках формальной образовательной программы, оценке результатов неформального и информального обучения. Электронное портфолио заполняется не однократно, работа с ним носит непрерывный постоянный характер. Динамика заполнения, характер управления содержанием электронного портфолио позволяет оценить не только способы деятельности, но и самостоятельность деятельности, готовность к ней. Кроме этого, портфолио демонстрирует проявления личностных качеств владельца и его склонностей [7; 8]. Учитывая эти и другие особенности электронных портфолио, можно сформулировать несколько рекомендаций (вариантов) по их формированию студентами, принимая во внимание проектируемые результаты обучения. Студенту следует: - проходить анализ или осуществлять самоанализ текущей сформированности профессиональной компетентности и заполнять портфолио, размещая в нем материалы и «прикрепляя» их к соответствующим профессиональным компетенциям; - самостоятельно или совместно с преподавателем-куратором, определить свои образовательные потребности на основе анализа полноты сформированности профессиональных и личностнозначимых компетенций с учетом проектируемых в рамках образовательной программы результатов обучения; - определить или выбрать из предложенных вариантов: цель обучения, задачи изучения образовательных дисциплин, перечень профессиональных компетенций, подлежащих формированию, и перечень возможных материалов и документов, подтверждающих наличие соответствующих компетенций; формализовать проблему формирования профессиональных компетенций через перечень материалов, выбрать подход к решению проблемы; Окончание табл. 2 - разработать индивидуальный план обучения под руководством преподавателя, определить алгоритм прохождения и план-график ведения электронного портфолио; - пройти обучение, внешний рубежный контроль и пополнить электронное портфолио запланированными и, по желанию, дополнительными материалами, документами и сведениями; - проанализировать выполненные работы, оценить полноту представленных материалов и степень покрытия ими результатов обучения; - представить групповые работы и результаты информального обучения; - пройти внешнее независимое экспертное определение полноты покрытия компетенций материалами и сведениями в портфолио, а также степени сформированности профессиональных компетенций. Выстраиваемое с помощью таких подходов электронное портфолио может оказаться существенным подспорьем для повышения эффективности учебного процесса в вузе за счет использования его в качестве инструмента для более адекватного отражения личностных и профессиональных характеристик студента, прежде всего, проявления его профессиональной компетентности. Взаимосвязь квалификационных рамок специальности и профессиональной компетентности служит базой для формирования и развития профессиональной компетентности обучающихся и отражается в содержании и структуре электронного портфолио. С помощью такого портфолио работники вузов приобретают возможность на постоянной основе отслеживать относительные результаты обучения студентов и соотносить эти результаты с потребностями рынка. Это, в свою очередь, позволяет своевременно корректировать цели, содержание и методы обучения студентов, гибко варьируя их подготовку в соответствии с постоянно меняющимися реалиями общественного и производственного развития.

M A Bektemesov

Al-Farabi Kazakh National University

Author for correspondence.
Email: maktagali.bektemessov@kaznu.kz
al-Farabi str., 71, Almaty, Kazakhstan, 050038

Bektemesov Maktagali Abdimazhitovich, doctor of physical and mathematical sciences, full professor, dean of mekhanik and mathematical faculty of Al-Farabi Kazakh National University.

V V Grinshkun

Moscow city pedagogical university

Email: vadim@grinshkun.ru
Sheremetyevskaya str., 29, Moscow, Russia, 127521

Grinshkun Vadim Valeryevich, doctor of pedagogical sciences, full professor, head of the department of informatization of formation of the Moscow city pedagogical university.

M A Skiba

Narkhoz university

Email: marina.skiba@narxoz.kz
Zhandosov str., 55, Almaty, Kazakhstan, 050035

Skiba Marina Aleksandrovna, candidate of pedagogical sciences, associate professor, adviser to the rector of the Narkhoz University (Kazakhstan).

A R Turganbayeva

Al-Farabi Kazakh National University

Email: turalma@mail.ru
al-Farabi str., 71, Almaty, Kazakhstan, 050038

Turganbayeva Alma Rymbekovna, candidate of pedagogical sciences, associate professor of informatics of Al-Farabi Kazakh National University.

  • Vezirov T.G., Kostina E.A. Obrazovatel’nye web-tehnologii v podgotovke bakalavrov i magistrov pedagogicheskogo obrazovanija [Educational web technologies in training of bachelors and masters of pedagogical education]. Vestnik Novosibirskogo gosudarstvennogo pedagogicheskogo universiteta [Bulletin of the Novosibirsk state pedagogical university]. 2016. No. 4 (32). Pp. 39—49.
  • Grinshkun V.V. Podgotovka pedagogov k ispol’zovaniju jelektronnyh izdanij i resursov [Training of teachers for use of electronic editions and resources]. Vysshee obrazovanie v Rossii [Higher education in Russia]. 2007. No. 8. Pp. 86—89.
  • Grigor’ev S.G., Grinshkun V.V. O razrabotke uchebnika «Informatizacija obrazovanija» [About development of the textbook “Education Informatization”]. Vestnik Moskovskogo gorodskogo pedagogicheskogo universiteta. Serija «Informatika i informatizacija obrazovanija» [Bulletin of the Moscow city pedagogical university. “Informatics and Informatization of Education” series]. 2005. No. 4. Pp. 24—28.
  • Nacional’naja ramka kvalifikacij [National frame of qualifications]. URL: http://palata.kz/ uploads/ content/files/Nacional’naja ramka kvalifikacij_2016.pdf
  • Poslanie Prezidenta Respubliki Kazahstan N. Nazarbaeva narodu Kazahstana. 31 janvarja 2017 g. «Tret’ja modernizacija Kazahstana: global’naja konkurentosposobnost’» [Message of the President of the Republic of Kazakhstan N. Nazarbayev to the people of Kazakhstan. January 31, 2017. “Third modernization of Kazakhstan: global competitiveness”]: URL: http://www.akorda.kz/ ru/addresses/addresses _of_president/poslanie-prezidenta-respubliki-kazahstan-nnazarbaevanarodu-kazahstana-31-yanvarya-2017-g
  • Rostovyh D.A., Smol’nikova I.A., Poljanskaja A.V., Grinshkun V.V. i dr. Podgotovka i professional’naja dejatel’nost’ uchitelej i prepodavatelej informatiki. Kompetentnostnyj podhod [Preparation and professional activity of teachers and teachers of informatics. Competence-based approach]. M.: RGSU, 2010. 212 p.
  • Skiba M.A., Bektemesov M.A., Turganbaeva A.R. Fraktal’naja struktura e-portfolio [Fractal structure of an e-portfolio]. Izvestija Jugo-Zapadnogo universiteta. Serija: Upravlenie, vychislitel’naja tehnika i informatika. Medicinskoe priborostroenie [News of the Southwest university. Series: Management, computer facilities and informatics. Medical instrument making]. 2016. No. 1 (18). Pp. 7—15.
  • Turganbaeva A.R., Skiba M.A. Tipovaja struktura e-portfolio: osobennosti proektirovanija i napolnenija [Standard structure of an e-portfolio: features of design and filling]. Vestnik Kazahskogo nacional’nogo pedagogicheskogo universiteta imeni Abaja. Serija «Fiziko-matematicheskie nauki» [Bulletin of the Kazakh national pedagogical university name after Abay. Physical and Mathematical Sciences series]. 2015. No. 4 (52). Pp. 207—215.
  • Donaldson J. Digital Portfolios in the Age of the Read/Write Webhttp. URL: er.educause.edu/ articles/2012/11/digital-portfolios-in-the-age-of-the-readwrite-web
  • Gary R. Brown, Helen L. Chen. Understanding the Evolution of E-Portfolio Practice: Where Do We Go from Here? URL: https://library.educause.edu/resources/2014/1/understanding-theevolution-of-eportfolio-practice-where-do-we-go-from-here
  • Europortfolio. European Institute for E-learning (2015): URL: http://www.eife-l.org/about/ europortfolio
  • Mary D. Brown. Using Technology // Electronic Portfolios in the K-12 Classroom. URL: http:// www.educationworld.com/a_tech/tech/tech111.shtml
  • Mendoza-Calder n, Marco A., Ramirez-Buentello, Joaquin. Hand book of Research one Portfolios. Facilitating Reflection Through ePortfolio at Tecnol gico de Monterrey. Hershey, USA. AliJafari (Ed). 2006. R. 484—493.
  • Lane C. The Power of ‘e’: Using e-Portfolios to Build Online Presentation Skills. Innovate. 2007. No. 3 (3). Pp. 98—102.
  • Marieke van der Schaaf. Improving workplace-based assessment and feedback 15by an E-portfolio enhanced with learning analytics // Educational Technology Research and Development, April 2017. Vol. 65. Issue 2. Pp. 359—380.
  • Balaban I., Mu E., Divjaka B. Development of an electronic Portfolio system success model: An information systems aproach. Computers & Education. 2013. No. 60. Pp. 396—411.
  • Dysthe O., Engelsen K.S. Portfolio practices in higher education in Norway in an international perspective: Macro-, meso-and micro-level influences. Assessment and Evaluation in Higher Education. 2011. No. 36 (1). Pp. 63—79.
  • Meeus W., Van Petegem, P., Van Looy L. Portfolio in higher education: Time for a clarificatory framework. International Journal of Teaching and Learning in Higher Education. 2006. No. 17 (2). Pp. 127—135.
  • Love D., McKean G., Gathercoal P. On implementing web-based portfolios. Educause Quarterly. 2004. No. 25 (2). Pp. 29—37.
  • Carpenter R., Apostel S., Hyndman J.O. Developing a model for ePortfolio design: A studio approach // International Journal of ePortfolio. 2012. No. 2 (2). Pp. 163—172.

Views

Abstract - 271

PDF (Russian) - 82

PlumX


Copyright (c) 2017 Bektemesov M.A., Grinshkun V.V., Skiba M.A., Turganbayeva A.R.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.