Automated system for diagnosing the ability to solve computational problems based on structural and mental schemes

Cover Page

Abstract


Problem and goal. The paper deals with an actual problem - learning to solve computational problems. The components of this problem are highlighted and it is shown that to solve it, it is necessary to automate the learning process, especially in terms of organizing independent work. The purpose of this work is to describe the scientific and technological basis for building an automated diagnostic system for solving computational problems (using the example of physical problems), as well as to present the results of using the developed system in the real pedagogical process. Methodology. The described system is based on a mental approach to learning. The paper introduces the concept of a computational primitive and, based on it, the concept of a structuralmental scheme (SMS) - a graph-like model of the ability to solve problems. An Elo-like rating system was used to provide adaptive, continuous monitoring. In order to increase the strength of mastering the ability to solve problems, we implemented the account of forgetting using a piecewise linear model of forgetting. To assess the formation of the ability to solve problems, a value is introduced - the level of assimilation, which is determined by the structural and mental scheme of the student and reflects its completeness and strength. Results. The results of the application of the described automated diagnostic system for the ability to solve computational problems in the real pedagogical process are presented. The described system proved to be effective, i.e. it positively affects the level of formation of the ability to solve problems. The correlation between the number of tasks solved by the student and the level of assimilation is calculated. The efficiency of the presented system in terms of forming the ability to solve computational problems on the example of physical problems is proved. Conclusion. Automation using a computer system allows to track and store information about the status of each individual SMS connection in memory. This cannot be done using any other non-automated tools and technologies due to the large amount of data and the complexity of calculations.


Full Text

Постановка проблемы. Обучение точным наукам немыслимо без решения задач. Основы умения решать различные задачи закладываются при получении среднего образования. Это закреплено в требованиях ФГОС к предметным результатам по математике, физике, химии и биологии [8]. Далее в работе для определенности речь пойдет о задачах по физике. Под физической задачей обычно понимают небольшую проблему, которая в общем случае решается с помощью логических умозаключений, математических действий и эксперимента на основе законов и методов физики [10. С. 79]. С уверенностью можно утверждать, что умение решать задачи является одним из важнейших для многочисленных технических дисциплин. Наиболее часто встречаются текстовые расчетные задачи, это обусловлено множеством причин, среди которых сравнительная легкость организации занятий по решению таких задач, простота проверки ответа, эффективность при контроле знаний. Несмотря на очевидную важность умения решать задачи, а также разработанность методики, обучение решению задач составляет известную дидактическую проблему. Эта проблема обусловлена рядом серьезных причин. Во-первых, приобрести умение решать задачи можно только в процессе самостоятельной работы. В методике накоплен большой опыт обучения решению задач. Обычно выделяют три принципиально различных способа обучения: традиционный, полусамостоятельный и алгоритмический [13. С. 47]. Во всех способах присутствует этап внеаудиторной самостоятельной работы по решению задач. Именно на нем формируется умение самостоятельно решать задачи. Таким образом, результат обучения решению задач явно зависит от качества организации самостоятельной работы. Во-вторых, ситуация усложняется тем, что умение решать задачи - исключительно индивидуальное умение, следовательно, при обучении решению задач крайне необходима индивидуализация. Однако при традиционной классноурочной системе сделать это весьма проблематично. Корень проблемы кроется в том, что преподавателю необходимо проводить диагностику индивидуально каждого обучающегося, что требует много сил и времени. Таким образом, проявляется глубокое противоречие между необходимостью индивидуализации диагностики результатов самостоятельной работы обучающихся и весьма ограниченными для этого возможностями преподавателя. В-третьих, в соответствии с принципом доступности обучения задачи для решения отдельно выбранному ученику должны подаваться адаптивно, от простых к сложным. Поскольку каждый обучается в своем темпе, подборки задач должны формироваться динамически. Обеспечивать таким дидактическим материалом большое количество учеников трудоемко. В-четвертых, умение решать задачи является многокомпонентным. Для успешного решения расчетных задач кроме предметных знаний требуется уверенное владение некоторыми математическими умениями. Помимо этого, решение многих задач требует знания нескольких предметных элементов. В частности, для решения задачи по физике может потребоваться знание нескольких разных законов. Это приводит к тому, что контроль умения решать задачи становится совершенно нетривиальным. В таких условиях экспертный контроль может оказаться наилучшим, однако возможности его применения при самостоятельной работе весьма ограничены. В-пятых, для достижения прочности усвоения умения решать задачи необходимы систематические повторения учебного материала. Поскольку умение имеет процедурный характер (в отличие от декларативного характера знаний), требуется непрерывный тренаж, равномерно покрывающий все элементы умения. Поскольку решение задачи состоит из множества отдельных действий - организовать такой тренаж очень проблематично. Готового решения перечисленных трудностей нет. Наиболее перспективный путь решения описанных проблем представляется в использовании автоматизированных компьютерных средств, направленных на обеспечение самостоятельной работы обучающихся, а в особенности - на диагностику ее результатов. Целями настоящей работы являются описание научно-технологической базы разработки автоматизированных систем диагностики умения решать расчетные задачи (на примере физических задач) с позиций ментального подхода, а также представление результатов применения конкретной реализации в образовательном процессе. Методы исследования. Для построения автоматизированной системы диагностики умения решать расчетные задачи необходим способ формализации такого умения. Подходы к этому могут быть различными. В основу данной работы положен ментальный подход [2; 3; 11; 12]. Во второй половине XX века У. Найссер ввел в психологии понятие схема [9. С. 73]. Когда идет речь об обучении используют термин ментальная схема. Таким образом, ментальная схема (МС) является частью нервной системы человека (некоторого активного множества физиологических структур и процессов), управляющей когнитивными процессами (восприятием, мышлением, памятью). Существуют МС, формирующиеся в процессе решения задач и управляющие этой деятельностью. Согласно ментальному подходу целью обучения является формирование и развитие необходимых МС. Такой подход перспективен в плане автоматизации. Это обусловлено тем, что МС могут быть легко формализованы в виде графов, которые содержат терминальные (цели и данные) и нетерминальные (МС низкого уровня) узлы, а также комбинированные вершины [3. С. 146]. Многие явления, процессы и объекты описываются математическими выражениями (формулами, законами, уравнениями), в которых фигурируют различные величины. Для построения моделей МС умения решать задачи введем понятие вычислительный примитив (ВП), под которым будем понимать объект, имеющий N параметров, связанных с величинами, характеризующими некоторое явление, и содержащий метод получения N-го значения параметра ВП при известных остальных N-1 значениях. Модель МС умения решать расчетные задачи представим в виде ориентированного графа, составленного из величин, и ВП, дуги в котором проведем между ВП и величинами, а также между величинами. Каждая дуга в этом случае будет соответствовать определенному действию при решении задачи: · дуга от величины к ВП обозначает подстановку данных в выражения; · дуга от ВП к величине обозначает выражение или вычисление величины; · дуги между величинами обозначают их отождествление. Такие графы-модели будем называть структурно-ментальными схемами (СМС). Пример СМС, содержащей все виды дуг, представлен на рис. 1, а - это СМС по теме «Скорость», одной из начальных тем элементарного курса физики. Стрелки на схеме обозначают связи. а б Рис. 1. СМС по теме «Средняя скорость» (а) и частная СМС отдельной задачи (б) Решение задачи на СМС представляется в виде пути от узлов-данных (известных величин по условию задачи) к узлу-цели (величине, которую требуется вычислить). СМС позволяют моделировать наиболее важные этапы процесса решения задачи. Аналитическая часть: выбор узлов-данных - соответствует анализу текста и определению исходных данных; определение узлацели - пониманию требования задачи. Синтетическая часть: поиск нетерминальных узлов, через которые пройдет путь от узлов-данных к узлу-цели, является составлением системы уравнений; проведение этого пути представляет решение системы уравнений и вычисление искомой величины. Целью обучения является формирование полной МС, которая позволяет решать любые задачи предметной области. Решение каждой задачи имеет отпечаток в памяти обучающегося, который является фрагментом полной МС. Таким образом, с каждой задачей связана частная СМС, которая моделирует умение решать только подобные задачи. Например, сравнительно простая задача - «определите среднюю скорость автобуса, если первые 3 км пути он проехал за 9 мин, а следующие 12 км за 16 мин» - имеет частную СМС, представленную на рис. 1, б. Сложные задачи имеют разветвленные СМС, включающие несколько ВП. Один из наиболее простых способов организовать адаптивный подбор заданий - использовать рейтинговую систему, подобную разработанной А. Эло. Данная система, созданная во второй половине XX века (изначально для ранжирования игроков в шахматы по силе игры), успешно применяется в образовании для построения адаптивных обучающих систем [6; 14]. В данной рейтинговой системе обучающимся и задачам присваиваются рейтинги. После решения/не решения учеником задачи его рейтинг увеличивается/уменьшается, а у задачи напротив уменьшается/увеличивается. Пересчет рейтингов происходит по сравнительно простым правилам, что является преимуществом данной системы. МС являются динамическими, они формируются в процессе обучения, деятельности и мышления и утрачиваются со временем вследствие забывания. Эти свойства МС естественным образом отражаются в СМС путем придания связям веса, который изменяется в зависимости от факторов времени и активации (применения, повторения). Для этого необходима модель забывания, то есть закон изменения количества усвоенной информации со временем, в котором будет учтено забывание и влияние на этот процесс повторений. Наиболее удачной представляется кусочно-линейная модель забывания [1]. Согласно этой модели забывание происходит линейно по закону: μ k = 100 - μ(t - τ) . В этой формуле k - информация, сохранившаяся в памяти; μ - скорость забывания; τ - время, прошедшее с момента начала обучения до последнего повторения. В контексте данной работы (применительно к формированию умения решать задачи) под k следует понимать число, отражающее уровень умения. Причем это число не является дихотомичным (умеет/ не умеет), а непрерывно изменяется от 0 (полное неумение) до 100 (полностью сформированное умение). Это предположение относительно возможности непрерывного измерения умения примем как допущение, оптимистично полагаясь на его истинность, поскольку нет явных оснований сомневаться в ней. Каждое повторение полностью восстанавливает запомненное в памяти. После каждого повторения скорость забывания уменьшается на некоторый процент (рис. 2). Рис. 2. Примерный вид кусочно-линейного закона забывания Учет забывания отдельно для каждой связи СМС позволяет оценить уровень сформированности ментальной схемы с учетом динамики ее формирования. С этой целью введем следующую величину - уровень усвоения : L = lk , где k - среднее значение сформированности связей СМС. Множитель l определяется по следующей формуле: æ μ l = 1- ö , где ç ÷ è μmax ø μ - среднее значение скорости забывания связей СМС; μmax значение скорости забывания (начальное значение). - максимальное Этот множитель принимает значения в интервале от 0 до 1, причем приближается к максимальному значению когда μ становится достаточно малым. В соответствии с моделью забывания это происходит после многократного повторения всех элементов умения решать задачи, представленных в СМС. Результаты и обсуждение. Описанные выше методы легли в основу разработанной автоматизированной системы диагностики умения решать расчетные задачи по физике. Система является интернет-сайтом, размещенным по адресу msbx.ru. Помимо представленной выше СМС «Скорость», разработаны еще четыре СМС по темам «Плотность», «Давление», «Работа и мощность», «Энергия» (рис. 3). Изображения СМС являются активными. При клике на стрелку «Связь» система выбирает из базы данных задачу, частная СМС которой содержит данную связь. Выбор задачи происходит адаптивно на основе Эло-подобного рейтинга так, чтобы рейтинг задачи был наиболее близок к рейтингу обучающегося. По каждой СМС вычисляется уровень усвоения. В системе формируется ТОП-список пользователей, упорядоченный по сумме уровней усвоения всех тем, представленных в системе (эту величину назовем интегральный уровень усвоения). Изначально связи между узлами на СМС прорисовываются красным цветом. Если обучающийся верно решил задачу, связи, отражающие элементы ее решения, меняют цвет на зеленый (рис. 4). На рис. 4 для примера приведено состояние СМС «Скорость», после решения описанной выше задачи. С помощью такой цветовой маркировки отмечаются проработанные элементы умения решать задачи по данной теме. Таким образом, в системе раскрыта динамичность МС. С течением времени цвет связи непрерывно переходит от зеленого к красному, так визуализируется забывание. После верного решения задачи, содержащей какую-либо связь, она становится опять зеленой (произошло повторение). Далее ее переход к красному происходит медленнее в соответствии с кусочно-линейной моделью забывания. Такие СМС создаются в системе индивидуально для каждого обучающегося по каждой из представленных тем. Описанная система была опробована в педагогическом процессе, в КГБПОУ «Дивногорский гидроэнергетический техникум имени А.Е. Бочкина». Группа обучающихся - 46 человек в возрасте 15-16 лет - студенты первого курса, продолжающие изучение общего курса физики в рамках получения среднего образования, работали с данной системой в течение 43 дней. Перед обучающимися была поставлена задача достичь к моменту завершения работы как можно более высокого места в ТОП-списке. Работа с системой проходила внеаудиторно. СМС «Плотность» СМС «Давление» СМС «Работа и мощность» СМС «Энергия» Рис. 3. Примеры СМС по некоторым начальным разделам элементарного курса физики Перед знакомством обучающихся с системой было проведено тестирование (тест 1), в котором от них требовалось обнаружить знания по представленным в системе темам. Тест содержал 35 расчетных текстовых задач - заданий открытого типа, на которые нужно было дать ответ в виде числа. Таким образом, тест оценивал уровень усвоения умения решать задачи. После того как обучающиеся поработали с системой отведенное время, было проведено повторное тестирование (тест 2) подобным тестом. Рис. 4. Цветовая маркировка проработанных связей По результатам выполнения тестов была вычислена их надежность по известной формуле KR-20 [7. С. 52]. Надежность первого теста оказалась 0,82, второго - 0,88. Это позволяет сделать вывод о высокой надежности проведенных тестов. Результаты тестирований приведены на гистограмме рис. 5, на ней указано число обучающихся, решивших количество задач в указанном на оси абсцисс интервале. По гистограмме видно, что увеличилась доля учащихся, решивших большее количество задач. Далее рассмотрим корреляцию между интегральным уровнем усвоения и количеством решеных задач во втором тесте. Диаграмма рассеяния этих величин, построенная по результатам всех испытуемых выборки, приведена на рис. 6. На диаграмме также проведен график линейной аппроксимации, полученной методом наименьших квадратов, и ее уравнение. Линейный коэффициент корреляции Пирсона принимает значение 0,8684. В представленной системе предпринята попытка моделировать забывание. В экспериментальных работах по этой теме, например, в классической работе Г. Эббингауза [4. C. 224-239], а также по эмпирическим законам, открытым А. Йостом [5], делается вывод о том, что закон забывания имеет логарифмический вид. Попытки аппроксимировать экспериментальные данные различными кривыми приводят к аналогичному результату [15]. Преимуществом логарифмической функции является то, что она быстро убывает при малых значениях аргумента и медленно при больших, поэтому хорошо описывает переход информации из кратковременной памяти в долговременную. Когда же речь идет о забывании в долговременной памяти, как это происходит при утрате умения решать задачи, логарифмическая функция может быть с достаточной точностью заменена линейной. Уравнение логарифмической функции имеет два числовых коэффициента, влияющих на интенсивность забывания. Линейная же функция имеет один коэффициент, который естественно интерпретируется как скорость забывания. Это упрощение является весьма желательным при конструировании компьютерной системы. Использованная в работе модель забывания не претендует на количественное описание реального процесса забывания. Основное ее предназначение - обеспечить прочность формируемого умения. Для этого достаточно правдоподобного качественного описания. Рис. 5. Результаты тестирований Рис. 6. Диаграмма рассеяния величин: интегральный уровень усвоения и количество задач, решенных обучающимися во втором тесте (после работы с системой) Данное исследование дидактических качеств описанной системы проведено без сравнения с контрольной группой. Традиционно при самостоятельной работе по решению задач обучающийся решает задачи на бумаге с последующей экспертной проверкой преподавателем. На первый взгляд, представляется возможным сравнение традиционного способа организации самостоятельной работы с описанным в настоящей статье. В данном случае это не сделано по следующим причинам. Сравнение с контрольной группой позволяет оценить результативность одной методики по сравнению с другой. Настоящее исследование сфокусировано на изучении эффективности разработанной компьютерной системы. Кроме того, сравнение с контрольной группой предполагает равенство всех условий проведения эксперимента, за исключением исследуемых. В данном же случае применение компьютерных технологий как самостоятельный фактор может внести искажение в эксперимент при сравнении с некомпьютерными технологиями. Так, использование компьютера или смартфона может привлечь к себе больше внимания, заинтересовать обучающихся, вследствие чего более современная в техническом плане методика может получить преимущество, не обусловленное ее дидактическими качествами. Также при традиционной организации самостоятельной работы обучающимся приходится оформлять решение на бумаге. Эта операция отсутствует при работе с компьютерной программой, где требуется только ответ. Решение задач на бумаге предполагает наличие статичных наборов задач, одинаковых для всех обучающихся. Компьютерная же система предлагает адаптивный подбор посильных заданий индивидуально для каждого ученика. Эти и некоторые другие причины делают весьма сомнительным сравнение результатов эксперимента с контрольной группой, в которой самостоятельная работа была бы организована традиционно. Представляет, однако, интерес сравнение различных компьютерных систем между собой, что может стать предметом дальнейших исследований. Следует также признать тот факт, что решение задачи и ответ в ней не являются тождественными, причем первое представляется более важным. В описанной системе предполагается, что за правильным ответом несомненно стоит единственно верное решение. Это не совсем так, поскольку иногда задача может иметь различные решения, то есть различные частные СМС. В курсе же элементарной физики такие задачи являются скорее исключением, чем нормой. Используя технологию СМС потенциально возможно организовать отслеживание и проверку именно хода решения. Однако для этого потребуются дополнительные разработки и исследования. Это может стать перспективным продолжением настоящей работы. Заключение. В статье введена модель МС ученика - структурно-ментальная схема, основанная на вычислительных примитивах. Разработана технология построения СМС. Разработаны СМС некоторых начальных тем элементарного курса физики. Описана автоматизированная система диагностики умения решать расчетные задачи по физике. Представлены результаты исследования дидактических качеств описанной системы, которые позволяют сделать вывод о ее результативности для организации самостоятельной работы. В ходе исследования системы было экспериментально зафиксировано повышение уровня сформированности умения решать задачи, обусловленное применением описанной системы. Введена величина - уровень усвоения МС, а также исследована корреляция между ней и количеством решаемых обучающимся задач (обнаружена положительная корреляция). Представляется вполне возможным распространить идеи, описанные в данной работе на другие учебные дисциплины. Очевидно, что это возможно для тех дисциплин, в которых решение расчетных задач является обязательным элементом обучения. Кроме этого, есть все основания надеяться, что подобные системы можно строить и для диагностики знаний и умений в гуманитарных дисциплинах, в которых решение расчетных задач полностью отсутствует. Для этого потребуется разработка других правил составления СМС. Таким образом, описанная система является результативной при обучении решению расчетных задач на примере задач по физике. Она имеет существенный потенциал для развития и может послужить основой для дальнейших исследований.

About the authors

Evgeniy V. Asaulenko

Divnogorsk Hydropower Technical School named after A.E. Bochkin

Author for correspondence.
Email: evgeniy.asaulenko@mail.ru
41 Chkalova St, Divnogorsk, 663091, Russian Federation

teacher

References

  1. Asaulenko EV. Primenenie linejnoj funkcii dlya opisaniya zabyvaniya v usloviyah chastogo povtoreniya [Using a linear function to describe forgetting in conditions of frequent repetition]. Dostizheniya nauki v 2017 godu: materialy mezhdunarodnoj konferencii [Achievements of science in 2017: proceedings of the international conference] (p. 31–36). Kiev; 2017.
  2. Asaulenko EV, Pak NI. Model' iskusstvennogo uchitelya na osnove mental'nogo podhoda [Model of an artificial teacher based on a mental approach]. Rossiya – Koreya – SNG [Russia – Korea – CIS]: proceedings of international conference on science and technology (p. 199–203). Novosibirsk: NGTU Publ.; 2018.
  3. Bazhenova IV, Babich N, Pak NI. Ot proektivno-rekursivnoj tekhnologii obucheniya k mental'noj didaktike [From projective-recursive learning technology to mental didactics]: monograph. Krasnoyarsk: SFU Publ.; 2016.
  4. Gippenrejter YuB, Romanova VYa. Psihologiya pamyati [Psychology of memory]. Moscow: AST Publ., Astrel' Publ.; 2008.
  5. Zinchenko VP, Meshcheryakov BG. Bol'shoj psihologicheskij slovar' [Big psychological dictionary]. Moscow: AST Publ.; Saint Petersburg: Prajm-Evroznak Publ.; 2008.
  6. Karlova OA, Pak NI. Model' nepreryvnogo obrazovaniya shkoly budushchego (na primere inzhenernoj shkoly) [Model of continuous education of the school of the future (on the example of an engineering school)]. Otkrytoe obrazovanie [Open education]. 2013;4(99):98–104.
  7. Maslak AA. Teoriya i praktika izmereniya latentnyh peremennyh v obrazovanii [Theory and practice of measuring latent variables in education]: monograph. Moscow: Yurajt Publ.; 2016.
  8. Prikaz Ministerstva obrazovaniya i nauki Rossijskoj Federacii ot 17 maya 2012 g. No. 413 “Ob utverzhdenii federal'nogo gosudarstvennogo obrazovatel'nogo standarta srednego obshchego obrazovaniya” [Order of the Ministry of Education and Science of the Russian Federation of May 17, 2012 No. 413 “On approval of the Federal State Educational Standard of Secondary General Education]. Available from: http://ivo.garant.ru/#/document/ 70188902/paragraph/2034:0 (accessed: 20.10.2019).
  9. Najsser U. Poznanie i real'nost'. Smysl i principy kognitivnoj psihologii [Cognition and reality. The meaning and principles of cognitive psychology]. Moscow: Progress Publ.; 1981.
  10. Orekhov VP, Usova AV, Turyshev IK et al. Metodika prepodavaniya fiziki v 8–10 klassah srednej shkoly [Methods of teaching physics in grades 8–10 of secondary school] (vol. 1). Moscow: Prosveshchenie Publ.; 1980.
  11. Pak NI. Gipermozg kak osnova stanovleniya mental'noj didaktiki [Hyperbrain as the basis for the formation of mental didactics]. Internet – svobodnyi, bezopasnyi, obrazovatel'nyi [Internet – free, safe, educational]: materials of the interregional scientific and practical conference (p. 42–47). Omsk: Poligraficheskij centr KAN Publ.; 2013.
  12. Pak NI. Na puti k mental'noj didaktike [On the way to mental didactics]. Perspektivy i vyzovy informacionnogo obshchestva [Prospects and challenges of the information society]: materials of the II All-Russian conference with international participation of Krasnoyarsk State Pedagogical University named after V.P. Astafyev (p. 99–102). Krasnoyarsk: Krasnoyarsk State Pedagogical University named after V.P. Astafyev; 2013.
  13. Usova AV, Tul'kibaeva NN. Praktikum po resheniyu fizicheskih zadach [Workshop on solving physical problems]. Moscow: Prosveshchenie Publ.; 2001.
  14. Pelanek R. Applications of the Elo Rating System in Adaptive Educational Systems, Computers & Education. 2016. Available from: https://www.muni.cz/vyzkum/publikace/ 1376317 (data obrashcheniya: 20.10.2019).
  15. Rubin DC, Wenzel AE. One Hundred Years of Forgetting: A Quantitative Description of Retention. Psychological Review. 1996;103(4):734–760.

Statistics

Views

Abstract - 55

PDF (Russian) - 6

Cited-By


PlumX

Dimensions


Copyright (c) 2020 Asaulenko E.V.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies