Presentation and Analysis of Structural Knowledge in Learning Tasks Using the Example of a Complex Literary Text

Cover Page

Cite item

Full Text

Abstract

The lack of reliable instruments for automated assessment of learning outcomes leads to an overload of teachers who do not have sufficient resources to fully and objectively assess numerous students. A promising approach to solving this problem seems to be the use of markers of the formation of students’ structural knowledge, describing the interrelations of the components of the object being studied. The purpose of this study, based on the novel The Master and Margarita by M.A. Bulgakov, is to show that the structural knowledge of the subjects reflects the features and current level of understanding of the novel, as well as the change in this level as a result of learning. The study used PathFinder network scaling algorithm to extract and visualize significant connections between the novel’s characters based on subjective assessments of their pairwise connectivity. The experimental group consisted of high school seniors who studied the novel as part of the school curriculum under the guidance of their teacher. The comparison group included readers of the novel with different levels of experience in comprehending the text. The results of the study confirmed the possibility of assessing the structural knowledge of complex literary texts by the parameters of their network representation (coherence, expansion, and conciseness, balance of tree-like and coalition relationships). A significant difference was found in key indicators of the structural knowledge in the experimental and comparison group. According to the learning results in the experimental group, a statistically significant increase was revealed in the correlation of the students’ structural knowledge with that of their teacher. The analysis of the shortcomings of the extracted knowledge structures makes it possible to individualize teaching, reduce labor intensity and increase objectivity of the assessment of the learning results. The proposed approach requires verification on large samples and in other knowledge areas (in particular, in the training of operators of complex technical systems).

Full Text

Введение Недопустимо большое время, необходимое учителям, преподавателям, инструкторам для надежного оценивания знаний и навыков обучаемых, - одно из «узких» мест в обучении. Экзамен «по билетам» не гарантирует полноты охвата предметной области, а многовариантные тесты не всегда отражают ее глубину. Для сложносвязанных объектов необходимо оценивание «по всему материалу», что на практике возможно только на основе автоматически формируемых маркеров понимания состава, структуры и взаимодействия компонентов изучаемого объекта. Таким маркером может служить уровень сформированности структурного знания (СЗ), дополняющего морфологическое знание пониманием взаимосвязей компонентов объекта. Признано, что богатое СЗ определяет умение взаимодействовать с объектом и обеспечивает переход от декларативного к процедурному знанию[17]. Наиболее продвинутые подходы к представлению и анализу СЗ базируются на получаемых от испытуемых оценках попарной связи компонентов объекта. Традиционно эти методы применялись к достаточно абстрактным высокоуровневым знаниям (Ifenthaler, Masduki, Seel, 2011; Trumpower, Sarwar, 2010; Trumpower, Vanapalli, 2016). В настоящем исследовании такой подход используется для определения уровня понимания и прогресса испытуемых в изучении сложных объектов, таких как литературные нарративы. Приведен обзор методов диагностики СЗ на основе субъективного сетевого шкалирования, наиболее востребованного в практических задачах обучения. В экспериментальное исследование были вовлечены ученики гимназии, изучавшие роман М.А. Булгакова «Мастер и Маргарита» в рамках школьной программы, и читатели, в разной степени осознавшие нарратив и смыслы романа. Цель исследования - выявить и проанализировать особенности СЗ испытуемых и групповые различия СЗ, обусловленные опытом изучения и осмысления романа. Предполагается, что будет зафиксировано статистически значимое приближение СЗ школьников к СЗ преподавателя по результатам изучения произведения в рамках школьной программы. методы диагностики структурного знания Во избежание терминологической путаницы разведем в дальнейшем изложении понятия структурного знания («как устроен объект») и структуры знаний («как представлено знание об объекте»). Методы субъективного шкалирования позволяют извлечь и представить именно структуры знаний (далее по тексту иногда называемые когнитивными структурами или просто структурами); в случае сетевого шкалирования это представление реализуется в форме графов, в которых элементы объекта (узлы) соединяются попарными связями (ребрами). Структурное знание связывает факты, утверждения, концепции в уме обучаемого и позволяет ему упорядочивать, осмысливать и сохранять учебную информацию (Shavelson, 1972). Извлеченные структуры знаний обучаемых помогают преподавателям создавать учебные материалы, выявлять пробелы и связывать новые знания с узловыми точками уже существующих структур (Jonassen, 1987), определять ключевые трудности обучения (Snow, 1989), обнаруживать и корректировать неверные концепции и предубеждения (Seel, 1999). Структуры знаний можно использовать также для оценки эффективности обучения путем сравнения структур учащихся со структурами преподавателей и предметных экспертов, чье СЗ считается более интегрированным и сформированным (Acton, Johnson, Goldsmith, 1994). Известны вербальные методы извлечения СЗ, такие, например, как словесные ассоциации (Gunstone, 1980), размышления вслух (Ericsson, Simon, 1998), отслеживание моделей концепций и отношений (Understanding models…, 2008), хотя достоверность получающихся оценок и их связь с когнитивными структурами вызывают определенные сомнения (Nisbett, Wilson, 1977). В последние годы в задачах повышения эффективности обучения все больший интерес вызывают графические методы представления знаний: отображение концепций (Canas et al., 2004), динамическое улучшение решения проблем (Pirnay-Dummer et al., 2010) и особенно алгоритмы субъективного шкалирования (Дозорцев, Миронова, 2020; Amith et al., 2017; Politowicz et al., 2022; Sanchez, 2021; Trumpower, Vanapalli, 2016). Так, в нашей предыдущей работе (Дозорцев и др., 2014) с помощью многомерного шкалирования исследуется кластерное представление структур знаний испытуемых в сравнении со структурой преподавателя и показывается положительный эффект обучения операторов сложных технологических процессов. Отслеживание изменений СЗ в ходе обучения - одна из центральных задач в рассматриваемой проблематике, поскольку оно обеспечивает объективную обратную связь обучаемому и позволяет корректировать учебную программу на основе выявленных дефицитов структур знаний относительно эталонных экспертных структур. Такой подход сталкивается с разнообразными техническими и методологическими проблемами, диктующими необходимость использования соответствующих процедур активации когнитивных структур и статистических методов оценки изменений (Ifenthaler, Masduki, Seel, 2011). В практических задачах анализа и интерпретации когнитивных структур наиболее востребованы методы субъективного сетевого шкалирования, ориентированные на локальные отношения между оцениваемыми признаками и потому более подходящие для отражения структурного знания об объекте (Johnson, Goldsmith, Teague, 1995). Метод сетевого шкалирования PathFinder: принцип действия и примеры практического использования Идея реконструирования субъективных семантических пространств состоит в переводе субъективных оценок сходства признаков объекта на более высокий уровень абстракции, дающий наглядный срез представлений испытуемого об объекте. Положение и взаимосвязь признаков во вновь выстроенном пространстве неодинаковы у испытуемых разного опыта и квалификации, и потому результаты реконструкции можно использовать при контроле, тестировании и оценке прогресса обучаемых. Описание метода PathFinder Психометрический метод сетевого шкалирования со взвешенными связями PathFinder, разработанный Р. Шваневельдом и его сотрудниками (Schvaneveldt et al., 1989), преобразует матрицу связности (схожести, взаимовлияния), содержащую субъективные оценки попарной близости признаков в числовой шкале, в граф, соединяющий вершины-признаки кратчайшими ребрами-связями. Кратчайшие связи выделяются на основе правила треугольника: прямая связь между парой признаков включается в граф, только если между ними нет более короткого непрямого пути. Следующие понятия теории графов особенно важны для анализа структуры знаний в методе PathFinder. Насыщенность и композиция восстанавливаемого графа контролируются параметрами q и r. Первый параметр отвечает за плотность: при q = 2 восстановленный граф содержит все связи, отраженные испытуемым в матрице связности; увеличение q снижает плотность. Длина пути между вершинами вычисляется как расстояние Минковского порядка r; при r = 1 все ребра графа вносят равный вклад в общий вес пути, при r = 2 длина пути становится евклидовым расстоянием, а при r = ∞ общий вес пути определяется самым «тяжелым» ребром и превращается в расстояние Чебышёва. Практически во всех применениях метода PathFinder в разных предметных областях по умолчанию выбираются значения параметров q = n - 1 (n - число вершин) и r = ∞. Плотность графа (отношение числа его ребер к максимально возможному) характеризует баланс между полнотой и лаконизмом представления СЗ. Профессионалы обычно показывают компактные и ясные структуры; новички, напротив, дают перенасыщенные и хаотические структуры. Вместе с тем излишняя разреженность графа может указывать на пробелы в знаниях испытуемого[18]. Каждая вершина характеризуется степенью, то есть числом связанных с ней вершин. Вершины с максимальной степенью (ВМС) соответствуют признакам, максимально интегрированным в общую структуру объекта. Диаметр - наибольшее расстояние между всеми парами вершин графа; он соединяет периферийные вершины и характеризует распространенность (широту) СЗ, когда в нем имеются опосредованные «длинные» связи, столь же необходимые в зрелых структурах, как и прямые короткие. Центр графа (их может быть несколько) располагается в середине диаметра. Медиана - вершина (их также может быть несколько), сумма кратчайших расстояний от которой до других вершин минимальна. Медиана - вершина, в среднем наиболее легко достигаемая из любой части графа. Принципиальными являются два следующих важных параметра выделяемой методом PathFinder структуры знаний (Schvaneveldt et al., 1989): согласованность и коэффициент корреляции. Согласованность (соотнесенность) структуры отражается в ее когерентности, предполагающей отсутствие в ней логических противоречий. Например, любые два признака, имеющие сходные отношения со всей совокупностью других признаков, должны быть схожи и друг с другом. Высокие значения когерентности особенно важны в задачах, требующих выявление смысловых связей изучаемого объекта; на практике здесь может достигаться диапазон значений (0,75-0,85) (Schvaneveldt et al., 1989). Крайне низкие значения (менее 0,15) свидетельствуют либо о непонимании испытуемым взаимосвязей признаков, либо о его несерьезном отношении к оцениванию их попарной близости (Meyer, 2008). Другой параметр - коэффициент корреляции, отражающий сходство двух структур знаний, позволяющий сравнивать структуры испытуемых разного опыта и оценивать изменение структур в результате обучения. Максимальное значение коэффициента корреляции, равное 1, достигается для двух одинаковых структур; практически достижимы значения коэффициента в диапазоне (0,8-0,85). Корреляция может рассчитываться по конечным сетевым представлениям знаний (Ifenthaler et al., 2011) или по исходным матрицам связности. Последний вариант более содержателен, поскольку отражает исходную информацию о когнитивной структуре, не усеченную обработкой методами шкалирования. Для матриц одинаковой размерности этот параметр совпадает с коэффициентом корреляции Пирсона расширенных векторов, получаемых при объединении всех строк сравниваемых матриц. Отметим, что в задаче представления СЗ указанные параметры интересны не как объективные характеристики самого объекта, а как маркеры субъективного понимания объекта испытуемыми. Значения параметров могут изменяться во времени, отражая эволюцию представления испытуемых об объекте. Задачи, решаемые с помощью сетевого шкалирования Анализ литературных источников (см. например, Johnson, Goldsmith, Teague, 1995; Ifenthaler, Masduki, Seel, 2011; Trumpower, Vanapalli, 2016) позволяет говорить о следующих перспективных направлениях применения метода: - выявление полноты имеющегося у испытуемого СЗ, переоцененных (второстепенных включенных) или недооцененных (важных пропущенных) связей, склонности к разным стилям описания структуры - простым (древовидным) или циклическим (коалиционным); - оценка особенностей и сравнение структур знаний разных типов носителей знаний (обучаемые / опытные работники / предметные эксперты / преподаватели / инструкторы, пр.); - оценка влияния обучения на уровень сформированности СЗ; - выявление возможного сближения структур знаний обучаемых и преподавателей/инструкторов по результатам обучения; - оценка влияния на СЗ факторов обучения (условия эксперимента, полнота инструктажа, др.). Методы оценивания сетевых структур Решение перечисленных выше задач предполагает наличие развитых методов оценивания репрезентаций, порождаемых сетевым шкалированием. В той или иной степени каждое экспериментальное исследование использует такие методы - от качественного описания самих структур до расчета корреляций между ними. Достаточно полная классификация характеристик сетевых структур, построенная на формализме теории графов, приведена в работе (Ifenthaler, Masduki, Seel, 2011). При переходе от высокоуровневого описания предметной области к сложноорганизованным системам повышается важность анализа ключевых узлов структуры (центры, медианы, ВМС) и использования информационно насыщенных матриц связности. В настоящей работе развивается предложенная ранее методика анализа структур (Дозорцев, Миронова, 2020). Практические примеры использования сетевого шкалирования В целом метод PathFinder демонстрирует возможность глубокого анализа особенностей СЗ при невысоких затратах на извлечение данных и интерпретацию результатов тестирования. Метод применялся в весьма разных предметных областях: от элементарной математики и принятия решений на флоте до исследования когнитивных карт летчиков и участников видеоигр (Politowicz et al., 2022; Sanchez, 2021; Trumpower, Sharara, Goldsmith, 2010). В ряде исследований сходство СЗ учащихся и экспертов возрастало по результатам обучения, что положительно коррелировало с традиционными показателями успеваемости[19]. Сближение когнитивных структур обучаемых и эксперта по результатам обучения зафиксировано, например, в ранней работе (Goldsmith et al., 1991) в эксперименте по 30 понятиям статистики и дизайна (40 обучаемых). Схожие результаты получены в ряде других экспериментов, в том числе с участием медиков-первокурсников и врачей-экспертов, учителей-новичков и опытных преподавателей и др. В последние годы интерес к методу PathFinder возрос в исследованиях когнитивных (метальных) карт (Furlough, Gillan, 2020). Такие карты на основе оценок попарных расстояний между ментальными ориентирами объекта дают представления о поведении испытуемых, позволяют оценивать их опыт и прогнозировать эффективность будущей деятельности. Так, при сравнении двух групп испытуемых (всего 48 человек), знакомых с разными инструкциями по автопилотированию (базовой и продвинутой), была экспериментально зафиксирована статистически значимая разница СЗ по вышеуказанным группам и явное изменение структур по ходу дальнейшего обучения (Politowicz et al., 2022). В другой работе на выборке онлайн-игроков исследовалось сетевое представление 20 игровых концептов, определенных экспертами. Полученные данные позволили надежно оценить текущий уровень испытуемых и их результативность в будущих играх (Sanchez, 2021). Чаще всего применение метода PathFinder касается оценки однозначно определяемых признаков изучаемого объекта, например, в анализе разницы в восприятии вакцинации профессионалами и пользователями (Amith et al., 2017). Вместе с тем имеются важные задачи обучения и тренинга, для которых рассматриваемый метод применялся крайне редко или не применялся вовсе. В таких задачах изучаемые объекты обладают принципиально иными свойствами: - в разнообразных ситуациях взаимосвязь признаков в них проявляется по-разному и меняется на протяжении «жизненного цикла» объектов; - оценка этой взаимосвязи основана не только на понимании текущих характеристик объекта, но и на более широком опыте, приобретенном носителями знаний, в том числе за пределами конкретного изучаемого объекта; - при изучении таких объектов особенно важна индивидуальность преподавателя и его собственное понимание объекта, а не бесспорные декларативные утверждения. Пример таких объектов в технике - сложные человеко-машинные системы, состоящие из разнородных подсистем с многочисленными взаимозависимостями и трудно или вовсе непредсказуемыми свойствами. В работе А.А. Обознова и коллег исследовалась динамика изменений СЗ по ходу профессионализации операторов реакторного энергоблока атомной станции (Обознов и др., 2013). Поскольку подобные лонгитюдные исследования «в поле» чрезвычайно длительны и организационно сложны, в работе В.М. Дозорцева и коллег было использовано «быстрое» обучение на компьютерных тренажерах. В проведенном эксперименте, по-видимому, впервые для столь сложного объекта зафиксирован статистически значимый сдвиг СЗ испытуемых (17 магистрантов-технологов) в сторону СЗ эксперта-преподавателя вуза. Также удалось соотнести уровень сформированности СЗ с личностными особенностями испытуемых: уверенность в себе, готовность к сотрудничеству, зависимость от групповых суждений, стремление к перфекционизму и др. (Дозорцев и др., 2014). Новое направление - исследование СЗ литературных текстов. Анализ такого знания методом сетевого шкалирования позволил выявить тонкую нюансировку выделяемых структур в зависимости от опыта читателей романа Л.Н. Толстого «Анна Каренина» (Дозорцев, Миронова, 2020). В исследовании была показана корреляция качества выделяемых структур с когерентностью оценок попарной близости героев романа. В то же время задача исследования временных изменений в СЗ читателей в работе не ставилась. В настоящем исследовании метод PathFinder применяется к роману М.А. Булгакова «Мастер и Маргарита», что позволяет привлечь к эксперименту как учеников гимназии, так и читателей с разным опытом с целью выявить разницу в СЗ, опосредованную приобретенным опытом, и проследить влияние преподавателя при изучении текста в рамках школьной программы. Булгаковский роман - многослойное произведение, «роман в романе», включающий описание московской жизни 1930-х годов, растревоженной посещением Воланда и его сатанинской свиты, и библейский рассказ о противостоянии Иисуса и Понтия Пилата, переданный Мастером в его «вложенном» тексте. Сама по себе такая многослойная композиция обещает интересные представления читателей о структуре произведения. Наличие элементов, сходных с современными фэнтэзи-жанрами, определяет внимание к «Мастеру и Маргарите» у молодых читателей, превышающее их интерес к другим классическим текстам русской литературы. Что касается других возрастных групп (особенно заставших первую публикацию 1960-х гг.), то некоторых из них книга сопровождает всю жизнь. процедура и методы исследования Выбор героев. Число возможных связей в матрице связности растет квадратично относительно числа признаков. Прогностическая надежность сетевого шкалирования возрастает в диапазоне от 5 до 30 признаков, после чего падает из-за утомления испытуемых (Goldsmith, Johnson, Acton, 1991). С учетом ограничения времени, выделяемого на заполнения матрицы, число признаков в эксперименте обычно не превышает 20. В проведенном исследовании 15 героев романа, покрывающие основные сюжетные и идейные линии романа, были предложены одним из авторов, проводившим уроки в экспериментальной группе школьников. В ершалаимскую группу входят проповедник Иешуа Га-Ноцри, его ученики (верный Левий Матвей и предатель Иуда), римский прокуратор Иудеи Понтий Пилат. К посетившей Москву нечистой силе относятся повелитель сил Тьмы Воланд, его свита (Коровьев, Бегемот, Азазелло) и гостья бала Сатаны Фрида. Наконец, жители современной Булгакову Москвы представлены протагонистом повествования Мастером, его возлюбленной Маргаритой, руководителем московской писательской организации Берлиозом, поэтом Бездомным, директором театра Варьете Лиходеевым и его администратором Варенухой. Процедура и выборка исследования. Экспериментальная группа первоначально включала 35 одиннадцатиклассников Академической гимназии им. Д.К. Фаддеева при СПбГУ (14 девушек и 21 юноша в возрасте 16-17 лет). В исследовании участвовали два класса - биологической и IT-направленности, что предполагает наличие у испытуемых естественно-научных и логико-математических типов интеллекта (Gardner, 1983) и развитого умения категоризировать и классифицировать данные. Первый замер СЗ проводился до изучения романа в классе; школьники к этому моменту ознакомились с биографией М.А. Булгакова и прочитали книгу. У экспериментаторов не было уверенности, что испытуемые смогут обойтись без поддержки преподавателя, поэтому матрицы заполнялись во время урока, а пользоваться текстом, конспектами, Интернетом не разрешалось. В дальнейшем, особенно с появлением мобильного приложения, стало понятно, что такое задание может даваться на дом. Это приводит к экономии урочного времени и позволяет ученикам отразить не только поверхностное, линейное знание романа, но и понимание его смыслов. Занятия, посвященные «Мастеру и Маргарите», проходили в течение 3 недель и суммарно заняли 8 академических часов (по 45 минут). Школьники анализировали роман, изучая три мира, традиционно выделяемые литературоведами: древний ершалаимский, вечный потусторонний и современный московский. Для этого использовались разнообразные форматы - дискуссия, анализ текста, заполнение таблиц, проектная работа, составление экскурсий по московским топонимам. Учащиеся были задействованы как в индивидуальной, так и в групповой деятельности. Из-за высокой загрузки, подготовки к экзаменам и пропуска занятий по болезни не все школьники приняли участие во втором замере по окончании занятий по роману - в обоих замерах участвовали 14 испытуемых. Для спокойствия учащихся результаты первого замера не переводились в систему школьных оценок. Второй замер, наоборот, был использован в качестве формы итогового контроля. В сравнительную группу вошло 30 русскоязычных испытуемых, знакомых с текстом романа (средний возраст 47,2 года, σ = 27,1), из них 14 женщин и 16 мужчин. Среди них были научные сотрудники, преподаватели вузов, технические менеджеры, предприниматели, психологи, программисты, студенты технических профессий (возраст 30 % участников не превышал 23 лет). Опыт их взаимодействия с романом также был чрезвычайно разным - от нескольких прочтений до краткого ознакомления в школьные годы или просмотра кинофильмов и театральных спектаклей. Привлечение к исследованию этой группы испытуемых на первый взгляд может показаться излишним и даже нарушающим принцип однородности выборки. Сравнение разных по возрасту испытуемых обычно не рассматривается как строгий психологический эксперимент. Однако в контексте конкретной задачи значимым является опыт осмысления текста, напрямую не связанный ни с возрастом, ни с числом прочтений. Этот опыт формируется под влиянием общекультурного багажа, как и неизбежных временных аберраций и искажений оригинального нарратива в его интерпретациях. Так, 9 из 30 испытуемых сравнительной группы по возрасту были близки к одиннадцатиклассникам (20,8 года, σ = 1,92), а их коэффициент корреляции с преподавателем оказался даже выше, чем у оставшихся «возрастных» участников группы (0,74 против 0,71). Вместе с тем не все (и не в одинаковой степени) характеристики выделяемой структуры определяют уровень сформированности СЗ. Основ ная цель этой части исследования - отделить характеристики, которые значительно отличаются в разных по опытности группах, от тех, которые определяются самой природой объекта и не меняются с приобретением опыта его изучения. Большинство испытуемых заполняло матрицу связности в формате Excel, однако второй замер в экспериментальной группе проводился в специально выполненном мобильном приложении, что сделало процедуру более привлекательной для гимназистов-старшеклассников. Испытуемые пользовались инструкцией, в которой помимо технических деталей получили традиционную установку опираться на имеющиеся представления о связи героев, не пытаясь в деталях восстанавливать отдельные эпизоды романа. Участники эксперимента уведомлялись, что исследование - не тест на знание романа, а о принадлежности данных конкретному ученику будет знать только преподаватель. Предположения и проверяемая гипотеза исследования: - количественные и качественные характеристики извлекаемых с помощью PathFinder структур отражают понимание испытуемыми изучаемого текста. Некоторые из них позволяют судить о сформированности СЗ; - между экспертной (сравнительной) и экспериментальной группами имеется разница выявляемых структур, определяемая глубиной владения текстом и опытом испытуемых; - повторный замер в экспериментальной группе (после изучения текста с преподавателем) дает статически достоверное приближение выявляемой структуры обучаемых к структуре преподавателя. Извлечение СЗ. Обработка матриц связности проводилась с помощью программного пакета Python Networkx для построения и анализа взвешенных графов (Hagberg, Schult, Swart, 2008). результаты исследования Преподаватель Характеристики графа преподавателя (рис. 1, графа 2 табл. 1) указывают на целостность и лаконичность выделяемой структуры на фоне структур экспериментальной и сравнительной групп (см. табл. 2). При достаточно высокой когерентности (0,67) граф обладает умеренной плотностью (0,2) и длинным диаметром (6)[20], соединяющим периферийные ершалаимские персонажи (Понтий и Левий) с периферийными московскими персонажами (Берлиоз и Варенуха). Центр графа, Маргарита - связующее звено между Воландом и Мастером, которые принадлежат двум главным коалициям героев. Первая коалиция - Мастер и герои ершалаимской группы, созданные им во «внутреннем» романе; во второй коалиции - Воланд (он медиана и ВМС графа), его свита (Коровьев, Бегемот и Азазелло) и пострадавшие от них москвичи - потерявший голову Берлиоз, превращенный в вампира Варенуха, угодивший в сумасшедший дом Бездомный, выброшенный из квартиры Лиходеев. Недооцененными в структуре преподавателя остаются только связи Мастер-Бездомный (линия «учитель-ученик») и Берлиоз-Воланд (линия «воздаяния»: литератор теряет голову под колесами трамвая на Патриарших прудах, а через день на сатанинском балу Воланд пьет из превращенного в кубок черепа Берлиоза). рис. 1. Граф структурного знания преподавателя Источник: подготовлено Е.А. Вишталь с использованием программного пакета Python NetworkX Figure 1. Structural Knowledge’s graph of the teacher Source: prepared by Evgeniya A. Vishtal using the Python NetworkX software package Экспериментальная группа (первый замер) Усредненные результаты по экспериментальной группе (35 школьников) приведены в графе 3 табл. 1. Первый замер дал чрезвычайно разнообразные индивидуальные структуры: средние по группе плотность (0,23) и максимальная степень (8,79) несколько выше результатов преподавателя (0,20 и 6,0 соответственно), что говорит об определенной избыточности структур школьников. В то же время диаметр графа (4,5) значительно уступает преподавателю (6) - в структурах школьников связи короче. Низкая групповая когерентность (0,51) объясняется присутствием в групповой выборке испытуемых со слабым пониманием текста. Действительно, в группе есть 8 испытуемых, давших значение когерентности ниже 0,3, из них трое - с отрицательной когерентностью. Таблица 1 / Table 1 Характеристики структурного знания (сз) преподавателя и экспериментальной группы / Characteristics of the structural knowledge (SK) of the teacher and the experimental group Характеристики СЗ / SK’s characteristics Преподаватель / Teacher Среднее по экспериментальной группе / Average for the experimental group 1 2 3 Когерентность / Coherence 0,67 0,51 Диаметр / Diameter 6 4,5 Плотность / Density 0,2 0,23 Средняя сила связи / Average bond strength 3,03 3,03 Центры / Centers Маргарита / Margarita Воланд / Woland - 60 %, Мастер / Master - 40 %, Понтий / Pontius - 23 %, Маргарита / Margarita - 20 %, Иуда / Judas - 9 %, Фрида, Лиходеев / Frida, Likhodeev - 3 % Медианы / Medians Воланд / Woland Воланд / Woland - 89 %, Мастер / Master - 3 %, Маргарита / Margarita - 3 %, Левий / Levi - 3 % Вершина с максимальной связью / Vertex with most connections Воланд / Woland Воланд / Woland - 89 %, Мастер / Master - 3 %, Маргарита / Margarita - 3 %, Понтий / Pontius - 3 % Максимальная степень / Maximum degree 6 8,79 Корреляция с СЗ преподавателя / Correlation with the teacher’s SK 1 0,60 Указанным формальным характеристикам соответствуют ключевые вершины в графах экспериментальной группы. В их центр чаще других попадают Воланд (60 %), Мастер (40 %), Маргарита (20 %), но у нескольких испытуемых в центре оказываются Понтий, Иуда, Фрида и Лиходеев. Последние персонажи никак не претендуют на ведущие роли в нарративе, их появление в центре графа можно объяснить только слабым знакомством с романом. Ситуация с медианой и ВМС более осмысленная - 89 % структур школьников (как и преподаватель) выделяют Воланда, однако в отдельных случаях здесь фигурируют Мастер, Маргарита и даже Понтий и Левий. Важная характеристика структуры - коэффициент корреляции между оценками парной связности у испытуемого и преподавателя. Среднее значение коэффициента по первому замеру в группе учащихся - низкое (0,60): преподаватель еще не приступил к трансляции ученикам своего понимания романа. Тем не менее изначально обнаружились школьники, обладающие достаточно сложившимися структурами знаний. На рис. 2 (слева) показан граф испытуемого 9; для удобства сравнения справа на рис. 2 повторен граф преподавателя. При достаточно высокой когерентности оценок (0,63 против 0,67 у преподавателя) и среднем диаметре (4 против 6) в нем наблюдается определенная избыточность структуры (0,25 против 0,2). Так, связь Маргарита-Бегемот не столь очевидна в сравнении с Азазелло, пригласившим Маргариту на бал к Воланду, или с Коровьевым, сопровождавшим ее на балу. Также второстепенна связь Воланд-Фрида. Все ключевые вершины графа занимает Воланд. В структуре отражены основные идейные линии романа: учитель-ученик (Мастер-Бездомный, Иешуа-Левий), верность-предательство (Иешуа-Левий и Иешуа-Иуда), жертвенная романтическая любовь (Мастер-Маргарита), власть и личность (Понтий-Иешуа). Вместе с тем структура перегружена циклическими связями, некоторые из которых выглядят искусственными (например, широкая коалиция Мастер-Маргарита-Фрида-Воланд-Иешуа- Мастер). Рассматриваемая структура дает самую высокую среди школьников корреляцию со структурой преподавателя (0,83). В целом этот школьник, несомненно, дает пример развитого понимания текста еще до изучения романа в классе. Заметим, что испытуемый 9 показал хорошие результаты и в повторном замере. рис. 2. Граф структурного знания (СЗ) испытуемого 9 (экспериментальная группа) - слева; граф СЗ преподавателя - справа Figure 2. Structural Knowledge’s (SK’s) graph of Testee 9 (experimental group), left; SK’s graph of the teacher, right Source: prepared by Evgeniya A. Vishtal using the Python NetworkX software package Обратный пример - испытуемый 11 (рис. 3, слева); для удобства сравнения справа на рис. 3 повторен граф преподавателя. При крайне низкой когерентности (0,04 против 0,67 у преподавателя), среднем диаметре (4 против 6), умеренной силе связи (2,62 против 3,03) и избыточной плотности (0,25 против 0,2) выделенная структура полностью «зациклена», а ключевые вершины графа выглядят почти случайными: в центре наряду с Воландом и Маргаритой встречаются Азазелло, Коровьев, Понтий и даже Иуда с Левием; в медианы попали Понтий и Иуда, а в вершины с максимальными связями (по 6 связей) - Мастер и Понтий. При этом Понтий связан не только с Маргаритой, но и с Коровьевым и Фридой. Также не обоснованы связи Варенухи с Левием и Бездомным, а Лиходеева - с Иудой. При этом Маргарита, Берлиоз, Коровьев, Бегемот вообще не связаны с Воландом, Мастер - с Бездомным, Иешуа - с Левием и Иудой, а Фрида - с Маргаритой. Крайне низкая корреляция со структурой преподавателя (0,29) в рассматриваемом случае вполне ожидаема. Отметим, что во втором замере испытуемый существенно улучшил результаты: когерентность повысилась с 0,04 до 0,625, а корреляция со структурой преподавателя - с 0,29 до 0,57. Берлиоз Иуда Понтий Левий рис. 3. Граф структурного знания (СЗ) испытуемого 11 (экспериментальная группа) - слева; граф СЗ преподавателя - справа Berlioz Pontius Frida Judas Judas Figure 3. Structural Knowledge’s (SK’s) graph of Testee 11 (experimental group), left; SK’s graph of the teacher, right Source: prepared by Evgeniya A. Vishtal using the Python NetworkX software package Сравнительная группа В группу вошли 30 испытуемых со средним возрастом 47,2 года (σ = 21,7), при этом 9 человек (30 %) были не старше 23 лет. 11 испытуемых (37 %) сообщили, что прочли роман один раз задолго до эксперимента, столько же перечитывали его несколько раз и/или знакомы с разнообразными интерпретациями текста. Средние характеристики группы дают отличную от школьников картину (см. графу 2 табл. 2) - достаточно высокую когерентность (0,61) при хороших диаметре (4,86), плотности (0,22) и средней силе связей (3,02). У большинства испытуемых Воланд оказался центром (57 %), медианой (87 %) и ВМС графа (80 %). Средняя по группе корреляция с СЗ преподавателя оказалась весьма высокой (0,72). Некоторые участники группы дали чрезвычайно сильные структуры, например, испытуемый 38 (рис. 4, слева). Иуда Варенуха Бездомный Берлиоз рис. 4. Граф структурного знания (СЗ) испытуемого 38 (сравнительная группа) - слева; граф СЗ испытуемого 55 (сравнительная группа) - справа Bezdomny Berlioz Berlioz Figгку 4. Structural Knowledge’s (SK’s) graph of Testee 38 (comparison group), left; SK’s graph of Testee 55 (comparison group), right Source: prepared by Evgeniya A. Vishtal using the Python NetworkX software package Таблица 2 / Table 2 Характеристики структурного знания (сз) сравнительной группы в сопоставлении с экспериментальной группой / Characteristics of the structural knowledge (SK) of the comparison group in comparison with the experimental group Характеристики сз / SK’s characteristics среднее по сравнительной группе/ Average for the comparison group среднее по экспериментальной группе / Average for the experimental group 1 2 3 Когерентность / Coherence 0,61 0,51 Диаметр / Diameter 4,86 4,5 Плотность / Density 0,22 0,23 Средняя сила связи / Average bond strength 3,02 3,03 Центры / Centers Воланд / Woland - 57 %, Иешуа / Yeshua - 27 %, Мастер / Master, Маргарита / Margarita, Понтий / Pontius, Иуда / Judas - 17 % Воланд / Woland - 60 %, Мастер / Master - 40 % Понтий / Pontius - 23 %, Маргарита / Margarita - 20 %, Иуда / Judas - 9 %, Фрида / Frida, Лиходеев / Likhodeev - 3 % Медианы / Medians Воланд / Woland - 87 %, Мастер / Master - 6 %, Маргарита / Margarita - 3 % Воланд / Woland - 89 %, Мастер / Master - 3 %, Маргарита / Margarita - 3 %, Левий / Levi - 3 % Вершина с максимальной связью / Vertrex with most connections Воланд / Woland - 80 %, Мастер / Master - 10 % Воланд / Woland - 89 %, Мастер / Master - 3 %, Маргарита / Margarita - 3 %, Понтий / Pontius - 3 % Максимальная степень / Maximum degree 8,04 8,79 Корреляция с СЗ преподавателя / Correlation with the teacher’s SK 0,72 0,60 При высокой когерентности (0,61) граф имеет преимущественно циклическую структуру, хорошую плотность (0,2), средние диаметр (5) и силу связи (2,98), а также рекордную по всему эксперименту корреляцию с СЗ преподавателя (0,84). Во всех ключевых точках графа располагается Воланд. Минимальным упущением можно считать отсутствие прямой связи Варенухи с Азазелло, завербовавшим администратора Варьете в «вампиры-наводчики». Значительно слабее структура испытуемого 55 (см. рис. 4, справа). При невысокой когерентности (0,51) граф очень плотный (0,33). Присутствуют совершенно неоправданные связи (Мастер-Лиходеев, Воланд-Варенуха, Понтий-Берлиоз, Иуда-Азазелло, Иуда-Коровьев). В то же время пропущены принципиальные связи Мастер-Маргарита (связаны только через Иешуа) и Мастер-Воланд (связаны через Иешуа, Понтия или Левия). Важнейшая связь Мастер-Бездомный реализуется через две промежуточные вершины (Иешуа и Воланд). Из-за низкого диаметра (3) в графе множество центров, в которые попадают периферийные персонажи (Варенуха, Иуда, др.). Невысокая корреляция с СЗ преподавателя (0,59) уступает даже значению этого показателя по группе школьников (0,60). Сопоставление экспериментальной и сравнительной групп Сопоставление показателей сравнительной группы и первых замеров экспериментальной группы (графы 2 и 3 табл. 2) выявляет очевидное преимущество сравнительной группы по когерентности (0,61 против 0,51) и по корреляции с СЗ преподавателя (0,72 против 0,60). Это ожидаемый результат с учетом значительного большего опыта испытуемых сравнительной группы (формальное применение U-критерия Манна - Уитни дает высокую статистическую значимость этой разницы на уровне p < 0,01). В графах сравнительной группы также наблюдаются более содержательные узловые точки: доля «случайных» героев, оказывавшихся центрами графа, составляет всего 0,25 против 0,4 в экспериментальной группе. У опытных читателей несколько выше значения диаметра (в среднем 4,86 против 4,5 в экспериментальной группе). В то же время плотность (0,22 против 0,23), средняя сила связи (3,02 против 3,03) и максимальная степень (8,4 против 8,79) примерно одинаковы в обеих группах. Это может свидетельствовать о том, что опыт прочтения и усвоения текста мало влияет на указанные количественные характеристики выделяемой структуры, которые, по-видимому, определяются уже при первом знакомстве с текстом. Эффект обучения в экспериментальной группе После трехнедельного изучения романа с преподавателем 14 испытуемых экспериментальной группы прошли повторный замер. Для некоторых школьников польза занятий очевидна: на рис. 5 приведены структуры испытуемого 12 до и после обучения (характеристики графов см. графы 2 и 3 табл. 3). В первом замере испытуемый показал крайне слабое понимание романа. При неплохих плотности (0,21) и диаметре (5) граф содержит множество немотивированных связей (Воланд-Варенуха, Левий-Варенуха, Левий-Коровьев, Левий-Лиходеев, Понтий-Фрида, Мастер-Фрида, Бездомный-Лиходеев), но не имеет принципиально важных связей (Иешуа с Левием и Иудой, Воланда с Мастером, Маргаритой и Берлиозом, Маргариты с Фридой). Выбор ключевых вершин (например, Левия в качестве центра и медианы, а также Мастера в качестве вершины с максимальной степенью) только подтверждает эту оценку. Очевидны в этой связи крайне низкие значения когерентности (-0,21) и корреляции со структурой преподавателя (0,17). рис. 5. Графы структурного знания (СЗ) испытуемого 12 (экспериментальная группа): первый замер (слева) и второй замер (справа) Источник: подготовлено Е.А. Вишталь с использованием программного пакета Python NetworkX Yeshua Judas Margarita Levi Judas Frida Varenukha Behemoth Korovyev Likhodeyev Likhodeyev Figure 5. Structural Knowledge’s (SK’s) graphs of Testee 12 (experimental group): the 1st measurement (left) and the 2nd measurement (right) Source: prepared by Evgeniya A. Vishtal using the Python NetworkX software package На этом фоне второй замер Испытуемого 12 дает принципиально другую картину. Формальные параметры графа (диаметр, плотность, сила связи, максимальная степень) мало изменились. Граф по-прежнему не идеален, но число переоцененных и пропущенных связей резко сократилось: странной остается связь Понтий-Фрида, можно критиковать прямые связи Воланда с Варенухой и Фридой, по-прежнему недостает связи Маргарита-Фрида, но в целом вырисовывается вполне удовлетворительная структура. Когерентность возрастает до уровня 0,60 (против -0,21), что выше среднего по экспериментальной группе (0,51) и вплотную приближается к средней по сравнительной группе (0,61). Корреляция с СЗ преподавателя достигает уровня 0,66 (против 0,17 в первом замере). Центральный вопрос экспериментального исследования - являются ли статистически значимыми изменения характеристик СЗ под воздействием обучения. Результаты первого и второго замеров в рассматриваемой подгруппе содержатся в графах 4 и 5 табл. 3. В подгруппу второго замера вошли в среднем еще менее подготовленные испытуемые, чем во всей экспериментальной группе на стадии первого замера: средняя когерентность существенно ниже (0,43 против 0,51), диаметр графа короче (4,07 против 4,5), чем по всей группе; наиболее спорные ключевые узлы экспериментальной группы представлены и в подгруппе. Таблица 3 / Table 3 Эффект обучения в экспериментальной группе / Learning effect in the experimental group Характеристики сз / SK’ characteristics испытуемый 12 (1й замер) / Testee 12 (1st measurement) испытуемый 12 (2й замер) / Testee 12 (2nd measurement) среднее по 1м замерам для тех, кто прошел 2й замер / Average for the 1st measurement average for those who passed the 2nd measurement среднее по вторым замерам / Average for the 2nd measurement 1 2 3 4 5 Когерент- ность / Coherence -0,21 0,6 0,43 0,54 Диаметр / Diameter 5 4 4,07 4,14 Плотность / Density 0,21 0,19 0,239 0,22 Средняя сила связи / Average bond strength 2,56 2,73 3,17 2,79 Центры / Centers Лиходеев / Likhodeev, Варенуха / Varenukha, Коровьев / Koroviev, Иешуа Yeshua, Левий / Levi Иешуа / Yeshua Воланд / Woland - 79 %, Маргарита / Margarita - 29 %, Мастер / Master - 21 %, Левий / Levi - 7 % Воланд / Woland - 79 %, Мастер / Master - 57 %, Маргарита / Margarita - 43 %, Иуда / Judas - 7 % Медианы / Medians Левий / Levi Воланд / Woland Воланд / Woland - 86 %, Мастер / Master - 14 %, Понтий / Pontius, Иуда / Judas, Левий / Levi - 7 % Воланд / Woland - 93 %, Мастер / Master - 7 % Вершина с максимальной связью / Vertex with most connection Мастер / Master Воланд / Woland Воланд / Woland - 86 %, Мастер / Master - 14 %, Понтий / Pontius - 7 % Воланд / Woland - 100 % Максимальная степень / Maximum degree 6 8 9,5 9,21 Корреляция с СЗ преподавателя / Correlation with the teacher’s SK 0,17 0,66 0,61 0,7 Изучение текста привело к умеренному увеличению диаметра (4,14 против 4,07 до изучения), хотя он по-прежнему существенно уступает диаметру у опытных читателей (4,86) и у преподавателя (6). Снизилась плотность структуры (0,22 против 0,239), сравнившись с плотностью у опытных читателей и приблизившись к плотности у преподавателя (0,2). В то же время средняя сила связи и максимальная степень графа мало изменились во втором замере школьников относительно первого. Это позволяет предположить, что указанные параметры мало зависят от оперативного изучения текста. Во втором замере в экспериментальной группе заметно выросла когерентность (0,54 против 0,43 в первом замере) и корреляция с СЗ преподавателя (0,70 против 0,61). С учетом небольшой выборки (в обоих замерах приняли участие 14 школьников) для проверки значимости этих сдвигов применялся непараметрический статистический критерий Вилкокосона (Т-критерий); за нетипичный сдвиг принималось уменьшение значения параметра после обучения. В случае когерентности, несмотря на заметное среднее улучшение, сильные положительные изменения у некоторых учеников сопровождались незначительными ухудшениями результатов у других, что не позволило получить статистическое подтверждение эффекта. В то же время по ключевому параметру корреляции со структурой преподавателя эффект обучения получился статистически значимым (результаты проверки приведены в табл. 4). Таблица 4 / Table 4 проверка достоверности сдвига корреляции структуры школьников к структуре преподавателя в результате обучения / Verification of the reliability of the shift in the correlation of the school students’ structure to the teacher’s structure as a result of teaching №/ N до / Before после / After сдвиг (tпосле - tдо) / Shift (tafter - tbefore) абсолютное значение сдвига / Shift absolute value ранговый номер сдвига / Shift rank number 1 0,553 0,634 0,081 0,081 8 2 0,791 0,763 -0,028 0,028 2 3 0,398 0,693 0,295 0,295 13 4 0,825 0,74 -0,085 0,085 9 5 0,287 0,567 0,28 0,28 12 6 0,174 0,66 0,486 0,486 14 7 0,737 0,769 0,032 0,032 3 8 0,786 0,833 0,047 0,047 5 9 0,549 0,621 0,072 0,072 7 10 0,818 0,758 -0,06 0,06 6 11 0,409 0,527 0,118 0,118 11 12 0,631 0,735 0,104 0,104 10 13 0,722 0,717 -0,005 0,005 1 14 0,571 0,614 0,043 0,043 4 Сумма рангов нетипичных сдвигов / Sum of ranks of atypical shifts 18 Проверялись следующие гипотезы: H0: Интенсивность сдвигов в типичном направлении не превосходит интенсивности сдвигов в нетипичном направлении. H1: Интенсивность сдвигов в типичном направлении превышает интенсивность сдвигов в нетипичном направлении. Эмпирическое значение критерия Тэмп = 18 ниже критического значения T = 25, подтверждающего гипотезу H1 на уровне p < 0,05. Связь этого сдвига с итоговыми оценками обучаемых не исследовалась, поскольку оценивание проводилось тем же преподавателем, чье понимание романа и привело к изменению в структурном знании школьников. обсуждение В предпринятом исследовании установлено, что извлекаемые с помощью метода PathFinder когнитивные структуры отражают уровень понимания испытуемыми изучаемого текста. Это проявляется в наличии или отсутствии в графах принципиально важных связей между героями, недооцененных или переоцененных связей, а также в выделении в качестве ключевых узлов структуры действительно ведущих персонажей романа. Хорошим структурам свойственны лаконичность, высокая сила связей, наличие длинных цепочек связей, баланс между древовидными и циклическими цепочками. Качество структуры хорошо отражается когерентностью матрицы связности - лучшие структуры обладают высокой когерентностью. Выявлено существенное различие группы школьников и группы опытных испытуемых. В последней группе значительно меньше «случайных» персонажей в ключевых узлах, существенно отличаются групповые средние по диаметру, когерентности и корреляции со структурой преподавателя. Часть школьников прошла повторный замер после окончания курса по роману. Качественно улучшился состав персонажей, отнесенных к медианам и вершинам с максимальным числом связей; существенно увеличились значения когерентности и корреляции со структурой преподавателя. Повышение корреляции (от 0,61 до 0,70) оказалось статистически значимым по непараметрическому ранговому Т-критерию Вилкоксона (p < 0,05). Этот центральный результат подтверждает возможность фиксировать объективной эффект обучения с помощью метода сетевого шкалирования. Вместе с тем не все характеристики выделяемых структур связаны с изучен ием текста и опытом его осмысления. Так, известно, что высокие значения диаметра отражают склонность испытуемых к длинным опосредованным связям в СЗ. Это отмечается в структуре преподавателя, в некоторых хороших структурах испытуемых, но в целом длина диаметра сильно колеблется во всех исследуемых группах (от 3 до 7) вне зависимости от уровня владения текстом. Наоборот, плотность графа во всех группах мало изменяется, в основном варьируя в пределах (0,20-0,23); средние значения по группам: 0,22 в сравнительной группе, 0,23 в первом и 0,22 во втором замере экспериментальной группы. Если учесть, что среднее значение плотности в эксперименте с романом «Анна Каренина» (14 героев против 15 в «Мастере и Маргарите») равно 0,20, можно предположить, что плотность характеризует типовое ментальное представление связного объекта при заданном числе признаков (Дозорцев, Миронова, 2020). Аналогично диаметру максимальная степень графа, отражающая склонность испытуемого выделять вершины, особенно сильно связанные с другими вершинами графа, существенно варьирует внутри всех групп, но средние групповые значения достаточно близки: 8,04 в сравнительной, 8,79 в первом и 9,21 во втором замере экспериментальной группы. По-видимому, эта характеристика структуры также не связана с уровнем понимания текста. Наконец, средняя сила связей в графе сама по себе не влияет на выделяемую в сетевом шкалировании структуру. Очевидно, что, если все оценки в исходной матрице связности масштабировать с одинаковым коэффициентом, структура графа не изменится. Как показано ранее, склонность к более сильным связям коррелирует с выявленной у испытуемых высокой уверенностью в себе вне зависимости от уровня понимания объекта (Дозорцев и др., 2014). Дефициты выявляемых структур относительно эталонных (например, структуры преподавателя) могут быть использованы в учебном процессе для предоставления обратной связи обучаемым, генерации специальных упражнений на проблемные характеристики СЗ, такие как избыточность структуры, пропущенные и ложные связи, сила и распространенность связей, др. Насколько известно авторам, представленное исследование стало первым, проведенным на основе метода PathFinder в группе школьников. Специфика испытуемых не только усложняла организацию эксперимента, но и открывала новые возможности для учебного процесса. Полученный опыт позволяет предположить, что в системе уроков первый замер можно использовать в качестве проверочного на знание текста, что обычно стимулирует школьников глубже ознакомиться хотя бы поверхностно с сюжетом и героями. Второй замер открывает дополнительные преимущества метода. По окончании занятий, посвященных роману, школьники могут увидеть изменения, произошедшие в их восприятии текста. Это положительно сказывается на мотивации учащихся во время уроков литературы в дальнейшем и повышает заинтересованность в предмете. Литература часто не входит в круг интересов школьников, изучающих углубленно IT-технологии, из-за отсутствия быстрого и наглядного результата труда. Чаще всего они практичные молодые люди, которым сложно работать только ради процесса. Метод PathFinder визуализирует результат их интеллектуального труда быстро, объективно, без больших затрат внеурочного времени преподавателя. Кроме того, использование цифровых технологий и математических методов обработки информации может оказаться дополнительной мотивацией для учеников, позволит увидеть межпредметные связи. В проведенном эксперименте испытуемым предъявлялся заранее определенный набор персонажей. В первом замере экспериментальной группы, с учетом достаточного слабого понимания испытуемыми изучаемого текста, действовать иначе было бы невозможно. В дальнейшем, если задача оценивания эффекта обучения перестанет быть основной, на определенном этапе занятий можно предложить учащимся самим выбрать персонажей нарратива. Такой подход, реализуемый учащимися самостоятельно, в группе или в коллективной классной работе по обоснованию и анализу извлекаемых структур, может существенно обогатить изучение произведения. Представляется, что применение полученных результатов целесообразно к изучению класса объектов сложной природы с неоднозначными меняющимися связями и поведением: помимо литературных текстов к ним могут быть отнесены непрерывные технологические процессы, живые организмы. Насколько это оправдано в других задачах, должны показать специальные исследования. выводы и задачи будущих исследований Методы субъективного сетевого шкалирования позволяют извлекать, представлять и анализировать структурное знание испытуемых об изучаемых объектах и таким образом повышают эффективность обучения за счет его индивидуализации и повышения объективности оценивания. В настоящей работе эти методы применяются к изучению сложных литературных произведений на примере романа М.А. Булгакова «Мастер и Маргарита». В проведенном эксперименте установлено, что показатели выделяемых методом PathFinder графических представлений испытуемых позволяют судить о текущем уровне сформированности знаний. Читатели с большим опытом освоения текста закономерно показывают существенно лучшие значения определенных показателей. Повторные испытания группы школьников по прохождению курса по роману выявили сближение их структурного знания со структурным знанием преподавателя, статистически значимое на уровне р < 0,05 по Т-критерию Вилкоксона. Способность инструментов сетевого шкалирования надежно фиксировать уровень и прогресс обучаемого в понимании изучаемого объекта позволяет использовать их для автоматизированной оценки обучения. В свою очередь, эта оценка становится основой корректировки обучения на индивидуальной основе. На основе выявленных дефицитов текущего уровня структурного знания могут создаваться специальные упражнения/задания, фокусно направленные на изменение представлений испытуемого. Также важна предоставляемая методом наглядная обратная связь обучаемым в форме сравнения их текущей структуры со структурой преподавателя или структурой других обучаемых при коллективной работе. Метод допускает несложную автоматизацию извлечения, представления и анализа СЗ, создание удобных и доступных инструментов для учеников, учителей и инструкторов. Во многих практических задачах, и в частности в учебном процессе, это качественно меняет производительность и эффективность обучения. Широкое практическое воплощение подхода требует дальнейшего теоретичного и экспериментального изучения в разных предметных областях. Исследование возможностей PathFinder для анализа структуры сложных текстов может быть расширено за счет классификации индивидуальных стилей представления СЗ, а также непосредственного изучения литературных произведений как процессов взаимодействия (ребра графа) между героями (вершины), что позволит выявлять «объективную» структуру текста и в дальнейшем использовать ее в обучении. Дальнейший перенос апробированного подхода в другие предметные области, например на обучение операторов технологических процессов, требует масштабного исследования, основанного на использовании высокоточных компьютерных тренажеров. Необходимо и обоснование возможности использовать выделяемое СЗ в качестве прогноза успеваемости обучаемых. Дополнительного внимания требуют дидактические приемы использования в учебном процессе выявляемых дефицитов СЗ: корректировка учебной программы, индивидуализация тренировочных упражнений и т. д. Неослабевающий интерес к теме оценки структурных знаний обучаемых и появляющиеся позитивные результаты пилотных исследований позволяют надеяться на возможность преобразования легко получаемых оценок попарной связности признаков изучаемого объекта в понимание заложенных в него принципов и смыслов, что откроет новые горизонты в обучении и тренинге.
×

About the authors

Victor M. Dozortsev

Digital Technology Center LLC

Author for correspondence.
Email: vdozortsev@mail.ru
ORCID iD: 0000-0002-3082-2879

Doctor of Engineering Sciences, Development Director

9 Godovikova St, building 17, Moscow, 129085, Russian Federation

Evgeniya A. Vishtal

Untitled bank

Email: vishtal.ea@phystech.edu
ORCID iD: 0009-0004-4072-1600

Bachelor of Applied Physics and Maths, Head of the Anti-Fraud Department

42A Shota Rustaveli St, Tashkent, 100070, Republic of Uzbekistan

Ekaterina S. Ashirova

St. Petersburg Gubernatorial Physics and Mathematics Lyceum 30

Email: nezabutkka@mail.ru
ORCID iD: 0009-0000-3293-1350

Master of Pedagogy, Teacher of Russian language and literature

8A Antonenko lane, St. Petersburg, 190000, Russian Federation

Anastasia S. Mironova

Yandex

Email: an.mironova.gml@gmail.com
ORCID iD: 0009-0002-3110-5908

Master of Applied Physics and Maths, product manager

16 Lev Tolstoy St, Moscow, 119034, Russian Federation

References

  1. Acton, W.H., Johnson, P.J., & Goldsmith, T.E. (1994). Structural knowledge assessment: Comparison of referent structures. Journal of Educational Psychology, 86(2), 303–311. https://doi.org/10.1037/0022-0663.86.2.303
  2. Amith, M., Cunningham, R., Savas, L.S., Boom, J., Schvaneveldt, R., Tao, C., & Cohen, T. (2017). Using pathfinder networks to discover alignment between expert and consumer conceptual knowledge from online vaccine content. Journal of Biomedical Informatics, 74, 33–45. https://doi.org/10.1016/j.jbi.2017.08.007
  3. Cañas, A. J., Hill, G., Carff, R., Suri, N., Lott, J., Gómez, G., Eskridge, T.C., Arroyo, M., & Carvajal, R. (2004). CmapTools: A knowledge modeling and sharing environment. Concept maps: Theory, methodology, technology. Proceedings of the First International Conference on Concept Mapping (vol. 1, pp. 125–133). Navarra: Universidad Publica de Navarra.
  4. Dozortsev, V.M., & Mironova, A.S. (2020). On the use of structural knowledge characteristics for transfer assessment in the training of industrial operators. Actual problems of psychology of labor, engineering psychology and ergonomics. Proceedings of the Scientific and Practical Seminar, (iss. 9, pp. 117–162). Moscow: Institute of psychology Russian academy of sciences. (In Russ.) https://doi.org/10.38098/ergo.2020.009
  5. Dozortsev, V.M., Oboznov, A.A., Nazin, V.A., Gutsikova, S.V., & Mironova, A.S. (2014). Forming operator’s conceptual understanding of process plant: an actual task and an objective result of computerized training. Automation in Industry, (12), 13-19. (In Russ.).
  6. Ericsson, K.A., & Simon, H.A. (1998). How to study thinking in everyday life: Contrasting think-aloud protocols with descriptions and explanations of thinking. Mind, Culture, and Activity, 5(3), 178–186. https://doi.org/10.1207/s15327884mca0503_3
  7. Furlough, C., & Gillan, D.J. (2020). Assessing the ability of multidimensional scaling and pathfinder networks to measure spatial knowledge. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 64(1), 303–307. https://doi.org/10.1177/ 1071181320641070
  8. Gardner, Н. (1983). Frames of mind: The theory of multiple intelligences. New York: Basic Books.
  9. Goldsmith, T.E., Johnson, P.J., & Acton, W.H. (1991). Assessing structural knowledge. Journal of Educational Psychology, 83(1), 88–96. https://doi.org/10.1037/0022-0663.83.1.88
  10. Gunstone, R.F. (1980). Word association and the description of cognitive structure. Research in Science Education, 10(1), 45–53. https://doi.org/10.1007/bf02356308
  11. Hagberg, A.A., Schult, D.A., & Swart, P.J. (2008). Exploring network structure, dynamics, and function using NetworkX. SciPy 2008. Proceedings of the 7th Python in Science Conference (pp. 11–15). Pasadena, CA: SciPy. https://doi.org/10.25080/tcwv9851
  12. Ifenthaler, D., Masduki, I., & Seel, N.M. (2011). The mystery of cognitive structure and how we can detect it: tracking the development of cognitive structures over time. Instructi­onal Science, 39(1), 41–61. https://doi.org/10.1007/s11251-009-9097-6
  13. Ifenthaler, D., Pirnay-Dummer, P., & Spector, J.M. (Eds.). (2008). Understanding models for learning and instruction: Essays in Honor of Norbert M. Seel. Springer New York.
  14. Johnson, P.J., Goldsmith, T.E., & Teague, K.W. (1995). Similarity, structure, and knowledge: A representational approach to assessment. In P.D. Nichols, S.F. Chipman, R.F. Brennan (Eds.). Cognitively Diagnostic Assessment (pp. 221–249). Mahwah, N.J: Lawrence Erlbaum Associates, Inc. https://doi.org/10.4324/9780203052969-10
  15. Jonassen, D.H. (1987). Assessing cognitive structure: Verifying a method using pattern notes. Journal of Research & Development in Education, 20(3), 1–14.
  16. Meyer, B. (2008). The effects of computer-elicited structural and group knowledge on complex problem solving performance. Ph.D. in Psychology Thesis. Berlin: Humboldt University Berlin. https://doi.org/10.5167/uzh-9204
  17. Nisbett, R.E., & Wilson, T.D. (1977). Telling more than we can know: Verbal reports on mental processes. Psychological Review, 84(3), 231–259. https://doi.org/10.1037/0033-295X.84.3.231
  18. Oboznov, A.A., Chernetskaya, E.D., & Bessonova, Y.V. (2013). Conceptual models of nuclear station in operators with different occupational length of service. Psikhologicheskii Zhournal, 34(4), 47–57. (In Russ.)
  19. Pirnay-Dummer, P., Ifenthaler, D., & Spector, J.M. (2010). Highly integrated model assessment technology and tools. Educational Technology Research and Development, 58(1), 3–18. https://doi.org/10.1007/s11423-009-9119-8
  20. Politowicz, M.S., Sato, T., Chancey, E.T., & Yamani, Y. (2022). Pathfinder networks for measuring operator mental model structure with a simple autopilot system. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 66(1), 883–887. https://doi.org/10.1177/1071181322661510
  21. Sanchez, S.M. (2021). Concept Sourcing for Mental Models: A Study of Mental Models & Expertise Using a Video Game Context. MS in Psychology Thesis. Raleigh, NC: North Carolina State University.
  22. Schvaneveldt, R.W., Durso, F.T., & Dearholt, D.W. (1989). Network structures in proximity data. In G.H. Bower (Eds.), Psychology of Learning and Motivation (vol. 24, pp. 249–284). New York: Academic Press, Inc. https://doi.org/10.1016/s0079-7421(08)60539-3
  23. Seel, N.M. (1999). Educational diagnosis of mental models: Assessment problems and tech­nology-based solutions. Journal of Structural Learning & Intelligent Systems, 14(2), 153–185.
  24. Shavelson, R.J. (1972). Some aspects of the correspondence between content structure and cognitive structure in physics instruction. Journal of Educational Psychology, 63(3), 225–234. https://doi.org/10.1037/h0032652
  25. Snow, R.E. (1989). Toward assessment of cognitive and conative structures in learning. Educational Researcher, 18(9), 8–14. https://doi.org/10.3102/0013189x018009008
  26. Trumpower, D.L., & Sarwar, G.S. (2010). Effectiveness of structural feedback provided by pathfinder networks. Journal of Educational Computing Research, 43(1), 7–24. https://doi.org/10.2190/ec.43.1.b
  27. Trumpower, D.L., & Vanapalli, A.S. (2016). Structural assessment of knowledge as, of, and for learning. In M. Spector, B. Lockee, M. Childress (Eds.), Learning, Design, and Techno­logy (pp. 1–22). Cham: Springer. https://doi.org/10.1007/978-3-319-17727-4_23-1
  28. Trumpower, D.L., Sharara, H., & Goldsmith, T.E. (2010). Specificity of structural assessment of knowledge. The Journal of Technology, Learning and Assessment, 8(5), 1–32.

Supplementary files

Supplementary Files
Action
1. JATS XML

Copyright (c) 2024 Dozortsev V.M., Vishtal E.A., Ashirova E.S., Mironova A.S.

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.