Digital Tools for Assessing Children's Mental Development: Validity in Visual Working Memory Testing
- Authors: Gavrilova M.N.1, Aslanova M.S.1, Airapetyan Z.V.1
-
Affiliations:
- Lomonosov Moscow State University
- Issue: Vol 21, No 3 (2024)
- Pages: 887-909
- Section: CURRENT TRENDS IN PERSONALITY RESEARCH
- URL: https://journals.rudn.ru/psychology-pedagogics/article/view/43763
- DOI: https://doi.org/10.22363/2313-1683-2024-21-3-887-909
- EDN: https://elibrary.ru/HDZWGI
- ID: 43763
Cite item
Full Text
Abstract
Diagnostics of mental development is a prerequisite for the timely identification of potential developmental risks and their correction in children of all ages. The development and implementation of digital versions of professional diagnostic methods will make it possible to ensure their availability, significantly reduce the procedural burden and improve the quality of the collected data. This study is aimed at assessing the diagnostic capabilities and psychometric characteristics of the digital version of the NEPSY II battery subtest: Memory for Designs. The study was conducted according to an intra-individual scheme on a sample of 62 preschool children. The sample was divided into two groups depending on the sequence of the traditional and digital versions of the methodology. The results confirmed the high consistency and internal reliability of both versions. Medium and strong positive correlations between the indicators of the method were found, regardless of the method of presentation. No significant differences were recorded in the results of visual working memory diagnostics depending on the form of the presented method. The results obtained open up new prospects for further research in the field of child development; in particular, they allow large-scale screening studies using the digital version of the methodology. However, it is important to remember that each digital tool must undergo a testing procedure before being used in large-scale screening studies, which includes a more detailed assessment of its psychometric properties and ergonomics.
Full Text
Введение Цифровые версии традиционных методов диагностики когнитивных способностей в детском возрасте Диагностика когнитивного развития в детском возрасте проводится с использованием различных методов, включающих стандартизованные оценочные шкалы, наблюдение, а также интервью и беседы с детьми. Применение стандартизованных шкал - наиболее универсальный из перечисленных методов. В сравнении с методами наблюдения и беседы, стандартизованные шкалы более объективны, так как минимизируют вклад экспериментатора в результат, кроме того, как правило, сокращают временные затраты в ходе эксперимента и при обработке результатов, в связи с этим использование стандартизованных шкал выглядит более предпочтительным при проведении исследований. Традиционно диагностика когнитивного развития детей предполагает применение экспериментатором диагностических бланков или стандартизованных протоколов (Glozman, Plotnikova, 2021). Однако в последние десятилетия появляется все больше исследований, демонстрирующих преимущества цифровых версий традиционных методик (Williams & McCord, 2006; Pind et al, 2003; Luciana, 2003; Vrana & Vrana, 2017; Веракса и др, 2023, Веракса, Чичинина, 2022; Веракса и др., 2022). Было показано (Xanthopoulou et al., 2019), что для современных детей, выросших в цифровой среде, взаимодействие с сенсорными экранами более предпочтительно, так как цифровые диагностические инструменты (ЦДИ) включают интерактивные элементы, которые могут повысить их привлекательность в глазах детей по сравнению с традиционными инструментами. Кроме того, ЦДИ могут быть визуально более интересными для детей в сравнении с традиционными диагностическими инструментами, так как содержат цветные иллюстрации, анимацию и графику, которые помогают удержать внимание и поддержать интерес детей (Butcher et al., 2000). Многие цифровые диагностические приложения используют системы наград и поощрений для детей, что может стимулировать их к достижению лучших результатов. Например, анализ предпочтений традиционного бумажного или же компьютеризованного тестирования одних и тех же предметных знаний показал, что дети демонстрируют бóльшую мотивацию при прохождении компьютеризованной версии (Sim & Horton, 2005). Кроме того, ЦДИ могут адаптироваться под уровень знаний каждого ребенка. Применение цифровых версий традиционных методик в процессе диагностики имеет ряд преимуществ и для организации исследования. Так, использование цифровых методов позволяет избавить экспериментатора от выполнения большого количества рутинных процедур, что существенно сокращает время на сбор и обработку данных и снижает число ошибок (Luciana & Nelson, 200; Raiford et al., 2016). Цифровые версии методик диагностики могут использоваться на любом устройстве с доступом в Интернет, что делает их более доступными по сравнению с классическими стимульными материалами. Важно также то, что объяснение инструкции ребенку при использовании цифровой версии всегда будет одинаковым, снижая влияние экспериментатора. Помимо указанных преимуществ цифровые методики предоставляют возможность фиксации дополнительных переменных. Впервые об этом заговорили при адаптации компьютерных версий личностных методик. Так, например, показано, что в тесте Айзенка (Червинская, 2003) время, затрачиваемое респондентами на каждый ответ, может говорить об уровне их беспокойства (считается, что там, где оно выше, респондент затрачивает больше времени на ответ). Переход от традиционных методов диагностики к использованию их цифровых версий предполагает сложную процедуру не только разработки методики, но и ее адаптации. Существует немало случаев, когда цифровая версия оказывается неэквивалентна своему традиционному аналогу (Бабанин, 2010). Так, для соотнесения цифровой версии методики с традиционной необходимо, чтобы цифровая версия прошла процедуру валидизации, в рамках которой будет оценена ее валидность, ретестовая надежность, а также чувствительность к возрастным изменениям. С точки зрения психометрики, эквивалетность цифровой и традиционной версий методики может быть установлена только тогда, когда на одной и той же группе испытуемых показателям версий методик могут быть проставлены одинаковые ранги (Бабанин, 2010). Таким образом, цифровая версия традиционных методов может быть крайне полезной для психологической диагностики. Однако, как и с любым другим методом диагностики, необходимо учитывать ряд факторов, включая особенности самого тестирования, его пригодность к созданию цифровых версий, а также индивидуальные особенности каждого ребенка. Зрительная рабочая память Текущее исследование направлено на оценку диагностических возможностей и психометрических характеристик цифровой версии субтеста батареи The NEPSY II - «Память на конструирование» (Memory for Designs) (Korkman et al., 2007, Веракса и др., 2020), с помощью которой проводится оценка зрительной рабочей памяти у детей. Рабочая память - один из трех основных когнитивных навыков, обеспечивающих поведенческую регуляцию наряду со сдерживающим контролем и когнитивной гибкостью согласно концепции регуляторных функций М. Мияке (Miyake et al., 2000). Рабочая память является основой для развития и обучения ребенка, поскольку предполагает использование информации, которая на момент действия уже недоступна для непосредственного восприятия (Miyake et al., 2000; Diamond & Lee, 2011). Рабочая память связана со способностью удерживать внимание и скоростью обработки информации. Поэтому чаще всего диагностика зрительной рабочей памяти осуществляется путем предъявления незнакомых ребенку визуальных паттернов с задачей последующего их воспроизведения или узнавания. СОВРЕМЕННЫЕ ТЕНДЕНЦИИ ИССЛЕДОВАНИЙ ЛИЧНОСТИ И ИНДИВИДУАЛЬНОСТИ Результаты ряда исследований подтверждают, что в реализации произвольной регуляции поведения ключевая роль отводится развитию рабочей памяти и торможения (Barkley 2001; Solovieva, Quintanar, 2015; Моросанова, 2021). Показано, что рабочая память в значительной степени связана с флюидным интеллектом. Однако вопрос, касающийся определения механизмов и детерминант этих связей, до сих пор является дискуссионным. Согласно результатам двух независимых исследований Э. Кануэй и Р. Кейна было показано, что рабочая память и флюидный интеллект взаимосвязаны посредством контроля внимания (Conway et al., 2002; Kane et al., 2004; Colom et al., 2008; Jaeggi et al., 2011; Otero, 2017). Также рабочая память оказывается взаимосвязана с речевым развитием (Веракса и др., 2019). Зрительно-пространственная рабочая память выступает предиктором развития словарного запаса и представлений о грамматической структуре предложений (Verhagen, Leseman, 2016). Подходы к оценке зрительной рабочей памяти. Для оценки зрительной рабочей памяти в современной науке применяется несколько методологических подходов. Выбор методик измерения определяется теоретической моделью, которой руководствуются исследователи. В зависимости от нее используют различные способы и методы измерения объема и показателей функционирования рабочей памяти. Зачастую разрабатывается экспериментальная ситуация, ориентированная на измерение различных аспектов рабочей памяти. Для измерения зрительной рабочей памяти чаще всего в качестве стимульного материала предъявляется не специально организованная последовательность зрительных стимулов, которую испытуемый должен воспроизвести после предъявления, а симультанное кодирование образа сцены, представляющее собой систему объектов и их пространственного взаиморасположения. Для снижения влияния на результаты измерения вербального компонента рабочей памяти используются трудно вербализуемые стимулы, например, широко применяется метод «обнаружения изменений» (change detection) (Luck, Vogel, 1997). В классическом варианте метода испытуемому на короткое время предъявляют набор, состоящий из 1-12 объектов, а далее после исчезновения соответствующей сцены от наблюдателя требуется в течение 900 мс удерживать информацию об образе в памяти. После повторно предъявляется либо начальный набор в неизменном виде, либо с изменением одного из элементов сцены. Испытуемому необходимо определить, произошло ли изменение. П. Уилкен и В.-Дж. Ма (2004) предложили альтернативу вышеописанного метода - метод «градуального отчета» (continuous report), предполагающий такую организацию экспериментальной задачи, при которой испытуемому на короткое время предъявляется сцена, содержащая некоторый набор объектов в разном количестве (Wilken, Ma, 2004). Далее следует пустой интервал, после которого испытуемому предъявляется схема сцены-образца, пространственное положение элементов на которой неизменно, но отсутствуют целевые признаки объектов, которые испытуемому предлагается вспомнить. Данный метод позволяет оценить память на отдельные объекты и точность воспроизведения. Впоследствии, В. Жань и С. Лак был предложен метод анализа данных, собранных с применением техники «градуального отчета». Этот метод, известный как метод градуального отчета с моделью смешения (Zhang, Luck, 2008), дает возможность оценить как точность, так и емкость зрительной рабочей памяти при помощи анализа распределения ответов. В своем исследовании В. Вуонтела с коллегами при изучении особенностей аудиопространственной и зрительно-пространственной рабочей памяти на неклинической выборке детей школьного возраста с использованием заданий непрерывного выполнения (n-back) в условиях предъявления стимулов в цифровом формате на компьютере обнаружили, что показатели слуховой и зрительной рабочей памяти у детей школьного возраста улучшаются с возрастом, что свидетельствует о функциональном созревании основных когнитивных процессов и структур мозга (Vuontela et al., 2003). Исследователи также отмечают, что парадигма задачи непрерывного выполнения, предполагающая наличие заданий на непрерывное распознавание, в котором участники должны определить, предъявлялся ли стимул ранее в определенных условиях, оказалась подходящим инструментом для изучения когнитивных процессов у детей с типичным развитием школьного возраста (Vuontela et al., 2003). Инструменты измерения рабочей памяти, включающие задачи непрерывного выполнения, демонстрируют более высокие корреляции с заданиями, которые охватывают другие психические конструкты. Так, обнаруживается наличие значимых взаимосвязей с показателями интеллекта, в частности с флюидным интеллектом, измеренным с помощью продвинутых прогрессивных матриц Равена (Colom et al., 2008; Jaeggi et al., 2010). Одним из широко используемых стандартизированных компьютеризированных нейропсихологических методов измерения когнитивных функций, содержащих субтест, позволяющий измерить объем зрительно-пространственной рабочей памяти (Spatial Span, SSP), является Кембриджская автоматизированная батарея нейропсихологических тестов Cambridge Neuropsychological Test Automated Battery (CANTAB) (Fray et al, 1996). Субтест SSP основан на тесте Корси (Corsi Blocks), разработанной Милнером (Milner, 1971). В каждой из серий на экране появляется 10 белых прямоугольников, цвет которых изменяется в определенной последовательности. После испытуемому необходимо воспроизвести последовательность изменения цветов. В исследовании возможностей применения батареи нейропсихологических тестов CANTAB у детей было продемонстрировано что цифровая версия теста Корси (Corsi blocks), является подходящим инструментом для измерения объема зрительно-пространственной памяти у детей в возрасте 12 лет (Syväoja et al, 2015). Для измерения зрительной и зрительно-пространственной рабочей памяти у детей наиболее распространенным методом является субтест «Память на конструирование» (Memory for design) детской батареи нейропсихологических методик NEPSY-II (Korkman et al., 2007). Данная методика адаптирована в различных странах (Rosenqvist et al, 2017) и используется в нейропсихологической оценке как детей с типичным развитием, так и детей, имеющих различные расстройства и аномалии развития. Перечисленные подходы к измерению зрительной рабочей памяти имеют свои преимущества и ограничения. Так, метод «обнаружения изменений» позволяет измерить объем зрительной рабочей памяти, однако критики данного подхода указывают на то, что достоверность оценки объема памяти может зависеть от совмещения в задаче процессов припоминания общей сцены и каждого отдельного элемента (Wilken, Ma, 2004). Метод «градуального отчета» и «градуального отсчета с моделью смешения» позволяют исключить влияние комбинации этих факторов, при этом второй вовсе способствует более точному разделению определения объема и точности зрительной рабочей памяти (Уточкин и др., 2016). Компьютеризированные методы диагностики зрительной рабочей памяти, как показывает ряд исследований, являются адекватными инструментами. Подобный формат предъявления стимульного материала позволяет снизить эффекты условий проведения исследования и влияние экспериментатора, так как наиболее точно контролируются временные промежутки предъявления стимулов, что является важным аспектом при измерении характеристик рабочей памяти. С другой стороны, как отмечается в других статьях, направленных на анализ и сравнение средств диагностики когнитивных функций, материал, представленный в цифровом формате, в зависимости от типа устройства может отличаться по размеру, разрешению и другим аудиовизуальным параметрам, влияние которых может в конечном итоге сказаться на результатах тестирования (Ruffini et al., 2022). Л. Хардер c коллегами, сравнивая применение психологических методик в очном формате и с применением информационных технологий, не выявили значимых различий в отношении диагностики исполнительных функций, в том числе рабочей памяти, вербальных способностей, скорости обработки информации, зрительно-моторной интеграции (Harder et al., 2020). Кроненбергер и коллеги в одной из своих работ показали, что существуют значимые связи между применением цифровых и бумажных методов измерения рабочей памяти, кроме задания на обратное повторение цифр (Kronenberger et al, 2021), что также свидетельствует о взаимозаменяемости бумажной и цифровой версий тестирования. В статье C. Робинсона и Дж. Брюера была показана эквивалентность традиционных и планшетных версий двух когнитивных задач: «Ханойской башни» и теста Корси (Robinson, Brewer, 2016). Производительность в задачах на планшете была связана с производительностью в традиционной деревянной версии, а планшетные и традиционные версии задач «Ханойская башня» и тест Корси не различались по ключевым показателям результата. В рамках работ, проводимых на основании концепции саморегуляции М. Мияке в качестве основного инструмента оценки зрительной рабочей памяти, выступает субтест батареи The NEPSY II - «Память на конструирование». При апробации данной методики на российской выборке была продемонстрирована высокая конструктная валидность (Алмазова и др., 2019). Методика включает 4 задания различной сложности, в которых ребенок должен запомнить показанную в течении 10 секунд картинку, а после выбрать и расположить на специальной рамке (4×4 клетки) разноцветные карточки с изображениями в той же конфигурации, в которой они были расположены на предъявляемой изначально картинке. Набор карточек для выбора включает карты дистракторы. Многолетний опыт применения традиционной версии методики на русскоязычной выборке дошкольников и младших школьников позволяет получать надежные данные, на основании которых были рассчитаны и опубликованы возрастные нормы для детей дошкольного возраста (Алмазова и др., 2020; Веракса и др., 2020). Цель нашего исследования заключается в оценке психометрических свойств цифровой русскоязычной версии методики «Память на конструирование» посредством сравнения с традиционной бланковой версией для обоснования пригодности ее практического использования. (Korkman et al., 2007; Веракса и др., 2020) (подробнее см. далее, в разделе «Процедура и методы»). Внедрение цифровой версии методики «Память на конструирование» позволит автоматизировать и унифицировать процедуру диагностики, что, в свою очередь, обеспечит получение набора данных, позволяющего изучать закономерности формирования и развития зрительной рабочей памяти у детей из разных регионов России, уравнивая условия их диагностики. Кроме того, использование цифровой версии позволит предотвратить ошибки, связанные с подготовкой стимульных материалов к диагностике. Процедура и методы исследования Участники исследования. Участниками исследования стали 62 ребенка (мальчики - 53,4 %) в возрасте от 5 до 6 лет (Мвозраст = 68,1 мес.; SD = 4,08) из двух старших групп детского сада, расположенного в спальном районе г. Москвы. Гендерный состав групп был сбалансированным (χ2 = 0,658; р = 0,817). Процедура. Для изучения роли версии применяемой методики было проведено исследование с использованием интраиндивидуальной схемы. Испытуемые из двух групп детского сада дважды проходили диагностику зрительной рабочей памяти с интервалом в один месяц. В первой группе (N = 29) участники сначала выполняли задания с использованием традиционной методики, а затем, через месяц, с применением ее цифровой версии. Вторая группа (N = 33) проходила тестирование в обратном порядке: сначала с цифровой, а затем с традиционной методикой. Такой подход позволил контролировать возможный эффект переноса. Для минимизации влияния других факторов условия проведения тестирования в обеих группах были унифицированы: с детьми работали одни и те же экспериментаторы, и все обследования проводились в идентичных тихих помещениях. Психодиагностический инструментарий. Методика «Память на кон струирование» позволяет оценить зрительно-пространственную память детей дошкольного и младшего школьного возраста (Korkman et al., 2007; Веракса и др., 2020; Veraksa, Almazova, & Bukhalenkova, 2020). Методика представляет собой рисуночный тест, состоящий из четырех проб. В каждой пробе ребенку демонстрируется для запоминания рамка с изображенными на ней карточками (от 4 до 10 карточек: в зависимости от возраста ребенка количество увеличивается с каждым предъявлением), время визуального предъявления которых составляет 10 секунд. После демонстрации каждой серии карточек ребенку необходимо выбрать верное количество подходящих карточек из общего набора, включающего карточки-дистракторы, и расположить их на пустой рамке, воспроизводя исходную композицию. В текущем исследовании методика предъявлялась в двух форматах: традиционном и цифровом. Проведение традиционной версии методики «Память на конструирование» предполагает индивидуальное взаимодействие с каждым ребенком в ходе диагностики. Проведение диагностической процедуры предполагает использование набора цветных карточек, изображений рамок с карточками, пустую рамку и протокол для фиксации ответов детей. Для детей старшего дошкольного возраста специалист готовит 4 стопки карточек в порядке их предъявления: 1-8, 9-10, 11-12, 13-16, а также 2 ознакомительные карточки для проведения инструктажа. Предъявляя 2 ознакомительные карточки, специалист произносит инструкцию: «Посмотри на эту рамку (показывает пустую рамку с 16 пустыми ячейками). Она такая же как на этой странице (показывает рамку, на которой 2 ознакомительные карты изображены в 2 ячейках рамки (рис. 1)). А эти две карточки (показывает 2 ознакомительные карты) точно такие же, как нарисованы на странице. Если мы положим их на пустую рамочку здесь и здесь, то рамочка будет выглядеть точно также, как рисунок на странице (кладет карточки в ячейки на пустой рамке так, чтобы она стала идентична предъявляемой)». После того, как специалист убедился в понимании ребенком инструкции, он переходит к тестовым заданиям[3]. Рис. 1. Ознакомительное задание методики «Память на конструирование» Figure 1. Introductory task of the technique “Memory for designs” И с т о ч н и к / S o u r s e : https://xn--80adjab2be3ahdhe.xn--p1ai/personal_student/bank/ Во время предъявления первого задания специалист озвучивает инструк цию: «Сейчас я покажу тебе страницу с 4 картинками. Посмотри внимательно на картинки и запомни, какие они и где находятся. Потом я закрою страницу и дам тебе 8 карточек. Из них тебе нужно будет выбрать 4 карточки и положить каждую карточку на рамку (показывает пустую рамку с 16 пустыми ячейками) так, как она была нарисована на странице». Далее специалист готовит секундомер и стопку карточек для задания (8 карт: 4 верных и 4 дистрактора) и открывает стимульное изображение с определенным порядком карт со словами: «Посмотри внимательно на картинки и запомни, какие они и где находятся (включает секундомер)». Через 10 секунд специалист закрывает изображение и располагает 8 карт перед ребенком, произнося: «А теперь выбери те карточки, которые ты видел на странице, и разложи их на этой рамке так, как они были нарисованы на странице». Когда 4 карты разложены, специалисту нужно убедиться, что это окончательный ответ ребенка. Прежде чем двигаться к следующему заданию, специалист заносит номера выбранных карточек в протокол в соответствии с их положением на рамке. Три последующих задания проходят по тому же алгоритму, но количество карт на рамке, а также количество карт, предъявляемых ребенку, в каждом задании увеличивается[4]. По итогам прохождения методики ребенок получает баллы: 1) за содержание (максимум 48 баллов) - за каждую правильно выбранную карточку при любом ее расположении, 2) за расположение (максимум 24 балла) - за любую карточку, помещенную в ту же ячейку, что на образце и 3) бонусные баллы (максимум 48) - за верно выбранную карточку, помещенную в ту же ячейку, что на образце. Общая оценка зрительной рабочей памяти складывается из суммы баллов перечисленных показателей (максимальный балл - 120). Таким образом, в традиционной версии методики специалисту требуется озвучивать инструкцию, следить за порядком карточек, заполнять сложный протокол, верно фиксируя номера карт, а в последствие отдельно считать баллы по сложному алгоритму. Цифровая версия методики «Память на конструирование» предъявляется каждому ребенку в ходе индивидуальной встречи на планшете диагональю не менее 9,7 дюйма (рис. 2). Исследовательская процедура преподносится ребенку в виде цифровой интерактивной игры, в которой интегрированы стимульные материалы и вербальные mp-3 инструкции. Переходы между заданиями и экспозиция стимульных изображений, а также отсчет времени 10-секундно го предъявления происходят в автоматическом режиме. Запись выборов испытуемого и подсчет результатов производятся на основании реализованного алгоритма. Роль диагноста заключается в предварительном установлении контакта с ребенком, разъяснении процедуры исследования (позиционирования ее как «игры»), запуске цифровой версии методики, а также наблюдении за ходом ее выполнения. В случае необходимости диагност также осуществляет своевременное реагирование на комментарии ребенка, и/или оказывает помощь (например, при подсчете количества карт, размещенных на рамке). Рис. 2. Пример экрана цифровой версии методики «Память на конструирование» Figure 2. A screen of the digital version of the technique “Memory for designs” И с т о ч н и к / S o u r s e : https://xn--80adjab2be3ahdhe.xn--p1ai/personal_student/bank/ Для анализа данных после предварительного подтверждения нормальности распределения (критерий Шапиро - Уилка, p > 0,05) был выполнен ряд статистических процедур: 1) оценка надежности и внутренней согласованности результатов диагностики, полученных с использованием цифровой и традиционной версий методики «Память на конструирование», на основе вычисления коэффициента α Кронбаха; 2) исследование взаимосвязи между результатами детей, полученными при использовании цифровой и традиционной форм методик, при помощи корреляционного анализа Спирмена; 3) попарное сравнение результатов, полученных при использовании цифровой и традиционной версий в связанных выборках. Величина эффекта оценивалась с помощью коэффициента d-Коэна. Результаты На первом этапе была проведена апробация цифровой версии методики «Память на конструирование (Memory for designs). Оценка надежности и внутренней согласованности показала, что в группе, где сначала применялась цифровая версия методики, а затем традиционная, значения α Кронбаха для всех анализируемых шкал (содержание, расположение, бонус и общий балл) варьировались от 0,828 до 0,851. В группе с обратным порядком предъявления (сначала традиционная, затем цифровая версия), значения α Кронбаха находились в диапазоне от 0,628 до 0,779. На основании этих данных можно сделать вывод о достаточной согласованности и внутренней надежности обеих версий методики. На следующем этапе были оценены корреляции между измеряемыми показателями (Ro Спирмена). Для выявления возможных функциональных взаимосвязей особый интерес представлял корреляционный анализ связей показателей, полученных в различных форматах методики, с итоговыми результатами обоих тестирований. Наблюдаемые средние и сильные положительные корреляции между показателями, полученными на общей выборке (Ro ϵ [0,417 до 0,748], p < 0,05), (табл. 1) свидетельствуют о том, что у детей, получивших высокие баллы при первом тестировании, были высокие баллы и при повторном тестировании, независимо от версии предъявляемой методики. Корреляционный анализ связей между показателями, полученными в разных версиях методики, и итоговыми показателями обоих предъявлений также выявил положительные корреляции (Ro ϵ [0,667 до 0,674], p < 0,001), что подтверждает наличие функциональной взаимосвязи показателей. Для дальнейшего анализа мы сравнили средние значения результатов прохождения диагностики попарно для обеих групп, применив t-критерий Стьюдента для связанных выборок (см. табл. 1). Величина эффекта была оценена с помощью коэффициента d Коэна. Средние значения, полученные в данном исследовании, полностью соотносятся с возрастными нормами, установленными для детей дошкольного возраста в предшествующем исследовании на основании диагностики традиционными методиками (Веракса и др., 2020). Значимых различий между измеряемыми показателями в зависимости от формы предъявления методики выявлено не было (t-критерий Стьюдента, p > 0,05). Величина эффекта d Коэна ϵ [-0,097 до -0,824]. Таблица 1 / Table 1 Оценка различий между показателями методики «Память на конструирование» в цифровой и традиционной версиях (t-критерий Стьюдента для парных выборок) / Differences between the indicators of the “Memory for designs” technique in digital and traditional versions (Student’s t-test for paired samples) Показатели методики / Indicators of the technique Коэффициент корреляции, уровень значимости/ Correlation coefficient, p-level M SD Оценка достоверности различий (t-критерий Стьюдента, уровень значимости) / Assessing the significance of differences (Student’s t-test, p-level) d Коэна / Cohen’s d Содержание (цифровая) - Содержание (традиционная)/ Content (digital) - Content (traditional) Ro = 0,709 p = 0,033 35,3 6,6 -1,286 0,234 -0,336 37,1 5,2 Расположение (цифровая) - Расположение (традиционная)/ Spatial (digital) - Spatial (traditional) Ro = 0,659 p = 0,003 29,6 4,8 -1,006 0,439 -0,100 30,1 5,1 Бонус (цифровая) - Бонус (традиционная)/ Bonus (digital) - Bonus (traditional) Ro = 0,789 p = 0,011 16,2 10,7 -1,452 0,185 -0,349 20,8 15,2 Итоговый балл (цифровая) - Итоговый балл (традиционная)/ Total score (digital) - Total score (traditional) Ro = 0, 784 p = 0,012 75,5 16,1 -0,544 0,601 -0,134 78,2 23,4 Содержание (традиционная) - Содержание (цифровая) / Content (traditional) - Content (digital) Ro = 0,691 P < 0,001 34 5,59 -1,363 0,222 -0,268 35,4 4,82 Расположение (традиционная) - Расположение (цифровая) / Spatial (traditional) - Ro = 0,453 p = 0,028 30,7 5,16 -0,234 0,678 -0,097 31,2 5,09 Бонус (традиционная) - Бонус (цифровая) / Bonus (traditional) - Bonus (digital) Ro = 0,563 p = 0,018 12 6,53 -1,726 0,135 -0,824 18,1 8,18 Итоговый балл (традиционная) - Итоговый балл (цифровая) / Total score (traditional) - Total score (digital) Ro = 0, 674 p = 0,041 78,3 12,2 -0,789 0,509 -0,131 80,1 15,1 Обсуждение Зрительная рабочая память занимает важную роль в концепции саморегуляции поведения (Miyake et al., 2000). Одним из инструментов ее оценки выступает субтест батареи The NEPSY II - «Память на конструирование». Раннее применение данной методики на выборке российских дошкольников подтвердило ее высокую конструктную валидность (Алмазова и др., 2019). Традиционно методика проводится в бланковой форме и требует включенности экспериментатора при подготовке и предъявлении стимульных материалов, озвучивании инструкции, ведении и корректной обработке протоколов, а также внесении данных, если речь идет об обследовании большого количества детей. Таким образом, на каждом из перечисленных этапов, присутствует вероятность возникновения ошибок, связанных с действиями экспериментатора. Применение цифровой версии методики способно минимизировать эти риски, снимая с экспериментатора нагрузку при проведении методики и обработке данных. Результаты текущего исследования показали, что цифровая версия методики «Память на конструирование» имеет высокие показатели надежности (α Кронбаха [0,628 до 0,875]) и конструктной валидности (Ro Спирмена, p < 0,05), что говорит о возможности ее применения в качестве диагностического инструмента. Так как методика не требует от ребенка вербальных ответов, создания изображений / графиков или сложного манипулирования предметами, мы можем сравнивать полученные результаты с результатами апробации цифровых версий других диагностических методик. Так, высокие показатели надежности и валидности были получены при апробации цифровых версий цветных прогрессивных матриц Равена (Williams & McCord, 2006; Pind et al., 2003), ряда субтестов теста Векслера (Vrana & Vrana, 2017), различных вариантов предметных тестов (Luciana, 2003), а также при апробации методики диагностики когнитивной гибкости дошкольников (Веракса и др., 2023). Применение цифровых диагностических инструментов позволяет выводить исследования на новый уровень, создавая возможность фиксировать и учитывать в дальнейшем дополнительные переменные, включение которых при тестировании традиционными бланковыми методиками затруднительно, а в ряде случаев невозможно. Так, фиксация времени при проведении диагностики зрительной рабочей памяти может выступать показателем утомляемости ребенка, по аналогии с фиксацией времени в цифровой версии теста Айзенка, где большее время ответа могло свидетельствовать о большем беспокойстве респондентов (Червинская, 2003). Нельзя оставить без внимания, что цифровые версии опросов, используемые повсеместно, в том числе с применением специализированных сервисов, не могут быть в полной мере аналогичными цифровым версиям диагностических методик, включающим зачастую сложные мультимедийные элементы (Ермаков, 2016). Однако именно это создает возможности для реализации в перспективе психодиагностических мультимедийных систем или приложений для диагностики, включающих сразу несколько методик со сложной графикой и голосовыми инструкциями по аналогии с цифровой батареей тестов CANTAB (Fray et al, 1996). Использование цифровых инструментов диагностики сопряжено с рядом сложностей. Так, повсеместное внедрение цифровых диагностических методик требует от испытуемых и экспериментаторов хотя бы базового уровня владения техническими средствами (компьютерами, планшетами и т.д.). Необходимо учитывать, что любая компьютерная версия пусть даже традиционных тестов, является новым инструментом, который подлежит освоению (Бабанин, 2010). Помимо этого, при адаптации ряда методик, например, цветных прогрессивных матриц Равена (Williams & McCord, 2006), было показано, что «цифровая тревожность» также может оказывать влияние на результаты. Заключение Диагностика психического развития является необходимым условием для своевременного выявления потенциальных рисков развития и их коррекции у детей всех возрастов. Разработка и внедрение цифровых версий методик способна, с одной стороны, обеспечить доступность профессиональных диагностических инструментов специалистам в области детского развития, с другой - существенно облегчить процедуру обследования. Результаты исследования показали, что диагностические возможности и психометрические характеристики цифровой версии субтеста батареи The NEPSY II - «Память на конструирование» не уступают традиционной бланковой версии. Результаты текущего и предыдущих исследований позволяют говорить о возможности перехода к использованию цифровых методик диагностики когнитивного развития детей, объединяющих в себе целые диагностические батареи. Такой переход открывает широкие перспективы для проведения научной работы: массивы данных, полученные с применением цифровых средств, унифицированы и избавлены от ряда ошибок, связанных с необходимостью обработки протоколов экспериментаторами. Также применение таких систем позволит создать одинаковые условия диагностики для детей, приводя к единому виду инструкции и стимульные материалы, что выведет исследования из лабораторий, расширяя их территориальные границы. Помимо этого, мультимедийные системы, привычные для современных детей, растущих в эпоху цифровизации, создают у них ощущение игры, что позволяет нивелировать или снизить такую угрозу валидности исследования, как реакция на тестирование. Однако данные, полученные с применением цифровых средств, требуют выработки собственных возрастных норм или соотнесения с имеющимися, а это длительный и ресурсозатратный процесс. Текущее исследование не избавлено от ряда ограничений. Так, в нем не были оценены показатели ретестовой надежности цифровой версии методики и ее чувствительность к возрастным изменениям. В дальнейшем можно дополнить работу изучением связей показателей методики «Память на конструирование» с результатами других методик для подтверждения внешней валидности. Интересным также является такое исследовательское направление, как сравнительный анализ реакции детей на проведение традиционной методики и ее цифровой версии.About the authors
Margarita N. Gavrilova
Lomonosov Moscow State University
Email: gavrilovamrg@gmail.com
ORCID iD: 0000-0002-8458-5266
SPIN-code: 6955-9705
Ph.D. in Psychology, Junior Researcher of the Department of Psychology of Education and Pedagogy
1 Leninskie Gory, Moscow, 119991, Russian FederationMargarita S. Aslanova
Lomonosov Moscow State University
Author for correspondence.
Email: simomargarita@ya.ru
ORCID iD: 0000-0002-3150-221X
SPIN-code: 3764-4682
Researcher of the Department of Psychology of Education and Pedagogy
1 Leninskie Gory, Moscow, 119991, Russian FederationZlata V. Airapetyan
Lomonosov Moscow State University
Email: zlata.a.v@yandex.ru
ORCID iD: 0000-0002-4466-9799
Junior Researcher of the Department of Psychology of Education and Pedagogy
1 Leninskie Gory, Moscow, 119991, Russian FederationReferences
- Almazova, O. V., Bukhalenkova, D. A., & Veraksa, A. N. (2019). Assessment of the level of development of executive functions in the senior preschool age. Psychology. Journal of Higher School of Economics, 16(2), 302–317. (In Russ.) https://doi.org/10.17323/1813-8918-2019-2-302-317
- Babanin, L. N. (2010). The problem of equivalence of traditional and computerized psychological techniques. In V. A. Barabanshchikov (Ed.). Experimental Psychology in Russia: Traditions and Prospects (pp. 77–80). Moscow: Institute of Psychology of Russian Academy of Sciences. (In Russ.)
- Barkley, R. A. (2001). The executive functions and self-regulation: An evolutionary neuropsychological perspective. Neuropsychology Review, 11(1), 1–29. https://doi.org/10.1023/a:1009085417776
- Butcher, J. N., Perry, J. N., & Atlis, M. M. (2000). Validity and utility of computer-based test interpretation. Psychological Assessment, 12(1), 6–18. https://doi.org/10.1037/1040-3590.12.1.6
- Chervinskaya, K. R. (2003). Computer psychodiagnostics. Saint Petersburg: Rech' Publ. (In Russ.)
- Colom, R., Abad, F. J., Quiroga, M.Á., Shih, P. C., & Flores-Mendoza, C. (2008). Working memory and intelligence are highly related constructs, but why? Intelligence, 36(6), 584–606. https://doi.org/10.1016/j.intell.2008.01.002
- Conway, A. R. A., Cowan, N., Bunting, M. F., Therriault, D. J., & Minkoff, S. R. B. (2002). A latent variable analysis of working memory capacity, short-term memory capacity, processing speed, and general fluid intelligence. Intelligence, 30(2), 163–183. https://doi.org/10.1016/s0160-2896(01)00096-4
- Diamond, A., & Lee, K. (2011). Interventions shown to aid executive function development in children 4 to 12 years old. Science, 333(6045), 959–964. https://doi.org/10.1126/science.1204529
- Ermakov, S. S. (2016). Special features of intellectual abilities computer diagnostics of pupils of 6–9 classes. Psychological Science and Education psyedu.ru, 8(4), 199–207. (In Russ.) https://doi.org/10.17759/psyedu.2016080419
- Fray, P. J., Robbins, T. W., & Sahakian, B. J. (1996). Neuorpsychiatyric applications of CANTAB. International Journal of Geriatric Psychiatry, 11(4), 329–336. https://doi.org/10.1002/(sici)1099-1166(199604)11:4<329::aid-gps453>3.0.co;2-6
- Glozman, J. M., & Plotnikova, A. (2021). Learning disabilities in primary school. How to diagnose and remediate the difficulties with a team approach: The first results. Psychology in Russia: State of the Art, 14(4), 38–50. https://doi.org/10.11621/pir.2021.0403
- Harder, L., Hernandez, A., Hague, C., Neumann, J., McCreary, M., Cullum, C. M., & Greenberg, B. (2020). Home-based pediatric teleneuropsychology: A validation study. Archives of Clinical Neuropsychology, 35(8), 1266–1275. https://doi.org/10.1093/arclin/acaa070
- Jaeggi, S. M., Buschkuehl, M., Jonides, J., & Shah, P. (2011). Short- and long-term benefits of cognitive training. Proceedings of the National Academy of Sciences, 108(25), 10081–10086. https://doi.org/10.1073/pnas.1103228108
- Jaeggi, S. M., Buschkuehl, M., Perrig, W. J., & Meier, B. (2010). The concurrent validity of the N-back task as a working memory measure. Memory, 18(4), 394–412. https://doi.org/10.1080/09658211003702171
- Kane, M. J., Hambrick, D. Z., Tuholski, S. W., Wilhelm, O., Payne, T. W., & Engle, R. W. (2004). The generality of working memory capacity: A latent-variable approach to verbal and visuospatial memory span and reasoning. Journal of Experimental Psychology: General, 133(2), 189–217. https://doi.org/10.1037/0096-3445.133.2.189
- Korkman M., Kirk, U., Kemp S. (2007). NEPSY II. Administrative manual (2nd ed.). San Antonio, TX : Harcourt Assessment.
- Kronenberger, W. G., Montgomery, C. J., Henning, S. C., Ditmars, A., Johnson, C. A., Herbert, C. J., & Pisoni, D. B. (2021). Remote assessment of verbal memory in youth with cochlear implants during the COVID-19 pandemic. American Journal of Speech-Language Pathology, 30(2), 740–747. https://doi.org/10.1044/2021_ajslp-20-00276
- Luciana, M. (2003). Practitioner review: Computerized assessment of neuropsychological function in children: Clinical and research applications of the Cambridge Neuropsychological Testing Automated Battery (CANTAB). Journal of Child Psychology and Psychiatry, 44(5), 649–663. https://doi.org/10.1111/1469-7610.00152
- Luciana, M., & Nelson, C. A. (2000). Neurodevelopmental assessment of cognitive function using CANTAB: Validation and future goals. In M. Ernst, J. M. Rumsey, (Eds.). Functional Neuroimaging in Child Psychiatry (pp. 379–397). Cambridge: Cambridge University Press. https://doi.org/10.1017/cbo9780511470998.029
- Luck, S. J., & Vogel, E. K. (1997). The capacity of visual working memory for features and conjunctions. Nature, 390(6657), 279–281. https://doi.org/10.1038/36846
- Milner, B. (1971). Interhemispheric differences in the localization of psycho- logical processes in man. British Medical Bulletin, 27(3), 272–277. https://doi.org/10.1093/oxfordjournals.bmb.a070866
- Miyake, A., Friedman, N. P., Emerson, M. J., Witzki, A. H., Howerter, A., & Wager, T. D. (2000). The unity and diversity of executive functions and their contributions to complex “frontal lobe” tasks: A latent variable analysis. Cognitive Psychology, 41(1), 49–100. https://doi.org/10.1006/cogp.1999.0734
- Morosanova, V. I. (2021). Conscious self-regulation as a metaresource for achieving goals and solving the problems of human activity. Lomonosov Psychology Journal, (1), 4–37. (In Russ.) https://doi.org/10.11621/vsp.2021.01.01
- Otero, T. M. (2017). Brief review of fluid reasoning: Conceptualization, neurobasis, and applications. Applied Neuropsychology: Child, 6(3), 204–211. https://doi.org/10.1080/21622965.2017.1317484
- Pind, J., Gunnarsdóttir, E. K., & Jóhannesson, H. S. (2003). Raven’s Standard Progressive Matrices: New school age norms and a study of the test’s validity. Personality and Individual Differences, 34(3), 375–386. https://doi.org/10.1016/s0191-8869(02)00058-2
- Raiford, S. E., Zhang, O., Drozdick, L. W., Getz, K., Wahlstrom, D., Gabel, A., Holdnack, J. A., & Daniel, M. (2016). WISC–V Coding and symbol search in digital format: Reliability, validity, special group studies, and interpretation (Q-interactive Technical Report 12). London: Pearson.
- Robinson, S. J., & Brewer, G. (2016). Performance on the traditional and the touch screen, tablet versions of the Corsi Block and the Tower of Hanoi tasks. Computers in Human Behavior, 60, 29–34. https://doi.org/10.1016/j.chb.2016.02.047
- Rosenqvist, J., Lahti-Nuuttila, P., Urgesi, C., Holdnack, J., Kemp, S. L., & Laasonen, M. (2017). Neurocognitive functions in 3- to 15-year-old children: An international comparison. Journal of the International Neuropsychological Society, 23(4), 367–380. https://doi.org/10.1017/s1355617716001193
- Ruffini, C., Tarchi, C., Morini, M., Giuliano, G., & Pecini, C. (2022). Tele-assessment of cognitive functions in children: A systematic review. Child Neuropsychology, 28(6), 709–745. https://doi.org/10.1080/09297049.2021.2005011
- Sim, G., & Horton, M. (2005). Performance and attitude of children in computer based versus paper based testing. In P. Kommers & G. Richards (Eds.). EdMedia + Innovate Learning. Proceedings of ED-MEDIA 2005 – World Conference on Educational Multimedia, Hypermedia & Telecommunications (pp. 3610–3614). Montreal, Canada: Association for the Advancement of Computing in Education (AACE).
- Solovieva, Yu., & Quintanar, L. (2015). Qualitative syndrome analysis by neuropsychological assessment in preschoolers with attention deficit disorder with hyperactivity. Psychology in Russia: State of the Art, 8(3), 112–124. https://doi.org/10.11621/pir.2015.0309
- Syväoja, H. J., Tammelin, T. H., Ahonen, T., Räsänen, P., Tolvanen, A., Kankaanpää, A., & Kantomaa, M. T. (2015). Internal consistency and stability of the CANTAB neuro-psychological test battery in children. Psychological Assessment, 27(2), 698–709. https://doi.org/10.1037/a0038485
- Utochkin, I. S., Yurevich, M. A., & Bulatova, M. E. (2016). Visual working memory: Methods, research, theory. The Russian Journal of Cognitive Science, 3(3), 58–76. (In Russ.)
- Veraksa, A., Almazova, O., & Bukhalenkova, D. (2020). Studying executive functions in senior preschoolers. PsyCh Journal, 9(1), 144–146. https://doi.org/10.1002/pchj.310
- Veraksa, A. N., & Chichinina, E. A. (2022). Comparison of media use among senior preschool children before and during the COVID-19 pandemic. Preschool Education Today, (2), 30–39. (In Russ.) https://doi.org/10.24412/1997-9657-2022-2110-30-39
- Veraksa, A. N., Almazova, O. V., & Bukhalenkova, D. A. (2020). Executive functions assessment in senior preschool age: A battery of methods. Psikhologicheskii Zhurnal, 41(6), 108–118. (In Russ.) https://doi.org/10.31857/S020595920012593-8
- Veraksa, A. N., Oshchepkova, E. S., Bukhalenkova, D. A., & Kartushina, N. A. (2019). The relationship of executive functions and speech production in senior preschool children: Working memory and storytelling. Clinical Psychology and Special Education, 8(3), 56–84. (In Russ.) https://doi.org/10.17759/cpse.2019080304
- Veraksa, N. E., Aslanova, M. S., Tarasova, K. S., & Klimenko, V. A. (2023). Technique for diagnosing cognitive flexibility in preschoolers: Comparison of blank and digital forms. RUDN Journal of Psychology and Pedagogics, 20(1), 105–125. (In Russ.) https://doi.org/10.22363/2313-1683-2023-20-1-105-125
- Veraksa, N. E., Bukhalenkova, D. A., Veraksa, A. N., & Chichinina, E. A. (2022). Rela-tionship between the use of digital devices and executive functions development in preschool children. Psikhologicheskii Zhurnal, 43(1), 51–59. (In Russ.) https://doi.org/10.31857/S020595920018769-1
- Verhagen, J., & Leseman, P. (2016). How do verbal short-term memory and working memory relate to the acquisition of vocabulary and grammar? A comparison between first and second language learners. Journal of Experimental Child Psychology, 141, 65–82. https://doi.org/10.1016/j.jecp.2015.06.015
- Vrana, S. R., & Vrana, D. T. (2017). Can a computer administer a Wechsler Intelligence Test? Professi-onal Psychology: Research and Practice, 48(3), 191–198. https://doi.org/10.1037/pro0000128
- Vuontela, V., Steenari, M.-R., Carlson, S., Koivisto, J., Fjällberg, M., & Aronen, E. T. (2003). Audiospatial and visuospatial working memory in 6–13-year old school children. Learning & Memory, 10(1), 74–81. https://doi.org/10.1101/lm.53503
- Wilken, P., & Ma, W. J. (2004). A detection theory account of change detection. Journal of Vision, 4(12), 1120–1135. https://doi.org/10.1167/4.12.11
- Williams, J. E., & McCord, D. M. (2006). Equivalence of standard and computerized versions of the Raven Progressive Matrices Test. Computers in Human Behavior, 22(5), 791–800. https://doi.org/10.1016/j.chb.2004.03.005
- Xanthopoulou, M., Kokalia, G., & Drigas, A. (2019). Applications for children with autism in preschool and primary education. International Journal of Recent Contributions from Engineering, Science & IT (IJES), 7(2), 4–16. https://doi.org/10.3991/ijes.v7i2.10335
- Zhang, W., & Luck, S. J. (2008). Discrete fixed-resolution representations in visual working memory. Nature, 453(7192), 233–235. https://doi.org/10.1038/nature06860
Supplementary files










