РАЗРАБОТКА ПОДХОДА К КОЛИЧЕСТВЕННОЙ МУЛЬТИМОДАЛЬНОЙ ОЦЕНКЕ КОГНИТИВНОЙ НАГРУЗКИ ИНТЕРВЬЮЕРОВ: РЕЗУЛЬТАТЫ ПИЛОТНОГО КВАЗИЭКСПЕРИМЕНТА
- Авторы: Девятко И.Ф.1,2
-
Учреждения:
- Национальный исследовательский университет «Высшая школа экономики»
- Институт социологии ФНИСЦ РАН
- Выпуск: Том 18, № 4 (2018)
- Страницы: 627-637
- Раздел: Вопросы истории, теории и методологии
- URL: https://journals.rudn.ru/sociology/article/view/19745
- DOI: https://doi.org/10.22363/2313-2272-2018-18-4-627-637
Цитировать
Полный текст
Аннотация
Представление о том, что опросный инструментарий, опосредующий коммуникацию между интервьюером и респондентом, влияет на качество опросных данных, давно превратилось в общеизвестную методологическую мудрость. Однако влияние на качество данных когнитивной нагрузки, испытываемой интервьюером в процессе проведения интервью, пока не получило систематического рассмотрения в существующей литературе. В ситуации, когда анкета заполняется интервьюером, именно последний должен распределять ограниченные индивидуальные ресурсы внимания, памяти, визуального и моторного контроля, а также использовать навыки активного слушания и интерпретации, чтобы свести к минимуму недопонимание вопроса респондентом и собственные ошибки фиксации ответов. Тем не менее, среди различных методов предварительного тестирования качества опросного инструментария или оценки потенциальных эффектов способа проведения опроса методы мультимодальной количественной оценки когнитивной нагрузки интервьюера, сопряженной с использованием опросного инструментария во время интервью, все еще редки или практически отсутствуют. В статье представлены: краткий перечень субъективных, поведенческих и физиологических мер когнитивной нагрузки, используемых в таких дисциплинарных областях, как когнитивная наука, эргономика и т.д., а также описание и обсуждение предварительных результатов пилотного квазиэксперимента, участниками которого стали интервьюеры «Российского мониторинга экономического положения и здоровья населения НИУ ВШЭ», проходившие обучение в процессе перехода от интервьюирования с помощью бумажной анкеты (PAPI) к использованию компьютерных технологий в процессе проведения интервью (CAPI). Результаты исследования позволили продемонстрировать некоторые преимущества и технические ограничения, связанные с параллельным использованием варианта популярной шкалы самооценки когнитивной нагрузки (шкала Пааса) и простого физиологического индикатора (частота сердечных сокращений), дополненных данными видеозаписи с экрана планшета, применявшегося в процессе интервьюирования, в целях мультимодальной количественной оценки когнитивной нагрузки интервьюера при проведении интервью.
Об авторах
Инна Феликсовна Девятко
Национальный исследовательский университет «Высшая школа экономики»; Институт социологии ФНИСЦ РАН
Автор, ответственный за переписку.
Email: deviatko@gmail.com
доктор социологических наук, профессор департамента социологии Национального исследовательского университета «Высшая школа экономики»; главный научный сотрудник Института социологии Федерального научно-исследовательского социологического центра Российской академии наук
ул. Мясницкая, 11, Москва, 101000, Россия; ул. Кржижановского, 24/35-5, Москва, 117218, РоссияСписок литературы
- Богданов М.Б., Лебедев Д.В. «Главное не бояться!» - воздействие тренингов на ожидания интервьюеров при переходе от PAPI к CAPI // Социология: методология, методы, математическое моделирование. 2017. № 45. С. 102-132
- Девятко И.Ф., Лебедев Д.В. Глазами интервьюера, глазами респондента: контуры нового подхода к оценке когнитивной нагрузки при проведении опроса // Мониторинг общественного мнения: Экономические и социальные перемены. 2017. № 5. С. 1-19
- Терентьев Е.А., Мавлетова А.М., Косолапов М.С. Интервьюирование с помощью компьютерных технологий в лонгитюдных обследованиях домохозяйств // Мониторинг общественного мнения: Экономические и социальные перемены. 2018. № 3. С. 47-64
- Bassili J.N., Scott B.S. Response latency as a signal to question problems in survey research. Public Opinion Quarterly. 1996; 60 (3): 390-399.
- Bratfisch O., Borg G., Dornic S. Perceived Item Difficulty in Three Tests of Intellectual Performance Capacity. Stockholm: Institute of Applied Psychology; 1972. Report No. 29.
- Chen F. et al. Robust Multimodal Cognitive Load Measurement. Springer International Publishing; 2016.
- Couper M.P., Burt G. Interviewer attitudes toward computer-assisted personal interviewing (CAPI). Social Science Computer Review. 1994; 12 (1): 38-54.
- Critchley H.D. Electrodermal responses: What happens in the brain. The Neuroscientists. 2002; 8 (2): 132-142.
- De Leeuw E.D., Hox J.J., Snijkers G. The effect of computer-assisted interviewing on data quality. International Journal of Market Research. 1995; 37 (4): 325-344.
- Hoogerheide V., Renkl A., Fiorella L., Paas F., van Gog T. Enhancing example-based learning: Teaching on video increases arousal and improves problem-solving performance. Journal of Educational Psychology. 2018. http://dx.doi.org/10.1037/edu0000272.
- Hӧhne J.C., Schlosser S., Krebs D. Investigating cognitive effort and response quality of question formats in web surveys using paradata. Field Methods. 2017; 29 (4): 365-382.
- Jbara A., Feitelson D.G. How programmers read regular code: A controlled experiment using eye tracking. Empirical Software Engineering. 2017; 22 (3): 1440-1477.
- Kaminska O., Foulsham T. Real-world eye-tracking in face-to-face and web modes. Journal of Survey Statistics and Methodology. 2014; 2 (3): 343-359.
- Paas F.G. Training strategies for attaining transfer of problem-solving skill in statistics: A cognitive-load approach. Journal of Educational Psychology. 1992; 84 (4): 429-434.
- Paas F., Tuovinen J.E., Tabbers H., Van Gerven P.W.M. Cognitive load measurement as a means to advance cognitive load theory. Educational psychologist. 2003; 38 (1): 63-71.
- Sharot T., Phelps E.A. How arousal modulates memory: Disentangling the effects of attention and retention. Cognitive, Affective, & Behavioral Neuroscience. 2004; 4 (3): 294-306.
- Stodel M. But what will people think? Getting beyond social desirability bias by increasing cognitive load. International Journal of Market Research. 2015; 57 (2): 313-321.