РАЗРАБОТКА ПОДХОДА К КОЛИЧЕСТВЕННОЙ МУЛЬТИМОДАЛЬНОЙ ОЦЕНКЕ КОГНИТИВНОЙ НАГРУЗКИ ИНТЕРВЬЮЕРОВ: РЕЗУЛЬТАТЫ ПИЛОТНОГО КВАЗИЭКСПЕРИМЕНТА

Обложка

Цитировать

Полный текст

Аннотация

Представление о том, что опросный инструментарий, опосредующий коммуникацию между интервьюером и респондентом, влияет на качество опросных данных, давно превратилось в общеизвестную методологическую мудрость. Однако влияние на качество данных когнитивной нагрузки, испытываемой интервьюером в процессе проведения интервью, пока не получило систематического рассмотрения в существующей литературе. В ситуации, когда анкета заполняется интервьюером, именно последний должен распределять ограниченные индивидуальные ресурсы внимания, памяти, визуального и моторного контроля, а также использовать навыки активного слушания и интерпретации, чтобы свести к минимуму недопонимание вопроса респондентом и собственные ошибки фиксации ответов. Тем не менее, среди различных методов предварительного тестирования качества опросного инструментария или оценки потенциальных эффектов способа проведения опроса методы мультимодальной количественной оценки когнитивной нагрузки интервьюера, сопряженной с использованием опросного инструментария во время интервью, все еще редки или практически отсутствуют. В статье представлены: краткий перечень субъективных, поведенческих и физиологических мер когнитивной нагрузки, используемых в таких дисциплинарных областях, как когнитивная наука, эргономика и т.д., а также описание и обсуждение предварительных результатов пилотного квазиэксперимента, участниками которого стали интервьюеры «Российского мониторинга экономического положения и здоровья населения НИУ ВШЭ», проходившие обучение в процессе перехода от интервьюирования с помощью бумажной анкеты (PAPI) к использованию компьютерных технологий в процессе проведения интервью (CAPI). Результаты исследования позволили продемонстрировать некоторые преимущества и технические ограничения, связанные с параллельным использованием варианта популярной шкалы самооценки когнитивной нагрузки (шкала Пааса) и простого физиологического индикатора (частота сердечных сокращений), дополненных данными видеозаписи с экрана планшета, применявшегося в процессе интервьюирования, в целях мультимодальной количественной оценки когнитивной нагрузки интервьюера при проведении интервью.

Об авторах

Инна Феликсовна Девятко

Национальный исследовательский университет «Высшая школа экономики»; Институт социологии ФНИСЦ РАН

Автор, ответственный за переписку.
Email: deviatko@gmail.com

доктор социологических наук, профессор департамента социологии Национального исследовательского университета «Высшая школа экономики»; главный научный сотрудник Института социологии Федерального научно-исследовательского социологического центра Российской академии наук

ул. Мясницкая, 11, Москва, 101000, Россия; ул. Кржижановского, 24/35-5, Москва, 117218, Россия

Список литературы

  1. Богданов М.Б., Лебедев Д.В. «Главное не бояться!» - воздействие тренингов на ожидания интервьюеров при переходе от PAPI к CAPI // Социология: методология, методы, математическое моделирование. 2017. № 45. С. 102-132
  2. Девятко И.Ф., Лебедев Д.В. Глазами интервьюера, глазами респондента: контуры нового подхода к оценке когнитивной нагрузки при проведении опроса // Мониторинг общественного мнения: Экономические и социальные перемены. 2017. № 5. С. 1-19
  3. Терентьев Е.А., Мавлетова А.М., Косолапов М.С. Интервьюирование с помощью компьютерных технологий в лонгитюдных обследованиях домохозяйств // Мониторинг общественного мнения: Экономические и социальные перемены. 2018. № 3. С. 47-64
  4. Bassili J.N., Scott B.S. Response latency as a signal to question problems in survey research. Public Opinion Quarterly. 1996; 60 (3): 390-399.
  5. Bratfisch O., Borg G., Dornic S. Perceived Item Difficulty in Three Tests of Intellectual Performance Capacity. Stockholm: Institute of Applied Psychology; 1972. Report No. 29.
  6. Chen F. et al. Robust Multimodal Cognitive Load Measurement. Springer International Publishing; 2016.
  7. Couper M.P., Burt G. Interviewer attitudes toward computer-assisted personal interviewing (CAPI). Social Science Computer Review. 1994; 12 (1): 38-54.
  8. Critchley H.D. Electrodermal responses: What happens in the brain. The Neuroscientists. 2002; 8 (2): 132-142.
  9. De Leeuw E.D., Hox J.J., Snijkers G. The effect of computer-assisted interviewing on data quality. International Journal of Market Research. 1995; 37 (4): 325-344.
  10. Hoogerheide V., Renkl A., Fiorella L., Paas F., van Gog T. Enhancing example-based learning: Teaching on video increases arousal and improves problem-solving performance. Journal of Educational Psychology. 2018. http://dx.doi.org/10.1037/edu0000272.
  11. Hӧhne J.C., Schlosser S., Krebs D. Investigating cognitive effort and response quality of question formats in web surveys using paradata. Field Methods. 2017; 29 (4): 365-382.
  12. Jbara A., Feitelson D.G. How programmers read regular code: A controlled experiment using eye tracking. Empirical Software Engineering. 2017; 22 (3): 1440-1477.
  13. Kaminska O., Foulsham T. Real-world eye-tracking in face-to-face and web modes. Journal of Survey Statistics and Methodology. 2014; 2 (3): 343-359.
  14. Paas F.G. Training strategies for attaining transfer of problem-solving skill in statistics: A cognitive-load approach. Journal of Educational Psychology. 1992; 84 (4): 429-434.
  15. Paas F., Tuovinen J.E., Tabbers H., Van Gerven P.W.M. Cognitive load measurement as a means to advance cognitive load theory. Educational psychologist. 2003; 38 (1): 63-71.
  16. Sharot T., Phelps E.A. How arousal modulates memory: Disentangling the effects of attention and retention. Cognitive, Affective, & Behavioral Neuroscience. 2004; 4 (3): 294-306.
  17. Stodel M. But what will people think? Getting beyond social desirability bias by increasing cognitive load. International Journal of Market Research. 2015; 57 (2): 313-321.

© Девятко И.Ф., 2018

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах