-
доктор социологических наук, профессор департамента социологии Национального исследовательского университета «Высшая школа экономики»; главный научный сотрудник Института социологии Федерального научно-исследовательского социологического центра Российской академии наук
The belief that survey research instruments mediating communication between interviewer and respondent influence the quality of data obtained in the interview has become a conventional methodological wisdom long ago. However, the impact of the cognitive load experienced by the interviewer has not been systematically examined. When a questionnaire is filled up by an interviewer it is the latter who has to allocate limited individual resources of attention, memory, visual and motor control, active listening and interpretation in order to minimize the respondent’s misunderstanding of the questions and one’s own errors of the answers’ fixation. However, among various methods of pre-testing or evaluating survey mode effects and assessing instruments’ quality, the methods of multimodal quantitative estimation of instrument-related cognitive load experienced by interviewers during the interview are still rare or lacking. Thus, the article presents a brief review of subjective, behavioral and physiological measures of the cognitive load, which are used in such disciplinary fields as cognitive science, ergonomics, etc., and a discussion of preliminary findings of the field quasi-experiment conducted among the interviewers of the Russian Longitudinal Monitoring Survey on the first stage of transition to the CAPI mode. The quasi-experiment findings prove some possibilities and limitations of the parallel use of a version of the cognitive load rating scale developed by F. Paas and a simple physiological measure (heart rate) supplemented with a background screen video capture from Android-based tablets used for CAPI interviews for the multimodal quantitative evaluation and optimization of the interviewer’s cognitive load.
Представление о том, что опросный инструментарий, опосредующий коммуникацию между интервьюером и респондентом, влияет на качество опросных данных, давно превратилось в общеизвестную методологическую мудрость. Однако влияние на качество данных когнитивной нагрузки, испытываемой интервьюером в процессе проведения интервью, пока не получило систематического рассмотрения в существующей литературе. В ситуации, когда анкета заполняется интервьюером, именно последний должен распределять ограниченные индивидуальные ресурсы внимания, памяти, визуального и моторного контроля, а также использовать навыки активного слушания и интерпретации, чтобы свести к минимуму недопонимание вопроса респондентом и собственные ошибки фиксации ответов. Тем не менее, среди различных методов предварительного тестирования качества опросного инструментария или оценки потенциальных эффектов способа проведения опроса методы мультимодальной количественной оценки когнитивной нагрузки интервьюера, сопряженной с использованием опросного инструментария во время интервью, все еще редки или практически отсутствуют. В статье представлены: краткий перечень субъективных, поведенческих и физиологических мер когнитивной нагрузки, используемых в таких дисциплинарных областях, как когнитивная наука, эргономика и т.д., а также описание и обсуждение предварительных результатов пилотного квазиэксперимента, участниками которого стали интервьюеры «Российского мониторинга экономического положения и здоровья населения НИУ ВШЭ», проходившие обучение в процессе перехода от интервьюирования с помощью бумажной анкеты (PAPI) к использованию компьютерных технологий в процессе проведения интервью (CAPI). Результаты исследования позволили продемонстрировать некоторые преимущества и технические ограничения, связанные с параллельным использованием варианта популярной шкалы самооценки когнитивной нагрузки (шкала Пааса) и простого физиологического индикатора (частота сердечных сокращений), дополненных данными видеозаписи с экрана планшета, применявшегося в процессе интервьюирования, в целях мультимодальной количественной оценки когнитивной нагрузки интервьюера при проведении интервью.