Согласие между аннотаторами при аннотировании разговорной речи: применение uα-коэффициентов к сегментации дискурса

Благодаря появлению баз данных корпусная лингвистика становится привычным инструментом для большинства лингвистов. Именно поэтому аннотирование корпусов приобретает все большую значимость. Пользователям корпусов нужны не только сырые, но и аннотированные данные, т. е. размеченные с применением протоколов аннотирования и методов синтаксического анализа (парсинга). Одна из проблем, с которой сталкиваются исследователи при аннотировании корпуса, - это проблема надежности, то есть возможности воспроизведения результатов исследования независимыми исследователями. Согласие между аннотаторами (IAA) - это методика оценивания вероятности того, что, применяя один и тот же протокол, разные аннотаторы получат одинаковые результаты. Для измерения согласия используются разные статистические показатели. Представленное исследование впервые применяет IAA к модели сегментации дискурса Valencia Español Coloquial (Val.Es.Co.), предназначенной для сегментации и разметки единиц устного разговорного дискурса. В отличие от преимущественного большинства исследований IAA, в которых только маркируется набор заранее определенных единиц, в данном исследовании IAA применяется в рамках Val.Es.Co.-протокола, предусматривающего более сложный двухступенчатый процесс: во-первых, речевой континуум разделяется на дискурсивные единицы; во-вторых, осуществляется разметка дискурсивных единиц. Статистические показатели u α -семейства Криппендорфа (Krippendorff et al. 2016) позволяют измерять IAA как в задачах сегментации, так и в задачах разметки. Три эксперта-аннотатора разделили спонтанную речь на субакты, минимальные дискурсивные единицы Val.Es.Co.-модели и разметили полученные единицы в соответствии с набором из 10 подкатегорий. u α-коэффициенты Криппендорфа применялись в нескольких экспериментах, чтобы выяснить, повлияло ли включение большего числа категорий и их различие на результаты IAA. Мы получили высокие уровни IAA, особенно в аннотации процедурных категорий субактов, где результаты достигают коэффициентов выше 0,8. Таким образом, исследование подтверждает, что Val.Es.Co.-модель является оптимальным методом для полной сегментации речи на прагматически мотивированные дискурсивные единицы.