Professor of Spanish Linguistics at the University of Valencia, Spain. He is a member of the Val.Es.Co. Research Group and his research interests include spoken language, approximatives, and the synchronic and diachronic description of discourse markers.
профессор испанской лингвистики Валенсийского университета (Испания), член исследовательской группы Val.Es.Co. Его научные интересы включают разговорную речь, апроксимативы, а также синхроническое и диахроническое описание дискурсивных маркеров.
holds a Phd in Spanish Linguistics and is a member of the Val.Es.Co. Research Group. Her research interests include sub-structural elements and disfluencies in spoken conversations.
доктор испанской лингвистики, член исследовательской группы Val.Es.Co. В сферу ее научных интересов входят субструктурные элементы, а также факторы, мешающие плавности устной речи.
As databases make Corpus Linguistics a common tool for most linguists, corpus annotation becomes an increasingly important process. Corpus users do not need only raw data, but also annotated data, submitted to tagging or parsing processes through annotation protocols. One problem with corpus annotation lies in its reliability, that is, in the probability that its results can be replicable by independent researchers. Inter-annotation agreement (IAA) is the process which evaluates the probability that, applying the same protocol, different annotators reach similar results. To measure agreement, different statistical metrics are used. This study applies IAA for the first time to the Valencia Español Coloquial (Val.Es.Co.) discourse segmentation model, designed for segmenting and labelling spoken language into discourse units. Whereas most IAA studies merely label a set of in advance pre-defined units, this study applies IAA to the Val.Es.Co. protocol, which involves a more complex two-fold process: first, the speech continuum needs to be divided into units; second, the units have to be labelled. Kripendorff’s u α-family statistical metrics (Krippendorff et al. 2016) allow measuring IAA in both segmentation and labelling tasks. Three expert annotators segmented a spontaneous conversation into subacts, the minimal discursive unit of the Val.Es.Co. model, and labelled the resulting units according to a set of 10 subact categories. Kripendorff’s u α coefficients were applied in several rounds to elucidate whether the inclusion of a bigger number of categories and their distinction had an impact on the agreement results. The conclusions show high levels of IAA, especially in the annotation of procedural subact categories, where results reach coefficients over 0.8. This study validates the Val.Es.Co. model as an optimal method to fully analyze a conversation into pragmatically-based discourse units.
Благодаря появлению баз данных корпусная лингвистика становится привычным инструментом для большинства лингвистов. Именно поэтому аннотирование корпусов приобретает все большую значимость. Пользователям корпусов нужны не только сырые, но и аннотированные данные, т. е. размеченные с применением протоколов аннотирования и методов синтаксического анализа (парсинга). Одна из проблем, с которой сталкиваются исследователи при аннотировании корпуса, - это проблема надежности, то есть возможности воспроизведения результатов исследования независимыми исследователями. Согласие между аннотаторами (IAA) - это методика оценивания вероятности того, что, применяя один и тот же протокол, разные аннотаторы получат одинаковые результаты. Для измерения согласия используются разные статистические показатели. Представленное исследование впервые применяет IAA к модели сегментации дискурса Valencia Español Coloquial (Val.Es.Co.), предназначенной для сегментации и разметки единиц устного разговорного дискурса. В отличие от преимущественного большинства исследований IAA, в которых только маркируется набор заранее определенных единиц, в данном исследовании IAA применяется в рамках Val.Es.Co.-протокола, предусматривающего более сложный двухступенчатый процесс: во-первых, речевой континуум разделяется на дискурсивные единицы; во-вторых, осуществляется разметка дискурсивных единиц. Статистические показатели u α -семейства Криппендорфа (Krippendorff et al. 2016) позволяют измерять IAA как в задачах сегментации, так и в задачах разметки. Три эксперта-аннотатора разделили спонтанную речь на субакты, минимальные дискурсивные единицы Val.Es.Co.-модели и разметили полученные единицы в соответствии с набором из 10 подкатегорий. u α-коэффициенты Криппендорфа применялись в нескольких экспериментах, чтобы выяснить, повлияло ли включение большего числа категорий и их различие на результаты IAA. Мы получили высокие уровни IAA, особенно в аннотации процедурных категорий субактов, где результаты достигают коэффициентов выше 0,8. Таким образом, исследование подтверждает, что Val.Es.Co.-модель является оптимальным методом для полной сегментации речи на прагматически мотивированные дискурсивные единицы.