PhD in Philology, Аssistant of the Department of General and Russian Linguistics, Faculty of Philology
кандидат филологических наук, ассистент кафедры общего и русского языкознания филологического факультета
The relevance of the study of a critical stage of text processing in the era of the dominance of large language models is due to the systemic divergence between statistically identified token boundaries and linguistically justified morpheme boundaries in tokenizers, which is particularly evident when working with rich morphology languages. The scientific novelty of the study lies in considering the token not as technical part, but as a linguistic artifact - an algorithmic ‘shadow’ of a morpheme that has lost its semantic motivation but preserved its external resemblance. The aim of the research is to identify linguistic losses that occur during statistical segmentation of words and to assess the degree of divergence between token and morpheme boundaries. Research methods: comparative linguistic analysis, corpus analysis, critical discourse analysis and typological modeling. During the research, a typology of morphological distortions in BPE tokenization has been developed and empirically substantiated, describing three types of distortions and divergence between token and morpheme boundaries: fragmentation, contamination, and aberration. Using the lexemes ‘podorozhnik’ and ‘vysokotekhnologichny’ as material, the three-stage degradation of morphological transparency in the transition from monolingual to bilingual and multilingual BPE models has been experimentally proven. It has been established that multilingual tokenizers completely lose morphological properties in relation to a particular language multiplying statistical artifacts that are not identified by a classical set of morphological units and native speakers of this language.
Актуальность исследования критического этапа обработки текста в эпоху доминирования больших языковых моделей обусловлена системным расхождением между статистически выделенными границами токенов и лингвистически обоснованными границами морфем в токенизаторах, что проявляется в работе с языками с богатой морфологией. Научная новизна исследования заключается в рассмотрении токена не как технической единицы, а как лингвистического артефакта - алгоритмической «тени» морфемы , утратившей семантическую мотивированность, но сохранившую внешнее сходство. Цель исследования - выявить лингвистические потери, возникающие при статистической сегментации слов и оценить степень расхождения между токенными и морфемными границами. Методы исследования: сопоставительный лингвистический анализ, корпусный анализ, критический дискурс-анализ и типологическое моделирование. В ходе исследований разработана и эмпирически обоснована типология морфологических искажений при BPE-токенизации, описывающая три типа искажений и расхождений между морфемными и токенными границами: фрагментация, контаминация и аберрация. На материале лексем подорожник и высокотехнологичный экспериментально доказана трехступенчатая деградация морфологической прозрачности при переходе от одноязычных к двуязычным и мультиязычным BPE-моделzv. Установлено, что мультиязычные токенизаторы полностью утрачивают морфологические свойства в отношении отдельного языка, множа статистические артефакты, которые не идентифицируются классическим набором единиц морфологии и носителями данного языка.