Doctor of Sociology, First Vice-Rector (Vice-Rector for Academic Affairs), Head of the Department of Foreign Languages at the Faculty of Philology
доктор социологических наук, Первый проректор (проректор по образовательной деятельности), заведующая кафедрой иностранных языков филологического факультета
By 2026, automated sign language recognition has moved from research laboratories into applied domains, including mobile translators, educational software and inclusive services. For Russian Sign Language (RSL), however, this field remains fragmented and is rarely addressed from a linguistic perspective. The aim of the article is threefold: to systematise the state of research on AI-based recognition of RSL with an explicitly linguistic frame; to identify the principal gap, namely the absence of a continuous parallel RSL-spoken Russian corpus; and to propose a concrete component-based architecture for an RSL-to-Russian translation system grounded in published evidence. The review focuses on seven blocks: the phonology, morphology and prosody of RSL; the gap between Russian and international corpora (BSL Corpus, DGS-Korpus, How2Sign, RWTH-PHOENIX-Weather versus the NSTU corpus and TheRuSLan); the evolution of AI architectures from HMM-based continuous recognition to transformer-based translation and large language models; the Russian landscape of datasets and systems built around Slovo, Bukva and Logos; the linguistic validity criteria for synthetic sign data; the mapping between Stokoe-style sign phonology and the outputs of real-time pose estimators; and the choice of a language model for the spoken-Russian decoder. The paper argues that a successful RSL-to-Russian (Sign-to-Text) system must couple linguistic knowledge - Stokoe phonology, predicate typology, mouthings and information structure - with engineering components in a principled way. In particular, it proposes a pipeline that combines RTMPose Whole-body as a real-time front-end, a Logos-pretrained vision encoder, a Vector Quantization sign tokenizer in the spirit of SignLLM and a language decoder from the GigaChat family. The contribution of the study is a literature-grounded synthesis of the state of the art with explicit identification of research lacunae and a justified component architecture for a target system.
К 2026 г. автоматическое распознавание жестовых языков стало прикладным с появлением мобильных переводчиков, образовательных приложений и инклюзивных сервисов. Автоматическое распознавание русского жестового языка (далее РЖЯ) развивается, однако эта область остается фрагментарной и нечасто попадает в собственно лингвистическое поле зрения. Цель статьи тройная: систематизировать состояние исследований по распознаванию РЖЯ методами искусственного интеллекта в лингвистической перспективе; обозначить лакуну - отсутствие непрерывного параллельного корпуса РЖЯ↔звучащий русский; предложить конкретную компонентную архитектуру системы перевода РЖЯ→русский, обоснованную опубликованными исследованиями. Обзор сосредоточен на семи блоках: фонология, морфология и просодика РЖЯ; корпусный разрыв между российскими и зарубежными ресурсами (BSL Corpus, DGS-Korpus, How2Sign, RWTH-PHOENIX-Weather в сопоставлении с корпусом НГТУ и датасетом TheRuSLan); эволюция архитектур искусственного интеллекта от скрытых марковских моделей до трансформеров и больших языковых моделей; развитие российских баз данных и систем распознавания (Slovo, Bukva и Logos); лингвистические критерии валидности синтетических жестовых данных; соответствие между фонологией жеста, предложенной У. Стоуки (Stokoe 2005), и выходами детекторов позы в режиме реального времени; выбор языкового модуля для декодирования в звучащий русский язык. В статье утверждается, что успешная система перевода РЖЯ→русский требует методически грамотного сопряжения лингвистических знаний - фонологии Стоуки, типологии предикатов, маусингов, информационной структуры - с инженерными компонентами. В частности, предлагается сквозная архитектура, объединяющая RTMPose Whole-body как модуль предобработки данных в реальном времени, зрительный энкодер на основе корпуса Logos, токенизатор жестов с векторным квантованием в стиле архитектуры SignLLM и языковой декодер из семейства GigaChat. Научный вклад исследования заключается в систематизации текущего состояния предметной области, эксплицитном выделении исследовательских лакун и представлении теоретически обоснованной компонентной архитектуры целевой системы.