Researcher of Cybersecurity CPS Department of HSE University
Professor, Doctor of Technical Sciences, Full member of Academy of Cryptography of the Russian
Doctor of Physical and Mathematical Sciences, Professor of Department of Probability Theory and Cyber Security of RUDN University; Chief Researcher of Cybersecurity CPS Department of HSE University
Professor, Doctor of Technical Sciences, Chief Researcher of Cybersecurity CPS Department of HSE University; Head of the Laboratory, Institute of Control Science of RAS
Attributing authorship of short texts is a complex task, and its accuracy heavily depends on the quality and quantity of training data. In many practical scenarios, however, this data is subject to degradation. This study examines how two specific types of degradation - textual corruption and reduction in corpus size - affect the performance of six standard classifiers for authorship attribution of English-language tweets. We model textual corruption as random and independent character-level distortions applied to the texts in the training corpora. The test set (the texts whose authorship is to be attributed) remains unchanged. The experimental setup involves 50 authors, with 200 test texts. The volume of training texts per author varies from 800 to 50 (across 16 incremental steps), and the distortion level ranges from 0 to 20\% (6 gradations). For each combination of corpus size and distortion level, we train and test six classifiers: Support Vector Machines (SVM), Logistic Regression, Naive Bayes, Random Forest, Decision Tree, and $k$-Nearest Neighbors (kNN). Authorial style is represented using Bag of Words (BOW), TF-IDF, word token $N$-grams, and their combinations. The results show that for most classifiers, degradation in the training sets leads to comparable reductions in attribution accuracy. The highest overall performance was achieved by the Support Vector Machine with TF-IDF features. It proved to be the most robust method both when the number of training texts was reduced and under high distortion levels. In the absence of distortions, SVM with TF-IDF achieved an accuracy of 0.92; at distortion levels of 5 and 20\%, its accuracy reached 0.89 and 0.75, respectively. Logistic Regression with Bag of Words ranked second, delivering accuracies of 0.9, 0.87, and 0.74 under the same conditions. The kNN method demonstrated the lowest accuracy among the classifiers examined.
Точность атрибуции авторства текстов критически зависит от качества и объема обучающих данных. Изучается, как два типа деградации обучающих авторских коллекций, искажение текста и сокращение размера корпуса, влияют на точность шести стандартных классификаторов при атрибуции авторства англоязычных твитов. Рассматриваются случайные независимые искажения типа «замена символов», применяемые к текстам в обучающих корпусах. Тестовая выборка остается неизменной. Эксперименты проводились на текстах 50 авторов (по 200 тестовых текстов). Количество обучающих текстов одного автора варьировалось от 800 до 50 (16 промежуточных шагов), а уровень искажения - от 0 до 20\% (6 градаций). Для каждой комбинации размера корпуса и уровня искажения обучались и тестировались шесть классификаторов: метод опорных векторов (SVM), логистическую регрессию, наивный байесовский классификатор, случайный лес, дерево решений и метод $k$-ближайших соседей (kNN). В качестве признаков авторского стиля использовались мешок слов (BoW) и TF-IDF для токенов и $N$-грамм. Установлено, что для большинства классификаторов деградация обучающих данных приводит к сопоставимому снижению точности атрибуции. Наилучшие результаты показал метод опорных векторов с TF-IDF. Он оказался наиболее устойчивым как при сокращении количества обучающих текстов, так и при высоких уровнях искажений. В отсутствие искажений метод SVM с TF-IDF достиг точности 0.92; при уровнях искажений 5 и 20\% его точность составила 0.89 и 0.75 соответственно. Логистическая регрессия с с мешком слов заняла второе место, показав точность 0.9, 0.87 и 0.74 в тех же условиях. Метод kNN продемонстрировал наименьшую точность среди рассмотренных классификаторов.