RUDN Journal of SociologyRUDN Journal of SociologyВестник Российского университета дружбы народов. Серия: Социология2313-22722408-8897Peoples’ Friendship University of Russia named after Patrice Lumamba5093410.22363/2313-2272-2026-26-2-394-412ZKBGZTTheory, Methodology and History of Sociological ResearchВопросы истории, теории и методологииResearch ArticleNatural language processing methods in the assessment of healthcare service quality based on online patient reviewsПрименение методов анализа естественного языка для оценки качества медицинских услуг на основе онлайн-отзывов пациентовDudinaV. I.ДудинаВиктория Ивановнадоктор социологических наук, профессор кафедры прикладной и отраслевой социологииviktoria_dudina@mail.ruKarelinA. A.КарелинАлексей Андреевичстажер-исследователь факультета социологииansxim.51ru@gmail.comSaint Petersburg State UniversityСанкт-Петербургский государственный университет1807202626239441201072026Copyright ©; 2026, Dudina V.I., Karelin A.A.Copyright ©; 2026, Дудина В.И., Карелин А.А.2026Dudina V.I., Karelin A.A.Дудина В.И., Карелин А.А.https://creativecommons.org/licenses/by-nc/4.0https://journals.rudn.ru/sociology/article/view/50934

Today survey methods for assessing patient satisfaction with medical services are supplemented by the analysis of unstructured online reviews, which expands the empirical research base. Such data sources have complementary functions: surveys provide standardized data, while text reviews reflect the context of patients’ interaction with the healthcare organization, emotional and organizational aspects of care. Thus, we need methodologically sound approaches that integrate sociological theories of patient satisfaction with natural language analysis in the assessment of medical services and provide data comparable to survey methods. The study aims at developing and testing an integrative methodology for assessing the quality of healthcare services through the analysis of online patient reviews based on an appropriate theoretical model. The authors conducted an analysis of 26,000 online public reviews of 120 healthcare organizations in Saint Petersburg: texts underwent preprocessing; contextual embeddings from ruRoBERTa were used together with the BERTopic algorithm for topic modeling. For external validation, integrated rankings of healthcare organizations were compared with indicators derived from the survey data. The proposed theoretical model integrated the following key approaches to the healthcare quality assessment: “structure-process-outcome” concept; expectation-disconfirmation theory; “zone of tolerance” model; service quality model; SERVQUAL and HEALTHQUAL models. The analysis revealed moderate but statistically significant consistency between aggregated indicators based on textual reviews and healthcare quality assessments based on survey data, and thematic analysis allowed to identify the most frequent sources of patient dissatisfaction (organizational, communicational, and infrastructural). Positive reviews most frequently focus on the medical staff professionalism, latest clinic equipment, comfortable waiting conditions, and transparency of organizational processes.

Сегодня опросные методы оценки удовлетворенности пациентов качеством медицинских услуг дополняются анализом неструктурированных онлайн-отзывов, что позволяет расширить эмпирическую базу исследований. Эти источники данных выполняют взаимодополняющие функции: опросы обеспечивают стандартизированные измерения, а текстовые отзывы отражают контекст взаимодействия пациента с медицинской организацией, а также эмоциональные и организационные аспекты оказания помощи. В связи с этим необходимы методологически обоснованные подходы, которые объединяют социологические теории удовлетворенности пациентов и методы анализа естественного языка и позволяют получать оценки качества медицинских услуг, сопоставимые с результатами применения опросных методик. Цель исследования - разработать и апробировать интегративную методику оценки качества медицинских услуг на основе анализа онлайн-отзывов пациентов, опирающуюся на соответствующую теоретическую модель. Был проведен анализ корпуса текстовых данных из 26 тысяч публичных отзывов о 120 медицинских организациях Санкт-Петербурга, опубликованных на интернет-платформах. Тексты прошли предобработку (фильтрация, очистка, лемматизация); для представления использовались контекстуальные эмбеддинги (векторные представления) ruRoBERTa, для тематического моделирования - алгоритм BERTopic. Тональность отзывов и аспекты качества медицинских услуг классифицировались с помощью алгоритма машинного обучения ruRoBERTa. В целях внешней валидизации интегральные рейтинги медицинских организаций, рассчитанные на основе онлайн-отзывов пациентов, были сопоставлены с показателями независимой оценки качества (НОК) из опросных данных. Теоретическая модель исследования интегрировала ключевые подходы к оценке качества медицинских услуг: «структура - процесс - результат»; теория ожидания-опровержения; модель «зоны допустимости»; двухфакторная модель качества; модели оценки качества услуг SERVQUAL и HEALTHQUAL. По результатам анализа была выявлена умеренная, но статистически значимая согласованность агрегированных индикаторов, извлеченных из текстовых отзывов, с оценкой качества медицинских услуг на основе опросных данных, а также наиболее частые источники недовольства пациентов (организационные, коммуникативные и инфраструктурные проблемы). В позитивных отзывах наиболее часто отмечаются профессионализм медперсонала, современное оснащение клиник, комфорт ожидания и прозрачность организационных процессов.

patient satisfactionsociology of healthhealthcare service qualityonline reviewssurveynatural language processing methodstopic modelingsentiment analysisunstructured textual dataудовлетворенность пациентовсоциология здоровьякачество медицинских услугонлайн-отзывыопросметоды анализа естественного языкатематическое моделированиетональный анализнеструктурированные текстовые данныеСтатья подготовлена при поддержке РНФ. Проект № 22-18-00261-П.Thе research was supported by the Russian Science Foundation. Project No 22-18-00261-P.Donika A.D., Adzhienko V.L. Otsenka kachestva meditsinskoi pomoshchi s pozitsii patsient-orientirovannogo podkhoda [Assessment of the medical care quality in the patient-oriented perspective]. Volgogradsky Nauchno-Meditsinsky Zhurnal. 2023; 20 (1). (In Russ.).Доника А.Д. Оценка качества медицинской помощи с позиций пациент-ориентированного подхода // Волгоградский научно-медицинский журнал. 2023. Т. 20. № 1.Kalabikhina I.E., Moshkin V.S., Kolotusha A.V., Kashin M.I., Klimenko G.A., Kazbekova Z.G. Analiz otzyvov patsientov s ispolzovaniem metodov mashinnogo obucheniya i lingvisticheskih metodov [Analysis of patient reviews using machine learning and linguistic methods]. Ontologiya Proektirovaniya. 2025; 15 (1). (In Russ.).Калабихина И.Е., Мошкин В.С., Колотуша А.В., Кашин М.И., Клименко Г.А., Казбекова З.Г. Анализ отзывов пациентов с использованием методов машинного обучения и лингвистических методов // Онтология проектирования. 2025. Т. 15. № 1.Komitet po zdravookhraneniyu Sankt-Peterburga. Nezavisimaya otsenka kachestva usloviy okazaniya uslug meditsinskimi organizatsiyami Sankt-Peterburga [Saint Petersburg Health Committee: Independent assessment of the quality of services provided by medical organizations of Saint Petersburg]. URL: http://zdrav.spb.ru/ru/for-people/reitingi. (In Russ.).Комитет по здравоохранению Санкт-Петербурга: Независимая оценка качества условий оказания услуг медицинскими организациями Санкт-Петербурга. URL: http://zdrav.spb.ru/ru/for-people/reitingi. (In Russ.).Kuznetsova M.A., Vasilyeva T.P., Zudin A.B., Aksenova E.I., Gruzdeva O.A., Kuznetsova K.Yu. Otsenka obshchevrachebnoi praktiki v mnogomernoi konstruktsii udovletvorennosti patsientov kachestvom meditsinskoi pomoshchi [Assessment of the general medical practice in a multidimensional model of patient satisfaction with the quality of medical care]. Zdravookhranenie RF. 2023; 67 (5). (In Russ.).Кузнецова М.А., Васильева Т.П., Зудин А.Б., Аксенова Е.И., Груздева О.А., Кузнецова К.Ю. Оценка общеврачебной практики в многомерной конструкции удовлетворенности пациентов качеством медицинской помощи // Здравоохранение РФ. 2023. Т. 67. № 5.Ob organizatsii rabot po obespecheniyu tekhnicheskoi vozmozhnosti vyrazheniya mneniya patsientami o kachestve usloviy okazaniya uslug meditsinskimi organizatsiyami na ofitsialnom saite Ministerstva zdravookhraneniya RF v seti Internet: prikaz Ministerstva zdravookhraneniya RF ot 13 iyulya 2018 g. № 442 [On the organization of work to ensure the technical capability for patients to express opinions on the quality of services provided by medical organizations on the official website of the Ministry of Health of the Russian Federation on the Internet. Order No. 442 of July 13, 2018]. (In Russ.).Об организации работ по обеспечению технической возможности выражения мнения пациентами о качестве условий оказания услуг медицинскими организациями на официальном сайте Министерства здравоохранения РФ в сети Интернет: приказ Министерства здравоохранения РФ от 13 июля 2018 г. № 442.Pokida A.N., Zybunovskaya N.V. Razvitie telemeditsiny v Rossii: vzglyad potrebitelei [Development of telemedicine in Russia: Consumers’ perspective]. Zdorovye Naseleniya i Sreda Obitaniya. 2021; 12. (In Russ.).Покида А.Н., Зыбуновская Н.В. Развитие телемедицины в России: взгляд потребителей // Здоровье населения и среда обитания. 2021. № 12.Posevkin R.V., Bessmertny I.A. Primenenie sentiment-analiza tekstov dlya otsenki obshchestvennogo mneniya [Application of sentiment analysis for the public opinion assessment]. Nauchno-Tekhnichesky Vestnik Informatsionnyh Tekhnologiy, Mekhaniki i Optiki. 2015; 15 (1). (In Russ.).Посевкин Р.В., Бессмертный И.А. Применение сентимент-анализа текстов для оценки общественного мнения// Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15. № 1.Russkih T.N., Tinyakova V.I., Kukharets D.V. Semantichesky analiz otzyvov patsientov dlya obespecheniya podderzhki prinyatiya resheniy na rynke meditsinskih uslug [Semantic analysis of patient reviews in support of decision-making in the medical services market]. Kreativnaya Ekonomika. 2024; 18 (2). (In Russ.).Русских Т.Н., Тинякова В.И., Кухарец Д.В. Семантический анализ отзывов пациентов для обеспечения поддержки принятия решений на рынке медицинских услуг// Креативная экономика. 2024. Т. 18. № 2.Tyufilin D.S., Chigrina V.P., Medvedev V.A., Deev I.A., Kobyakova O.S. Udovletvorennost meditsinskoi pomoshchyu v Rossiiskoi Federatsii: faktory, vliyayushchie na otsenku [Satisfaction with medical care in the Russian Federation: Factors of assessment]. Menedzher Zdravookhraneniya. 2023; 8. (In Russ.).Тюфилин Д.С., Чигрина В.П., Медведев В.А., Деев И.А., Кобякова О.С. Удовлетворенность медицинской помощью в Российской Федерации: факторы, влияющие на оценку // Менеджер здравоохранения. 2023. № 8.Devlin J., Chang M.W., Lee K., Toutanova K. BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding. 2018. arXiv:1810.04805.Doing-Harris K., Mowery D.L., Daniels C., Chapman W.W., Conway M. Understanding patient satisfaction with received healthcare services: A natural language processing approach. AMIA Annual Symposium Proceedings, 2017-2016.Donabedian A. The quality of care: How can it be assessed? Journal of the American Medical Association. 1988; 260 (12).Donabedian A. Evaluating the quality of medical care. Milbank Quarterly. 2005; 83 (4).Dubé L., Menon K. Multiple roles of consumption emotions in post-purchase satisfaction with extended service transactions. International Journal of Service Industry Management. 2000; 11 (3).Grönroos C. A service quality model and its marketing implications. European Journal of Marketing. 1984; 18 (4).Grootendorst M. BERTopic: Neural Topic Modeling with a Class-Based TF-IDF Procedure. 2022. arXiv:2203.05794.Hong Y.A., Liang C., Radcliff T.A., Wigfall L.T., Street R.L. What do patients say about doctors online? A systematic review of studies on patient online reviews. Journal of Medical Internet Research. 2019; 21 (4).Hudak P.L., Hogg-Johnson S., Bombardier C., McKeever P.D., Wright J.G. Testing a new theory of patient satisfaction with treatment outcome. Medical Care. 2004; 42 (8).Johnston R. The zone of tolerance: Exploring the relationship between service transactions and satisfaction with the overall service. International Journal of Service Industry Management. 1995; 6 (2).Lee D. HEALTHQUAL: A multi-item scale for assessing healthcare service quality. Service Business. 2017; 11 (3).Like R., Zyzanski S.J. Patient satisfaction with the clinical encounter: Social-psychological determinants. Social Science & Medicine. 1987; 24 (4).Liu Y., Ott M., Goyal N., Du J., Joshi M., Chen D., Levy O., Lewis M., Zettlemoyer L., Stoyanov V. RoBERTa: A Robustly Optimized BERT Pretraining Approach. 2019. arXiv:1907.11692.Murray C., Mitchell L., Tuke J., Mackay M. Probabilistic emotion and sentiment modelling of patient-reported experiences. Artificial Intelligence in Medicine. 2025; 167.Parasuraman A., Zeithaml V.A., Berry L.L. SERVQUAL: A multiple-item scale for measuring consumer perceptions of service quality. Journal of Retailing. 1988; 64 (1).Pascoe G.C. Patient satisfaction in primary health care: A literature review and analysis. Evaluation and Program Planning. 1983; 6 (3-4).Placona A.M., Rathert C. Are online patient reviews associated with health care outcomes? A systematic review of the literature. Medical Care Research and Review. 2022; 79 (1).Stewart M., Brown J.B., Weston W.W., Freeman T., Ryan B.L., McWilliam C.L., McWhinney I.R. Patient-Centered Medicine: Transforming the Clinical Method. CRC Press; 2024.Strasser S., Aharony L., Greenberger D. The patient satisfaction process: Moving toward a comprehensive model. Medical Care Review. 1993; 50 (2).Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N., Kaiser L., Polosukhin I. Attention is all you need. Advances in Neural Information Processing Systems. 2017; 30.Yu Y.T., Dean A. The contribution of emotional satisfaction to consumer loyalty. International Journal of Service Industry Management. 2001; 12 (3).Zmitrovich D., Abramov A., Kalmykov A., Tikhonova M., Taktasheva E., Astafurov D., Baushenko M., Snegirev A., Kadulin V., Markov S., Shavrina T., Mikhailov V., Fenogenova A. A Family of Pretrained Transformer Language Models for Russian. 2024. arXiv:2309.10931. https://doi.org/10.48550/arXiv.2309.10931.