Natural language processing methods in the assessment of healthcare service quality based on online patient reviews

Full Text

В настоящее время пациент-ориентированный подход стал фундаментом развития системы здравоохранения, кардинально меняя традиционные представления об оценке качества медицинских услуг: акцент смещается на активное участие пациента в лечении и учет его индивидуального опыта, ценностей и ожиданий, что позволяет рассматривать пациента не как пассивного получателя, а как равноправного участника медицинского процесса [1; 27].

В России основным институциональным механизмом получения обратной связи от пациентов является независимая оценка качества условий оказания услуг медицинскими организациями (НОК), которая предполагает заполнение пациентами стандартизированной анкеты и охватывает пять критериев: открытость информации, комфортность условий, время ожидания, доброжелательность персонала и общая удовлетворенность [3]. Также проводятся масштабные социологические обследования: согласно общероссийскому опросу, уровень удовлетворенности существенно зависит от половозрастных характеристик респондентов, сроков ожидания медицинской помощи и места проживания, а сама удовлетворенность — многокомпонентный конструкт [9]. Зарубежные методики оценки также начинают применяться в российском контексте: так, исследование с использованием международного опросника EUROPEP подтвердило, что пациентоориентированность первичной медицинской помощи в России может быть охарактеризована через показатели коммуникации с врачом, информированности и вовлеченности пациента [4]. Параллельно с традиционными опросами расширяются и цифровые каналы взаимодействия с пациентами, однако, несмотря на рост интереса к телемедицине и электронным сервисам, уровень их использования в России остается невысоким, а доверие пациентов к дистанционным форматам медицинской помощи существенно различается в зависимости от социально-демографических характеристик [6]. Все перечисленные подходы основаны на опросных данных и не учитывают обратную связь, формирующуюся на интернет-платформах.

В последние годы возрастает интерес к использованию онлайн-отзывов пациентов как дополнительного источника данных о воспринимаемом качестве медицинских услуг. Методологической основой для работы с такими данными служит сентимент-анализ — автоматическая оценка эмоциональной тональности текстов, методы которой активно разрабатываются и применительно к русскоязычным текстам [7]. Ряд российских исследователей начали применять методы машинного обучения и обработки естественного языка для анализа русскоязычных отзывов с интернет-платформ [2; 8]. Однако таких работ пока немного, и они, как правило, сосредоточены на решении технических задач классификации тональности и определения объекта отзыва, тогда как вопросы теоретического обоснования выделяемых аспектов качества, связи с существующими моделями оценки и внешней валидации результатов остаются малоизученными.

Цифровизация и массовое распространение интернета создали новую, оперативную и недорогую возможность получения обратной связи от пациентов. Их публичные онлайн-отзывы, размещаемые на интернет-платформах, — источник контекстуализированной информации о реальном опыте получения медицинских услуг. В отличие от формализованных анкет текстовые отзывы часто содержат детальные описания ситуаций, мотиваций, ожиданий и эмоциональных реакций, что дает возможность оценивать не только степень удовлетворенности, но также ее смысловые основания и поведенческие последствия. Анализ отзывов важен для выявления проблем и деталей, которые не видны в общих формализованных показателях. Отзывы, с одной стороны, освещают успешные практики, которые повышают доверие и лояльность пациентов, а, с другой стороны, помогают понять, где возникают трудности, как налажена коммуникация между медицинскими работниками и пациентами, есть ли проблемы с инфраструктурой или логистикой. Эти данные дополняют существующие системы мониторинга, особенно в условиях растущей нагрузки на систему здравоохранения и ограниченного бюджета на опросы. Вместе с тем анализ онлайн-отзывов сталкивается с рядом сложностей: во-первых, отзывы часто отражают крайние точки зрения, что приводит к поляризации оценок [17; 26]; во-вторых, выборка отзывов может быть подвержена систематическим искажениям — как правило, распределение отзывов неравномерно (на многих врачей нет отзывов, а небольшая часть специалистов аккумулирует большинство комментариев); отзывы характеризуются низкой репрезентативностью относительно генеральной совокупности пациентов (только небольшая их часть пишет отзывы). Хотя между онлайн-рейтингами и результатами стандартизированных опросов удовлетворенности наблюдается умеренная корреляция (r ≈ 0.3–0.5) [17; 26], перечисленные особенности ограничивают использование отзывов в качестве объективного индикатора качества медицинских услуг.

Современные методы обработки естественного языка (NLP — Natural Language Processing) предоставляют инструментарий для извлечения значимой информации из больших текстовых массивов, позволяя фиксировать семантические нюансы высказываний, выявлять латентные тематические структуры, систематизировать содержательные и оценочные элементы высказываний. При этом значительная часть прикладных исследований с использованием алгоритмов NLP ограничивается анализом тональности и тематическим моделированием, не применяя социологические концепты и не связывая количественные результаты с теоретическими моделями [8; 11; 23]. Надо признать, что и сами модели оценки качества медицинских услуг ориентированы на структурированные опросные данные [13; 18; 24; 28], что не позволяет учитывать такие особенности отзывов, как спонтанность, неструктурированность и контекстуальность.

Цель нашего исследования — разработать и апробировать интегративную методологию оценки качества медицинских услуг, сочетающую автоматизированный анализ онлайн-отзывов пациентов с соответствующей теоретической моделью. Эмпирическая проверка предложенной методологии проводилась на основе совокупности онлайн-отзывов пациентов медицинских организаций Санкт-Петербурга. Полученные индикаторы сопоставлялись с оценкой качества медицинских услуг на основе опросов, которую публикует Комитет по здравоохранению Санкт-Петербурга и которая использовалась как внешний критерий, поскольку она формируется по единым правилам отчетности, охватывает несколько аспектов качества и подходит для сравнительного анализа. Суть сопоставления заключалась в анализе согласованности вариаций между агрегированными индикаторами качества из онлайн-отзывов и опросных данных.

Теоретические подходы к изучению удовлетворенности и воспринимаемого качества медицинских услуг

В изучении качества медицинских услуг и удовлетворенности пациентов, как правило, в разных комбинациях используются два типа моделей: модели ожидания-опровержения, объясняющие субъективную оценку качества через согласование ожиданий пациента и фактического опыта, и модели воспринимаемого качества медицинских услуг, в которых акцент смещен в сторону общей оценки процесса и результата независимо от предварительных ожиданий. В моделях ожидания-опровержения удовлетворенность трактуется как результат соответствия или расхождения между ожиданиями и опытом пациента [18; 25]. Эти модели часто критикуются за редукционизм, сводящий удовлетворенность к различиям между ожиданиями и реальностью, и за недостаточный учет эмоциональных и контекстуальных факторов [21]. Возможны разные вариации моделей: так, в модели зоны допустимости (zone of tolerance) заложена идея допустимого диапазона отклонений от ожиданий пациентов, в пределах которого услуги остаются для него приемлемыми; ширина зоны меняется в зависимости от вовлеченности пациента в лечение, частоты обращений, социальной поддержки и субъективного восприятия финансовых затрат [19]. Данная модель объясняет, почему при небольших отклонениях от ожиданий оценка качества услуг остается стабильной. При выходе за пределы этой зоны степень неудовлетворенности растет пропорционально величине разрыва. Применительно к анализу отзывов можно предположить, что отсутствие упоминания о том или ином аспекте может означать либо его незначимость для автора, либо полную удовлетворенность по этому параметру. Нельзя не упомянуть двухфакторную модель качества Гренрооса [15], в которой выделены технический и функциональный аспекты качества, поскольку для потребителя важно не только что он получает в результате, но и как он это получает. Данная модель также опирается на концепцию ожиданий и наблюдаемого качества, предполагающую, что если ожидания будут слишком завышены по сравнению с реальным качеством услуги, то недовольство пациента будет расти.

Наиболее широкое распространение для оценки медицинских услуг получила модель «структура–процесс–результат» [12; 13], в которой структура — это инфраструктура и квалификация персонала, т.е. условия оказания помощи; процесс — взаимодействие между врачом и пациентом, включая оценку внимания, эмпатии и процесса лечения; результат — влияние медицинской помощи на здоровье пациента, включая долгосрочные последствия. В данной модели особое место занимают отношения между врачом и пациентом, поскольку характер межличностного взаимодействия нередко оказывает решающее влияние на качество медицинской помощи.

В прикладных исследованиях часто используется модель оценки качества услуг SERVQUAL (Service Quality — метод измерения качества обслуживания) на основе пяти измерений: материальные элементы — материальная среда (помещения, оборудование, чистота, внешний вид персонала); надежность — способность стабильно и точно предоставлять услугу; отзывчивость — готовность быстро помочь и оперативно реагировать; доверие — компетентность, вежливость и внушаемое чувство безопасности; эмпатия — индивидуализированное внимание и уважение к ценностям пациента [24]. Восприятие качества услуги трактуется как результат наличия или отсутствия разрывов между опытом и ожиданиями, оцениваемым по пяти параметрам. Были разработаны вариации модели, адаптированные к особенностям оценки качества услуг в системе здравоохранения, например модель HEALTHQUAL включает такие переменные, как эмпатия, материальные элементы, безопасность, эффективность лечения и степень улучшения медицинских услуг, поскольку пациенты считают таковые наиболее важными [20].

Сегодня исследователи стремятся объединить перечисленные подходы, комбинируя измерения ожиданий и восприятия процесса, учитывая эмоциональные реакции и социальные сравнения, сопоставляя субъективные оценки пациентов с объективными клиническими результатами [14; 30]. Многомерный подход позволяет получать более полную картину качества услуг с точки зрения пациента, однако такие сложные модели ориентированы в первую очередь на использование структурированных опросных данных, а в неструктурированных текстах (отзывы пациентов) информация о некоторых аспектах, необходимых для использования данных моделей, может отсутствовать.

На основе краткого обзора существующих моделей можно выделить ключевые моменты для создания интегративной теоретической модели оценки качества медицинских услуг на основе онлайн-отзывов. Во-первых, удовлетворенность формируется во взаимодействии исходных ожиданий пациента и фактического опыта, и значимы как результативность помощи, так и ее процессуальный аспект (корректность оказания услуги и качество коммуникации). Во-вторых, не все аспекты, выделяемые на теоретическом уровне, могут быть операционализированы и корректно измерены эмпирически, поэтому модели, описанные в литературе, ограничиваются небольшим числом повторяющихся измерений, пригодных для эмпирических исследований. В-третьих, онлайн-отзывы, как правило, отражают компоненты воспринимаемого качества и эмоционального опыта, а их связь с объективными результатами лечения не всегда понятна, что требует корректного выделения уровней анализа и аккуратной интерпретации.

Теоретическая модель оценки качества медицинских услуг на основе онлайн-отзывов пациентов

Цель разработки нашей теоретической модели — описание механизма трансформации опыта взаимодействия пациента с системой здравоохранения в субъективную оценку на основе интеграции существующих подходов к оценке качества медицинских услуг и их адаптации к особенностям онлайн-отзывов. Мы опирались на следующие подходы: модель оценки качества медицинского обслуживания «структура–процесс–результат» как общая логика компонентов качества; теория ожидания–опровержения, объясняющая, как расхождение между ожиданиями и опытом влияет на удовлетворенность; модель «зоны допустимости», задающая интервал приемлемых уровней сервиса с точки зрения пациента; двухфакторная модель качества Гренрооса; модели оценки качества услуг SERVQUAL и HEALTHQUAL. Сформированная теоретическая модель описывает оценку качества медицинских услуг как результат взаимодействия ожиданий пациента и опыта получения помощи, опосредованного когнитивными и эмоциональными механизмами восприятия и влиянием внешнего контекста. В модели три базовых блока: ожидания пациентов, которые формируются под влиянием предшествующего опыта, индивидуальных потребностей и доступной информации; наблюдаемый сервис, отражающий фактический опыт получения услуг и их результативность; восприятие качества услуг, включающее когнитивный и эмоциональный компоненты оценки. Визуальное представление теоретической модели, отражающей взаимосвязь когнитивных и эмоциональных компонентов восприятия качества медицинских услуг, приведено на рисунке 1.

Рис. 1. Теоретическая модель воспринимаемого качества медицинских услуг

В когнитивный компонент восприятия включена рациональная оценка — осмысленное и рефлексивное суждение пациента о материальных элементах услуги, безопасности и эффективности (инфраструктура, оснащение, организационная слаженность, клинические решения и динамика состояния здоровья пациентов). Эмоциональный компонент — оценка межличностной коммуникации с медицинскими работниками (вежливость, эмпатия, объяснение особенностей лечения и т.п.) и аффективные реакции пациента (положительные и отрицательные эмоции). Если опросные методы могут включать оценку всех трех блоков, то в онлайн-отзывах иногда имеется возможность зафиксировать только восприятие качества услуг, а ожидания и наблюдаемый сервис будут рассматриваться как латентные факторы, влияющие на наблюдаемые оценки, но не фиксируемые непосредственно. Описание индикаторов теоретической модели приведено в таблице 1. Операционализация модели при анализе отзывов пациентов может осуществляться через выявление частоты позитивных и негативных упоминаний соответствующих аспектов качества услуг, описываемых пациентами в их текстовых отзывах.

Таблица 1
Индикаторы теоретической модели

Для автоматизированного категориального и тонального анализа отзывов с помощью парсинга информации с веб-страниц была сформирована выборка из 26027 отзывов пациентов о 120 медицинских организациях Санкт-Петербурга, размещенных на платформах «Яндекс.Карты» и «ПроДокторов». Обе платформы применяют собственные механизмы модерации и проверки подлинности материалов: «ПроДокторов» в рамках программы «Отзывы без обмана» описывает алгоритмы верификации, включающие защиту авторов и анонимность, что минимизирует риск фальсификаций отзывов; «Яндекс.Карты» модерирует все отзывы, удаляя недостоверные и нарушающие правила, при обязательной дополнительной проверке модераторами. Для обеспечения качества анализа из исходного корпуса исключались тексты, написанные не по-русски и дубликаты, а также тексты объемом менее 15 слов (примерно 80–100 символов), что позволило убрать малосодержательные записи. Очистка текстов включала удаление HTML-тегов, спецсимволов и чисел. Стоп-слова в задачах классификации и тонального анализа не удалялись, чтобы сохранить контекст, учитываемый предобученными моделями. Для токенизации и преобразования текстов в векторные представления использовалась предобученная модель ruRoBERTa Large от ai-forever через библиотеку Transformers.

В рамках тематического моделирования предобработка включала приведение текста к нижнему регистру, удаление пунктуации, удаление стоп-слов (производилось с использованием списка стоп-слов библиотеки NLTK) и лемматизация с помощью морфологического анализатора для русского языка pymorphy3, что позволило повысить качество выделения тем. Тематическое моделирование текстов отзывов проведено при помощи библиотеки BERTopic [16], которая дала возможность снизить размерность эмбеддингов (векторного представления текста) методом UMAP, после чего для выделения плотных кластеров и маркировки «шума» применялся алгоритм HDBSCAN. Далее для каждого кластера метод c-TF-IDF позволял выделить ключевые термины и сделать интерпретацию темы более наглядной. Выбор трансформерных моделей и BERTopic обусловлен их способностью формировать контекстуализированные эмбеддинги, устойчивые к разговорной лексике и орфографическим вариациям, и моделировать дальние зависимости в тексте посредством механизма самовнимания (self-attention) [10; 22; 29]. По сравнению с традиционными методами (TF-IDF + SVM, LDA) трансформеры обеспечивают более высокую точность классификации и лучшую интерпретируемость тематических кластеров. Для обеспечения воспроизводимости исследования код парсинга, предобработки текстов, дообучения классификатора и тематического моделирования размещен в открытом репозитории GitHub: SXlink/OPRsNLP. Репозиторий включает конфигурационные файлы с гиперпараметрами моделей и скрипт расчета интегрального балла.

Классификация аспектов качества услуг и тональный анализ отзывов выполнены с применением предобученных трансформерных моделей для русского языка. Для выделения аспектов качества услуг использовалась модель ruRoBERTa Large [31], дообученная на рандомизированной выборке (5020 размеченных отзывов), сформированной из исходного корпуса отзывов о медицинских организациях Санкт-Петербурга (далее выборка случайным образом делилась на обучающую и тестовую подвыборки в пропорции 70/30). Разметка корпуса выполнялась методом селективного кодирования по когнитивным и эмоциональным аспектам: каждому фрагменту текста присваивалась метка «позитивный» или «негативный» в зависимости от того, как в отзыве упоминался соответствующий аспект качества. Модель обучалась в течение пяти эпох; ее качество оценивалось по Macro F1-score (гармоническое среднее precision и recall, где precision — доля верно предсказанных объектов класса среди всех его предсказаний, recall — доля верно найденных объектов класса среди всех его истинных объектов) и достигло ~0,8053 на тестовой выборке; пороги вероятности для принятия меток по категориям были установлены выше 0,7 для обеспечения баланса точности и полноты кодирования массива с отзывами. Тональный анализ реализован в специальной версии ruRoBERTa Large RuGoEmotion от fyaronskiy, позволяющей классифицировать отзывы по широкому спектру эмоций (позитивные, негативные, нейтральные) и фиксировать лексико-семантические оттенки эмоциональных реакций.

Для внешней валидизации была проведена оценка согласованности результатов, полученных на корпусе неструктурированных текстовых данных, с показателями независимой оценки качества медицинских услуг (НОК) методом опроса Комитета по здравоохранению Санкт-Петербурга [5]. Для сопоставления показателей оценки качества на основе анализа отзывов с официальными баллами (НОК) по 120 медицинским организациям использовался ранговый коэффициент корреляции Спирмена: каждому отзыву присваивался интегральный балл по шкале 1–5: исходный балл 5 уменьшался на единицу за каждую негативную категорию; отсутствие упоминания негативного аспекта трактовалось как соответствие ожиданиям. Такой метод оценивания позволил учесть эмпирическую асимметрию описания опыта пациентов: в отзывах негативные аспекты услуги выделяются чаще, чем положительные, что согласуется с логикой теории ожидания-опровержения. Средние баллы организаций служили «онлайн-рейтингом» и сопоставлялись с НОК на основе опросных данных НОК [3] методом корреляционного анализа.

Результаты применения модели

Анализ содержания отзывов по выделенным в теоретической модели аспектам качества выявил следующую картину: по материальному аспекту зафиксировано 33 % позитивных и 18 % негативных упоминаний; по безопасности — 9 % позитивных и 5 % негативных; эффективность оказалась наиболее часто обсуждаемой категорией — 46 % позитивных и 37 % негативных упоминаний, что может указывать на существенную неоднородность практик и высокую заинтересованность пациентов в организационной составляющей медицинских услуг; межличностный аспект получил 48 % позитивных 19 % негативных упоминаний — практически каждый второй отзыв отмечал дружелюбие персонала, что делает этот аспект ключевым драйвером удовлетворенности; эмоциональные реакции доминируют — 65 % позитивных и 22 % негативных упоминаний, т.е. две трети отзывов содержат положительную эмоциональную окраску взаимодействия с клиниками. На рисунке 2 показано распределение упоминаний основных аспектов качества в текстах отзывов в абсолютных цифрах.

Рис. 2. Распределение отзывов по упоминанию аспектов качества

Детализированный тональный анализ показал, что среди позитивных эмоций (рис. 2) доминировало «восхищение» (56,8 % всех позитивных проявлений), затем «одобрение» (20 %) и «благодарность» (15,9 %), менее частые позитивные эмоции — «любовь» (2,8 %), «забота» (1,8 %) и «радость» (1,6 %) — свидетельствуют о присутствии личностно-ориентированных откликов, но их вклад в общий объем позитивных эмоций ограничен. Негативные эмоции распределились более равномерно (рис. 4): «разочарование» (27,8 %), затем «раздражение» (24,8 %) и «неодобрение» (22 %), реже встречались «отвращение» (10,7 %), «страх» (7 %) и «печаль» (4,9 %), указывающие на отдельные серьезные инциденты или состояния.

Рис. 3. Распределение позитивных эмоций в онлайн-отзывах

Рис. 4. Распределение негативных эмоций в онлайн-отзывах

Для конкретизации причин неудовлетворенности и выявления успешных практик, ассоциированных с высокой оценкой качества медицинских услуг, а также определения основных тем отзывов был проведен тематический анализ. Корпус отзывов был автоматически размечен по эмоциональной окраске и выделены две большие группы: с негативными эмоциями (5987 отзывов) и с позитивными (17523), нейтральные отзывы в анализ не включались. Разделение отзывов на две группы по признаку эмоционального тона обусловлено как содержательными, так и аналитическими соображениями: эмоциональная окрашенность отзыва, как правило, отражает общее восприятие пациентом полученной медицинской услуги, а значит, существенно влияет на тематическое наполнение текста. Для каждой подгруппы был проведен анализ методом BERTopic: выделены 72 темы в негативном корпусе и 132 — в позитивном. Были проанализированы 25 наиболее часто встречающихся тем в каждой группе, что дало компактную, но репрезентативную картину ключевых сценариев взаимодействия пациентов с системой здравоохранения.

В группе негативных отзывов заметно выделяются несколько крупных блоков: «доступность и логистика» — системные трудности записи (дозвон, сбои электронных форм, дефицит приемных «окошек»), частые задержки приема и длительные очереди (около 67 % негативных упоминаний, относящихся к аспекту эффективности); «взаимодействие с медицинским персоналом» — грубость, равнодушие, неполное информирование о диагнозе и плане лечения, которые усиливают чувство незащищенности; «дополнительные платежи и навязывание платных услуг» — аспекты, воспринимаемые как скрытая коммерциализация медицинской помощи; «инфраструктурные недостатки» — старые здания, тесные коридоры, антисанитария и неудобная навигация, плохая транспортная доступность, создающие ощущение пренебрежения базовыми условиями безопасности и комфорта. Отдельно выделяется блок «проблемы стоматологической помощи» — жалобы на боль, поспешные рекомендации к удалению зубов, низкое качество пломб, болезненное лечение: можно предположить, что пользователи с большей готовностью пишут отзывы о стоматологических услугах, что, возможно связано с наибольшим объемом таких услуг среди всей совокупности медицинских вмешательств (наряду со стоматологией в тройку наиболее востребованных услуг входят сдача анализов и диагностические процедуры, которые предположительно генерируют меньше отзывов).

В группе позитивных отзывов также было выделено несколько тематических блоков: «благодарность и признание профессионализма» — внимательное, чуткое отношение врачей и персонала, оперативность и компетентность в решении проблем; «улучшенная инфраструктура и комфорт» — ремонт, чистота, удобные зоны ожидания, парковка и грамотная регистратура; «слаженная командная работа» — доброжелательность и оперативность персонала, высокий уровень организации работы. Определенная часть позитивных отзывов просто фиксирует «отсутствие проблем», отмечается нормальная работа учреждения, соответствующая ожиданиям. Позитив в основном связан с качеством коммуникации, вниманием и организацией процесса, тогда как негатив сконцентрирован на нарушениях базовых ожиданий — доступности, предсказуемости и уважительном обращении. Особенно проблематичными оказались организация приема (запись, очереди, задержки) и финансовая практика; в стоматологии дополнительно выражены претензии к клинической компетентности и качеству процедур.

В целях внешней валидизации проведенного анализа мы сопоставили два источника данных: интегральные рейтинги медицинских организаций, рассчитанные на основе автоматизированного анализа онлайн-отзывов пациентов, и показатели НОК из отчетности Комитета по здравоохранению Санкт-Петербурга за 2023–2024 годы. По результатам этого сопоставления была установлена устойчивая положительная связь между показателями (коэффициент Спирмена ρ = 0,424, p < 0,001 при 95 % ДИ [0, 25; 0, 63]). Более высокие позиции медицинской организации в интегральной оценке по онлайн-отзывам, как правило, соответствовали более высоким формальным показателям по результатам опроса, несмотря на различия в инструментах сбора и шкалировании. Значимость и величина корреляции заметно превосходят результаты стандартной пятибалльной («звездной» — от 1 до 5 звезд) оценки, которую пациенты ставят при публикации онлайн-отзыва: корреляция со значениями НОК оказалось слабее (r ≈ 0,21; p ≈ 0,058). Сравнение двух подходов показывает, что предложенная методика шкалирования отзывов дает более точные результаты и лучше согласуется с формальными показателями удовлетворенности качеством медицинских услуг (анкетирование).

Распределение интегральных оценок по пятибалльной оценочной шкале продемонстрировало выраженный сдвиг в положительную сторону: среднее значение составило 3,95, медиана — 5, что отражает склонность пользователей к крайним (особенно положительным) оценкам (рис. 5). При этом предложенная шкала дает менее поляризованное распределение оценок: агрегированные оценки оказываются более сбалансированными по сравнению c пятибалльной оценочной шкалой, которая используется в сервисах для работы с отзывами, где преобладают крайние значения.

Рис. 5. Распределение оценок отзывов по двум шкалам

Таким образом, автоматизированный анализ текстов онлайн-отзывов дает релевантную и сопоставимую с результатами опроса картину восприятия качества медицинских услуг, при этом методика учета контента отзывов превосходит пятибалльную рейтинговую шкалу по степени согласованности, дает более равномерное распределение оценок, их меньшую поляризацию и тем самым позволяет выявлять не только крайние положительные и отрицательные мнения, но и умеренные оценки, отражающие рутинные аспекты оказания медицинской помощи и потому содержащие информацию о системных, а не исключительных проблемах и практиках, что делает их критически значимыми для управления качеством медицинских услуг. Полученные результаты подкрепляют идею продуктивности использования комбинации данных из онлайн-отзывов и опросных данных для более эффективного мониторинга качества медицинских услуг.

Следует отметить, что сопоставление рейтингов медицинских организаций, рассчитанных на основе анализа онлайн-отзывов и опросных показателей, охватывало только организации, которые вошли в выборку Комитета по здравоохранению Санкт-Петербурга, а структура онлайн-активности и характер удовлетворенности качеством услуг у пациентов других медицинских организаций могут отличаться. Кроме того, не все тексты отзывов поддаются распознаванию на предмет эмоционального тона и категориального анализа: многозначность, сарказм и отсутствие явно эмоционально окрашенных слов могут приводить к искажению результатов даже при достаточной надежности модели, продемонстрированной на тестовой выборке.

Важно подчеркнуть, что алгоритмы тематического моделирования эффективны в первую очередь на больших объемах текстов, соответственно, при применении данного подхода к оценке качества услуг медицинских организаций с невысокой онлайн-активностью пациентов потребуется предварительная адаптация алгоритмов и, возможно, использование ручного кодирования для повышения надежности выводов. Для корректного мониторинга необходим большой и регулярно пополняемый массив отзывов, при малом объеме данных репрезентативность существенно снижается. Поскольку характер публикаций в онлайн-среде отличается выраженной полярностью оценок, для более сбалансированного анализа необходимо стимулировать пациентов оставлять отзывы, а также формировать дополнительные каналы обратной связи, позволяющие фиксировать весь спектр опыта взаимодействия пациентов с конкретной медицинской организацией.

В целом методика анализа онлайн-отзывов — более доступная альтернатива или дополнение к более затратным опросным методам. Например, в рамках НОК традиционные опросы, как правило, охватывают лишь часть медицинских организаций, а остальные могут обследоваться с помощью анализа пользовательских отзывов, что позволит расширить охват и обеспечит непрерывный мониторинг при снижении затрат на сбор и обработку данных мониторинга удовлетворенности качеством медицинских услуг. Применение подхода, сочетающего количественное шкалирование отзывов с выявлением скрытых тем дает многомерную картину восприятия пациентами медицинских услуг и позволяет разрабатывать более конкретные рекомендации по совершенствованию медицинского обслуживания как для конкретных организаций, так и для городской системы здравоохранения.

About the authors

V. I. Dudina

Author for correspondence.
Email: viktoria_dudina@mail.ru
Smolny St., 1/3, Saint Petersburg, 191124, Russia

A. A. Karelin

Email: ansxim.51ru@gmail.com
Smolny St., 1/3, Saint Petersburg, 191124, Russia

References

Supplementary files