ИНФОРМАЦИОННО-ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ОЦЕНКИ РЕЙТИНГОВ В ВЫСШЕМ ОБРАЗОВАНИИ НА ОСНОВЕ МЕТОДОВ НЕЧИСЛОВОЙ СТАТИСТИКИ

Полный текст

Активное использование рейтингов, являющихся одним из вариантов систем сравнительной оценки, не случайно. Анализ зарубежного опыта также свидетельствует о постоянном росте внимания к системам сравнительной оценки. В то же время вопросам анализа качества рейтингов уделяется недостаточное внимание - «Берлинские принципы ранжирования высших учебных заведений» (Berlin Principles for Ranking Higher Education Institutions) [1] и «Правила аудита рейтингов» (IREG Ranking Audit Rules) [2] имеют декларативный характер и в большей степени служат рекомендациями, нежели основаниями для формального анализа. Процедуры интегральной сравнительной оценки в практически значимых ситуациях затрагивают интересы множества взаимодействующих субъектов (например, в системе образования это собственно образовательные организации, органы управления образованием, социальные группы и отдельные граждане), и поэтому их использование требует тщательного предварительного анализа корректности и адекватности их применения в определенной ситуации (формального - математического и содержательного - с использованием методов системного анализа). В связи с этим представляет интерес анализ существующих рейтингов на соответствие системным и математическим требованиям к результатам сравнительной оценки на основе использования ИКТ. Сравнительная оценка в традиционной постановке сводится, как правило, к формированию некоторого интегрального показателя деятельности объектов сравнения (интегрального рейтинга), и чаще всего реализуется на основании результатов метрического измерения. Соответственно, процедура формирования рейтинга основывается на обработке входной количественной (числовой) информации, в итоговый результат, также количественный, который далее используется в качестве интегрального рейтинга. Для интеграции (агрегирования) используется «взвешенная сумма», а учет относительной значимости частных показателей для интегральной оценки определяется выбором весовых коэффициентов. При этом не всегда учитывается, что применение подобного подхода корректно только при условии, что все использующиеся показатели и характеристики сравниваемых объектов являются метрическими - только в этом случае формирование интегральной оценки с использованием арифметических операций и аппарата математической статистики допустимо. На практике, как правило, имеет место ситуация, когда часть показателей - метрические (что позволяет использовать арифметические операции для их обработки и «традиционные» статистические параметры, такие, как среднее, дисперсия, и т.п.), другая часть - порядковые (для них содержательно определен только порядок «предпочтительности», а «обычные» арифметические операции не имеют смысла. В частности, это относится к показателям, полученными в результате экспертной оценки или обработки анкетной информации). Для совместной обработки метрических и порядковых показателей разработан специальный математический аппарат, к которому, в частности относятся методы нечисловой статистики [3], методы теории измерений [4] и неметрического шкалирования [5]. В практически значимых задачах использование указанных методов возможно только с применением информационно-программного обеспечения. В образовании существенная часть значимой для принятия решений информации носит неметрический характер. В качестве примеров показателей деятельности вузов, имеющих неметрический характер, можно привести показатели структуры научно-исследовательской деятельности (например, соотношение объемов бюджетного финансирования и объемов финансирования исследований: фундаментальных и прикладных исследований и разработок, учет объемов финансирования разработок по заказам промышленности), структуры профессорско-преподавательского состава (например, оценка оптимальности структуры НПС кафедры по ученым степеням и ученым званиям, оптимальности распределения нагрузки между ними и др.). Отмеченные особенности образовательных систем накладывают существенные ограничения на процедуры измерения и оценивания первичных характеристик, показателей деятельности и состояния системы. Формально эти ограничения отражаются в совокупности условий согласованного выбора, в требованиях к алгоритмам и процедурам интеграции информации и влияют на выбор методов формирования первичных и интегральных показателей деятельности. Подробный анализ таких ограничений и требований приводится, например, в работах [5; 6]. Проведенные в ходе выполнения НИР «Моделирование рейтинговых систем в образовании» исследования включают в себя анализ устойчивости рейтингов относительно вариации весовых коэффициентов, устойчивости относительно случайных изменений значений показателей деятельности (ошибки измерения показателей) и результаты корреляционного анализа: внутреннего - для оценки влияния частных показателей на интегральный рейтинг, и внешнего - для оценки соответствия рейтинга условиям согласованного выбора. В рамках этой работы алгоритмически и программно реализованы макетные версии программных модулей расчета, анализа и представления полученных результатов, включая их визуализацию. В данной работе представлены только результаты использования методов корреляционного анализа, полученные для внутренней оценки следующих рейтингов: - академический рейтинг мировых университетов [7]; - мировой рейтинг вузов журнала «Время высшего образования» [8]; - международный рейтинг университетов Рейтингового агентства RUR [9]. В рассматриваемом контексте корреляционный анализ направлен на оценку зависимости интегрального рейтинга от составляющих его частных рейтингов, количественно выраженную коэффициентом корреляции k, принимающим значения в интервале (-1, 1): - значения |k| < 0,3 свидетельствуют о незначительном влиянии частного рейтинга на результат ранжирования (более того, для значений k, близких к нулю, можно говорить о нецелесообразности включения данного частного показателя в рейтинговую систему); - значения |k| > 0,9 означают, что данный частный показатель «практически полностью» определяет интегральный рейтинг, что означает слабое влияние остальных показателей на результат ранжирования (как правило, это говорит о недостаточно обоснованном выборе либо системы показателей, либо алгоритма формирования интегрального рейтинга). Коэффициент ранговой корреляции интегрального и частного ранжирований отражает степень связи между ними - насколько отдельное направление деятельности влияет на общий результат. Представляется, что для разумно сконструированного рейтинга коэффициенты корреляции между интегральным ранжированием и частными ранжированиями должны быть приблизительно равными и лежать в интервале (0,4-0,9). Это условие можно рассматривать как одно из формализованных условий корректности рейтинга. Как отмечалось ранее, использование фактически качественных показателей деятельности вузов (как правило, оцифрованных в целях удобства расчетов интегрального рейтинга) не позволяет корректно использовать корреляционный анализ, предназначенный для применения в метрических пространствах. В связи с этим далее используются ранговые методы корреляционного анализа, т.е. частные рейтинги рассматриваются как упорядоченные последовательности ранжируемых объектов, а в качестве частного показателя рассматривается место объекта в этой последовательности. Коэффициент ранговой корреляции Спирмена ρ вычисляется по формуле: где R i - ранг i-го объекта в первом ранжировании; S i - ранг i-го объекта во втором ранжировании; n - число объектов. В случае если в ранжированиях есть объекты с одинаковым рангом, коэффициент корреляции Спирмена вычисляется следующим образом: где q и f - количество групп связанных объектов (с одинаковыми рангами) в первом и втором ранжированиях соответственно; u i x и u i y - число объектов в соответствующих группах. Для расчета коэффициентов ранговой корреляции в рамках проекта [7] программно реализованы следующие модули: - модуль сбора с соответствующих официальных сайтов и верификации первичной информации рейтингов ARWU, THE и RUR; - модуль расчета коэффициентов ранговой корреляции и оценки его значимости с дополнительными функциями выборки для расчета подмножества исходного множества объектов (на основе ранговых статистик - квантилей); - модуль визуализации результатов в графических и табличных формах. Полученные результаты для следующих рейтингов (курсивом выделены коэффициенты корреляции, соответствующие умеренной связи соответствующих показателей, жирным - соответствующие сильной связи): ARWU (табл. 1), THE (табл. 2), RUR (табл. 3). Таблица 1 Корреляция показателей рейтинга ARWU Показатель Award HiCi N&S PUB PCP Total Alumni 0,66 0,14 0,41 0,23 0,27 0,62 Award 0,22 0,52 0,05 0,41 0,72 HiCi 0,62 0,51 0,38 0,62 N&S 0,47 0,33 0,84 PUB -0,06 0,55 PCP 0,36 В таблице 1 использованы следующие обозначения: Alumni - количество выпускников - лауреатов Нобелевской или Филдсовской премии; Award - количество сотрудников - лауреатов Нобелевской или Филдсовской премии; HiCi - количество наиболее часто цитируемых исследователей в различных предметных областях; N&S - количество статей, опубликованных в журналах Nature и Science; PUB - количество статей, проиндексированных в ScienceCitationIndex - Expanded и SocialSciencesCitationIndex; PCP - академическая производительность на одного представителя научнопреподавательского состава вуза 1 . Для данного рейтинга можно отметить завышенную зависимость интегральной оценки (Total) от индикаторов Award и N&S. Таблица 2 Корреляция показателей рейтинга THE Показатель Интернационализация Доход от коммерческих cтруктур Цитирование (Scopus) Исследования Образование Доход от коммерческих структур -0,09 Цитирование (Scopus) 0,04 -0,20 Исследования 0,02 0,27 0,23 Образование -0,18 0,20 0,27 0,82 Интегральный рейтинг 0,09 0,19 0,52 0,88 0,84 Для рейтинга THE наблюдается завышенная зависимость интегрального рейтинга от индикаторов «Образование» и «Исследования», в пределах нормы зависимость от индикатора «Цитирование», при практическом отсутствии зависимости интегрального рейтинга от остальных индикаторов. Можно предположить, что их исключение не повлечет за собой сколько-нибудь значительного изменения порядка университетов в рейтинге. Таблица 3 Корреляция показателей рейтинга RUR Показатель Исследования Интернационализация Финансовая деятельность Инновации Социальная среда Интегральный рейтинг Образование 0,52 0,23 0,62 0,47 0,66 0,82 Исследования 0,57 0,77 0,90 0,71 0,90 Интернационализация 0,35 0,69 0,48 0,55 Финансовая деятельность 0,66 0,64 0,83 Инновации 0,69 0,83 Социальная среда 0,79 Особенностью международного рейтинга университетов (Round University Ranking) является высокая и относительно равномерная корреляционная зависимость интегрального рейтинга от всех индикаторов. Коэффициенты ранговой корреляции Спирмена между интегральным рейтингом и остальными индикаторами (представленные в последнем столбце табл. 3), за исключением одного, лежат в интервале от 0,79 до 0,90, разброс коэффициентов корреляции составля- ет 0,11, что позволяет сделать вывод, что данный рейтинг достаточно хорошо сбалансирован. Приведенный подход к анализу и соответствующие программные средства для его проведения были использованы для оценки предметных и отраслевых вариантов рассмотренных рейтингов, что позволило сделать выводы об ограниченной целесообразности их использования в рамках российской системы образования. Следует отметить, что предложенный подход можно использовать также при разработке новых рейтингов для обеспечения их формальной и системной обоснованности. Результаты анализа устойчивости рейтингов относительно вариации весовых коэффициентов, устойчивости относительно случайных изменений значений показателей деятельности (ошибки измерения показателей) и оценки соответствия рейтинга условиям согласованного выбора будут представлены в следующих публикациях.

Об авторах

В Ж Куклин

Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации

Автор, ответственный за переписку.
Email: vzh.kuklin@gmail.com

Куклин Владимир Жанович, доктор технических наук, доцент, ведущий научный сотрудник Центра экономики непрерывного образования Российской академии народного хозяйства и государственной службы при Президенте Российской Федерации.

пр-т Вернадского, 82, Москва, Россия, 119571

В А Виноградов

Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации

Email: viktor.vinogradov@gmail.com

Виноградов Виктор Александрович, научный сотрудник Центра экономики непрерывного образования Российской академии народного хозяйства и государственной службы при Президенте Российской Федерации.

пр-т Вернадского, 82, Москва, Россия, 119571

Список литературы