Перспективы продвижения российских вузов в международном академическом рейтинге ARWU

Полный текст

В последние годы рейтинги стали важным атрибутом глобального рынка образовательных услуг. И хотя ни один из них не может предложить объективной картины, нельзя не согласиться с тем, что этот инструмент сегодня формирует академическую реальность. Ученые и руководители в сфере образования проявляют большой интерес к системе рейтингов, поскольку методика измерения оказывает огромное влияние на результат, а он, в свою очередь, может определять благополучие университетов, распределение ресурсов, качество абитуриентов и т.д. [2].

Интерес к разработке методологии международных рейтингов университетов возрастает во всем мире, так как нет единой системы рейтингования. Методология мирового рейтинга постоянно совершенствуется — разные методики и индикаторы достижений стали неотъемлемым элементом глобальных рейтингов университетов. Научная деятельность и разработка новых технологий становятся все более важным направлением в работе вузов, в том числе в России. В то же время методология построения мировых рейтингов университетов постоянно подвержена критике из-за возможных смещений и отчасти реальных слабостей методологии рейтингов.

Методология академического рейтинга ARWU

Академический рейтинг мировых университетов ARWU, который часто называют «Шанхайский рейтинг», составляется Шанхайским университетом Цзяо Тун ежегодно с 2003 года [1]. С 2009 года ARWU ежегодно публикуется и охраняется авторским правом Shanghai Ranking Consultancy — организацией, специализирующейся на рейтинговании и аудиторской оценке вузов, которая юридически не подчиняется никаким образовательным или государственным учреждениям. В 2011 году для расширения методологии был создан международный совет из ученых и исследователей — видных представителей разных предметных областей. Сегодня ежегодно публикуются глобальные рейтинговые таблицы вузов в целом и по отдельным предметным областям, а также независимые региональные рейтинги для Китая и глобального мирового пространства [1].

ARWU получил положительные отзывы за объективность и методологию, но вызывает широкую критику со стороны академического сообщества за тенденцию оценивать крупные образовательные учреждения в ущерб небольшим образовательным организациям [2]. В настоящее время ARWU учитывает более 2000 мировых университетов, но публикует результаты лучшей тысячи вузов. Изначальной целью рейтинга считалось сокращение разрыва между китайскими вузами и университетами мирового класса, в частности, с точки зрения академической и научно-исследовательской деятельности. Очень рейтинг быстро привлек внимание широкой академической общественности, и теперь его результаты публикуются на сайтах университетов и считаются показателем престижа вуза.

Методология оценки ARWU строится на 4 основных показателях: качество образовательного учреждения, качество выпускающих структурных подразделений (факультетов), результаты научно-исследовательской деятельности и академические достижения (Табл. 1).

Таблица 1. Методология оценки ARWU

Критерий	Индикатор	Код	Вес	Источник	Источники
Качество образования	Выпускники, получившие Нобелевскую премию или медаль Филдса	Alumni	10 %	Сайт Нобелевских лауреатов и медалистов  Филдса	http://www.nobelprize.org/ http://www.mathunion.org/
Качество научного состава	Сотрудники, получившие Нобелевскую премию или медаль Филдса	Award	20 %	Сайт Нобелевских лауреатов и медалистов Филдса	http://www.nobelprize.org/ http://www.mathunion.org/
	Высокоцитируемые исследователи	HiCi	20 %	Web of Science	https://clarivate.com/hcr/
Результаты исследований	Количество статей в журналах «Nature» и «Science»	N&S	20 %	Индекс цитирования	http://www.webofscience.com/
	Количество статей, проиндексированных  в Science Citation  Index-Expanded (SCIE)  и Social Science Citation  Index (SSCI)	PUB	20 %	Индекс цитирования	http://www.webofscience.com/
Общий показатель	Академические достижения учебного заведения	PCP	10 %	–	Разные источники (министерства образования, бюро статистики и т.д.)

 

Каждый показатель имеет внутреннее ранжирование по баллам каждого критерия, что значительно усложняет систему расчетов. Так, критерий Alumni считает выпускниками вуза студентов, закончивших основную или совместную программу бакалавриата, магистратуры, аспирантуры или докторантуры и получивших соответствующую степень (в случае неудовлетворительной сдачи экзаменов диплом может выдаваться без присвоения степени, и такие студенты не считаются выпускниками). Стоимость баллов для выпускников 2011–2021 года составляет 100 %, выпускников 2001–2010 — 90 %, 1991– 2000 — 80 %, а для получивших степень ранее — 10 % совокупно. Во избежание задвоения статистической информации выпускник считается закончившим вуз только один раз — по наивысшей освоенной ступени образования.

Критерий Award использует аналогичную систему оценки применительно к сотрудникам. Так, общее количество сотрудников вуза делится на количество сотрудников, получивших Нобелевскую премию или Медаль Филдса в той же пропорции, что и для учащихся: для получивших награду в 2011–2021 годах она составляет 100 %, в 2001–2010 — 90 %, 1991–2000 — 80 %, ранее — 10 % совокупно. Здесь не действует правило, распространяющееся на выпускников — награды засчитываются для учебного заведения столько раз, сколько сотрудник оказывался лауреатом. Если сотрудник аффилирован более чем с одним университетом, баллы присваиваются каждому учебному заведению. Если сотрудник получил награду в составе научного коллектива, количество присваиваемых баллов зависит от его доли участия.

Критерий HiCi зависит от публикуемых иным рейтинговым агентством (Thomson Reuters) списков цитирований мировых ученых. При этом список обновляется достаточно редко: первый вышел в 2001 году, второй — в 2014, выход третьего запланирован на 2025 год. ARWU учитывает данные обоих списков в равной степени. Несмотря на это, критерий HiCi — самый сложный для выполнения не только российскими, но и мировыми вузами, особенно «молодыми». Первый список содержит около 6000 имен исследователей, тогда как второй — всего 3000, повторяя многие имена из списка 2001 года.

Для критерия N&S также принято рассчитывать внутреннее распределение баллов. Помимо того, что в критерии учитываются только публикации типа «Article» (статья), количество баллов по данному критерию зависит от количества соавторов и их аффилиаций. Так, если у статьи только один автор, то вуз получает 100 % баллов, если же у статьи несколько соавторов, то расчет идет по схеме: 50 % для вуза, с которым аффилирован первый автор, 50 % — для второго автора, если он прикреплен к тому же вузу, 25 % — если он аффилирован с другим вузом, и 10 % — для остальных соавторов с любыми аффилиациями.

По критерию PUB требования не столь строги, и каждый соавтор получает равный полный балл за публикацию, но для уравновешения показателей технических и гуманитарных вузов, каждая статья, проиндексированная в SSCI, считается за 2.

Критерий PCP также иногда представляет сложность для вузов постсоветского пространства, в частности российских. Основной категорией оценки выступает средневзвешенный показатель по всем предыдущим пунктам, разделенный на количество сотрудников профессорско-преподавательского состава, работающих на полную ставку. При этом не учитывается реальное количество преподавателей, в том числе приглашенных лекторов, совместителей и педагогов дополнительного или послевузовского образования, а также сотрудников, работающих на неполную ставку.

Таким образом, можно говорить о следующей специфике методологии ARWU: рейтинговая оценка зависит от наличия лауреатов всемирных премий в преподавательском составе или в числе выпускников; она в большей степени рассчитана на вузы, занимающиеся естественными и физико-математическими науками, и на крупные университеты, в штате которых есть ученые, получившие мировое признание; при ранжировании вузов гуманитарно-социальной направленности баллы не могут быть адекватно распределены за счет ориентации оценочных индикаторов на достижения в области естественных и физико-математических наук. Авторы рейтинга отмечают, что при распределении данных каждого индикатора учитывали значимые смещения, и в «случае необходимости для корректировки индикаторов использовали стандартные статистические техники» [13], однако саму методику учета смещений не публикуют.

Сравнительная методология  рейтинга ARWU

Несомненно, рейтинги обеспечивают администрацию вузов и правительственных чиновников четкой и адекватной картиной качества высшего образования. Тем не менее, важны не только на рейтинги, но и имидж университета, не закрепленный в мировых рейтингах. К тому же в ранжировании вузов учитываются факторы, которые не влияют на уровень подготовки выпускников, например, количество выпускников-лауреатов Нобелевской премии за всю историю вуза. Кроме того, мировые вузы участвуют в конкурентной борьбе не только за абитуриентов, но и за дополнительное финансирование — наука и образование становятся предметом экономического обмена [1].

Итак, принципы построения мировых рейтингов университетов не лишены недостатков, начиная с первой публикации Шанхайского рейтинга в 2003 году. Критика касается, в первую очередь, трех аспектов методологии: выбора индикаторов качества университетов; качества сбора данных по ним; выбора способа агрегирования данных.

Индикаторы качества. Следует понимать, что рейтинг связан с исследовательской работой университетов, и «даже для этого единственного параметра занимает очень радикальную позицию» [12]. В частности, в рейтинге ARWU отсутствуют критерии, характеризующие процесс обучения, качество преподавания и успеваемость студентов, кроме последующего присуждения Нобелевской или Филдсовской премии. Используются только библиометрические данные без учета репутационных характеристик, которые могут быть получены посредством опроса представителей академического сообщества [13]. Более эффективным способом отразить качество университета является использование показателей, которые отражают «выходные» характеристики студентов (результаты их учебы) по критериям, наиболее значимым в конкретном социальном контексте, — они характеризуют человеческий капитал (по Г. Беккеру), сформировавшийся в результате деятельности университета. Если речь идет о рейтингах для страны, то критерии должны отражать «выходные» качества студентов, наиболее ценные в данной стране; если речь идет о мировых рейтингах, то следует использовать некие универсальные критерии. Проблематично и включение в рейтинг получения сотрудниками Нобелевской премии или медали Филдса, так как награда засчитывается университету, где ученые работали на момент ее получения, а не в момент совершения открытия. Существует и проблема усреднения — разные подразделения университета могут демонстрировать разные уровни качества исследовательских работ [14].

Индекс цитирования хорошо работает для естественных наук и математики, гораздо хуже — для инженерии, социальных и гуманитарных дисциплин, что связано с разной ролью статей в разных областях науки. Данный факт дал основание Т. Бейтсу утверждать, что глобальные рейтинги университетов основаны на некоем мошенничестве: абитуриенты и их родители, пользующиеся такими рейтингами, наверняка будут разочарованы [13]. По его мнению, рейтинги создают замкнутый круг: вузы все больше инвестируют в исследования, чтобы повысить свой рейтинг, и тем самым надувается «исследовательский пузырь», который может и не отражать качества образования. Есть основания полагать, что весовые коэффициенты исследовательской деятельности несколько завышены и требуют дополнительного изучения [4].

Способы агрегирования. Согласно концепции многокритериального принятия решений, веса показателей не должны интерпретироваться как отражающие «важность критерия» — они связаны с нормализацией критериев и их необходимо пересчитывать, если что-то меняется в процессе нормализации. Рейтинг не должен служить основанием для принятия решений ни студентами и их родителями, ни управляющими структурами, поскольку имеет такие недостатки, как [11]: нерациональная периодичность исследований — показатели рейтинга (связанные с исследованиями передового уровня) не могут сильно измениться за год, поэтому изменения рейтинга связаны скорее со случайными флуктуациями, чем реальными изменениями в университетах. В то же время руководители, принимающие решения, считают изменения рейтинга реальными. Усугубляют ситуацию существенные изменения методологии рейтинга от года к году. Разработчики рейтинга используют для разных показателей разные периоды времени без обоснований: сто лет для Alumni и Award, 20 — для HiCi, 5 — для N&S, и 1 год — для PUB. Кроме того, проанализировав результаты рейтинга за все время его существования, можно убедиться в том, что лидирующие позиции занимают англоязычные вузы. Данная тенденция поддерживается давно сформировавшейся системой научного цитирования: на Западе имеется пул журналов, публикации в которых учитываются при рейтинговании. Кроме того, существует негативная практика, когда авторы этих журналов ссылаются друг на друга. Статьи в некоторых национальных журналах могут не уступать по уровню англоязычным работам, но остаются за рамками систем цитирования. Иными словами, на повестку дня выносится проблема языковой либерализации глобальных рейтингов университетов, хотя это отчасти справедливое требование представляется нереалистичным и вряд ли может изменить сложившуюся иерархию университетов.

Предметный рейтинг ARWU

Помимо общеуниверситетского рейтинга, в системе оценки ARWU существуют предметные рейтинги (предметные области и специализации), методология оценки которых не отличается от общей методологии — только составом вузов. Предметные рейтинги составляются по 5 расширенным предметным областям: естественные науки и математика (SCI); инженерия/технологии и компьютерные науки (ENG); биологические науки (LIFE); клиническая медицина и фармация (МЭД); социальные науки (SOC). Причем не все специальности были проранжированы в предметных рейтингах ARWU. Например, Arts & Humanities (искусство и гуманитарные науки) не участвуют в рейтинге по причине технических трудностей сопоставления результатов данной отрасли с естественно-научным и техническими направлениями. Также в рейтинги не входит Psychology & Psychiatry (психология и психиатрия) — в связи с многопрофильными характеристиками специальностей, которые сложно оценивать их в рамках одной отрасли. Также для предметных рейтингов характерна дивесифицированная система оценки: некоторые категории неприменимы для ряда отраслей, а для других вводятся дополнительные критерии (Табл. 2).

По каждому показателю учебному заведению, получившему наивысший балл, присваивается 100 баллов, а другим учреждениям — процент от наивысшего балла. Распределение данных по каждому показателю проверяется на наличие любого значительного искажающего эффекта, при необходимости используются стандартные статистические методы для корректировки показателя. Баллы по каждому показателю взвешиваются, чтобы получить окончательный общий балл для учреждения. Вузу, получившему наивысший балл, присваивается 100 баллов, а другим учреждениям — процент от наивысшего общего балла. Затем баллы располагаются в порядке убывания — получается субъектно-зависимая прогрессивная шкала ранжирования, где показатели смещаются в зависимости от учреждений, получивших наивысшую оценку (6).

Российские вузы в академическом рейтинге ARWU

На данный момент Шанхайский рейтинг считается наиболее сложным для российских вузов по причине его методологии, что подчеркивает разницу между китайской и российской системами высшего образования. Тем не менее, по данным на 2021 год, 9 российских вузов заняли позиции в рейтинге ARWU: все они активно участвуют в проектах модернизации и государственной поддержки ведущих университетов в рамках национальной программы «Наука и университеты», а также участвовали в программе создания федеральных и национальных университетов (Табл. 3).

Ряд вузов, ранее представленных в рейтинге, постепенно начали выходить из списка в связи с вытеснением вузами других стран. Особенностью академического рейтинга ARWU становится то, что в нем представлены не все вузы, проходящие оценку, а только те, что по сумме баллов смогли войти в первую тысячу. Так, на момент создания рейтинга в 2003 году, в него вошли два российских вуза, до сих пор занимающие лидирующие позиции — это МГУ им. М.В. Ломоносова и СПбГУ (соответственно, 102–151 и 401–500 позиции). В 2016 году в рейтинг был включен Новосибирский государственный университет, в 2011 году участвовавший в национальной программе «Образование» и получивший звание национального университета, а в 2015 выигравший конкурс на продвижение в международных рейтингах. В 2018 году в рейтинг вошли Уральский федеральный университет (УрФУ), НИУ ВШЭ, Томский государственный университет (ТГУ), Университет ИТМО, Санкт-Петербургский политехнический университет им. Петра Великого (СПбПУ), и Томский политехнический университет (ТПУ). При этом СПбПУ и ТПУ более не появлялись в рейтинговых списках. В 2019–2020 годы в рейтинг попали Казанский (Приволжский) федеральный университет (КФУ) и Национальный исследовательский технический университет МИСиС, выпавшие из рейтинга в 2021 году. Впервые в том же году в рейтинг попал российский медицинский вуз — Первый московский государственный университет им. И.М. Сеченова (Сеченовский университет).

Таким образом, анализ рейтинга за последние 10 лет (2012–2022) показывает, что 7 российских вузов стабильно удерживают в нем позиции. Все российские вузы, получившие позиции в рейтинге, в недавнем времени открыли специализированные научно-исследовательские центры, институты или лаборатории, реализуют программы высшего технического или естественно-научного направления (включая медицину) и ведут исследования в данных областях в составе российских и международных научных коллективов. Будущее российских вузов в системе академического рейтинга ARWU зависит от развития образовательных и научных программ технической направленности, а также от развития фундаментальной науки в России в целом. Российским университетам следует обратить внимание на международные научно-технические мероприятия для повышения своей узнаваемости на мировом образовательном рынке и заключения международных коллабораций с вузами и научно-исследовательскими институтами. Основной трудностью для российских вузов в процессе вхождения и удержания позиций в ARWU становится отсутствие научных школ и коллективов, которые могут осуществлять исследования и публиковать их результаты в международных базах данных. Возможным решением может стать создание научно-исследовательских лабораторий на базе вузов и специальных программ академической мобильности сотрудников.

Таблица 3. Российские вузы в ARWU

Вуз	Позиция
Год	2012	2013	2014	2015	2016	2017	2018	2019	2020	2021
МГУ	80	79	84	86	87	93	86	87	93	97
СПбГУ	401– 500	301– 400	301– 400	301– 400	301– 400	301– 400	301– 400	301– 400	301– 400	301– 400
МФТИ						501– 600	401– 500	401– 500	401– 500	501– 600
НГУ					401– 500	401– 500	401– 500	401– 500	501– 600	601– 700
НИУ МИФИ								601– 700	701– 800	701– 800
УрФУ							701– 800	701– 800	701– 800	701– 800
НИУ ВШЭ							901– 1000	901– 1000	801– 900	601– 700
ТГУ							701– 800	801– 900	801– 900	901– 1000
ИТМО							801– 900	801– 900	901– 1000
КФУ								801– 900	901– 1000
МИСиС								801– 900	901– 1000
СПбПУ							901– 1000
ТПУ							901– 1000
Сеченовский университет										801– 900

 

Российские вузы в предметных рейтингах ARWU в 2021 году

Предметный рейтинг представляет собой ранжирование университетов мира, прошедших аудит ARWU по отдельным предметным областям, поэтому в предметные рейтинги могут быть включены университеты, не вошедшие в общий рейтинг. По предметному рейтингу (Табл. 4) МГУ оказался на позициях 51–75 — была высоко оценена программа по физике. На тех же местах разместились ТПУ, СПбГУ и НИТУ «МИСиС»: первый оказался в топе рейтинга по специальности «Машиностроение», второй — «Автоматизированное управление», третий — «Металлургия». СПбГУ был также включен в рейтинги по специальностям «Добыча полезных ископаемых» и «Горнодобывающее машиностроение» — места 76–100. РУДН впервые вошел в предметный рейтинг «Математика» в 2020 году, расположившись среди 301–400 лучших университетов.

Таблица 4. Позиции российских вузов в ARWU

Название вуза	Область	Позиция
МГУ им. М.В. Ломоносова	Физика	51–75
НИТУ «МИСиС»	Металлургия	51–75
НИУ БелГУ	Металлургия	76–100
СПбГУ	Автоматизация и управление	51–75
СПбГорный	Горное дело и добыча минералов	76–100
НИУ ИТМО	Автоматизация и управление	76–100
НИУ ТПУ	Машиностроение	51–75

Всего в предметный рейтинг в 2021 году вошли 19 российских вузов по следующим предметным областям [7]: математика, физика, нанонауки и нанотехнологии, науки о Земле, приборостроение, химические технологии, материаловедение и технология материалов, металлургия, метеорология, химия, автоматизация и управление, горное дело и добыча минералов, энергетические науки и технологии, экономика, социология, машиностроение, политология, биотехнологии, деловое администрирование, управление, сельскохозяйственные науки, экология, электротехника и электроника, психология, фармакология, биологические науки, телекоммуникационные технологии, компьютерные науки и технологии, клиническая медицина, география (Табл. 5). Шанхайский глобальный рейтинг по предметным областям на 2021 год содержит рейтинги по 54 предметным областям в категориях естественных наук, инженерно-технических наук, наук о живой природе, медицинских и общественных наук. Было оценено 4000 университетов из 93 стран и регионов, в рейтинг вошло более 1800 университетов.

Самым «слабым» показателем для вузов России, представленных в рейтинге, уже не первый год является число часто цитируемых исследователей, работающих в 21 предметной области (HiCi). Причиной может быть как отсутствие интереса к российским исследованиям со стороны мировой научной общественности, слабая интеграция отечественной науки в мировое образовательное пространство, так и склонность западных ученых ссылаться на своих коллег-соотечественников.

Таблица 5. Позиции российских вузов в предметных рейтингах 2021 года

Университет	Число предметных рейтингов
Московский государственный университет им. М.В. Ломоносов	12
НИУ Высшая школа экономики	7
Санкт-Петербургский государственный университет	5
Новосибирский государственный университет (НИУ)	5
Московский физико-технический институт (НИУ)	3
НИТУ «МИСиС»	3
Томский государственный университет (НИУ)	3
Национальный исследовательский ядерный университет МИФИ	2
Санкт-Петербургский политехнический университет Петра Великого	2
Сколковский институт науки и технологий	2
Томский политехнический университет (НИУ)	2
Белгородский государственный университет (НИУ)	1
Казанский федеральный университет	1
Нижегородский государственный университет им. Н.И. Лобачевского (НИУ)	1
Российская экономическая школа	1
Российский университет дружбы народов	1
Санкт-Петербургский горный университет	1

Недостаточно высокие результаты МГУ и СПбГУ демонстрируют и по показателю «число статей, опубликованных в журналах Nature и Science» (N&S) в сравнении с ведущими университетами мира. Но есть и такие показатели, по которым МГУ вполне может конкурировать с первой десяткой университетов мирового рейтинга. Например, МГУ и СПбГУ занимают высокие места в категории «выпускники» благодаря ученым, получившим награды в предшествующие годы (у МГУ 11 лауреатов Нобелевской премии в XX веке (последними ее получили физики А.А. Абрикосов и В.Л. Гинзбург в 2003 году) и 6 лауреатов медали Филдса (последним ее получил выпускник МГУ 1991 года, математик А.Ю. Окуньков — в 1996 году он уехал в США и был удостоен этой награды в 2006 году как американский ученый).

***

Таким образом, рейтинги ARWU являются одной из самых авторитетных систем рейтингования вузов наравне с рейтингами QS и THE. Общая методология данного рейтинга основывается на оценке ряда показателей и их весового соотношения, но с приоритетной ориентацией на естественно-научные отрасли и вузы. Основные причины критики ARWU — это обязательное наличие лауреатов наиболее престижных мировых премий в числе профессорско-преподавательского состава и выпускников, учет которых идет за каждые 10 лет; ориентация на физико-математическую и естественно-научную отрасли (в том числе при учете публикаций сотрудников и их награда), ориентация на крупнейшие и старейшие университеты мира, а также англоцентричность в подсчете количественных показателей. Для российских университетов участие и укрепление позиций в рейтингах ARWU — достаточно сложная задача вследствие частичного несовпадения систем высшего образования. Так, в 2021 году всего 19 российских вузов смогли попасть в рейтинг, причем самым сложным пороговым значением является критерий HiCi, учитывающий количество ведущих мировых ученых, аффилированных с вузом. Непременным условием для вхождения в международных рейтинг ARWU и удержания позиций для российских вузов становится создание специализированных научно-исследовательских лабораторий, развитие собственных научных школ и участие в международных научных проектах.

Об авторах

Юлия Николаевна Эбзеева

Российский университет дружбы народов

Email: ebzeeva_yun@pfur.ru

кандидат филологических наук, заведующая кафедрой иностранных языков филологического факультета, первый проректор - проректор по образовательной деятельности

ул. Миклухо-Маклая, 6, Москва, 117198, Россия

Луиза Нахидовна Гишкаева

Российский университет дружбы народов

Автор, ответственный за переписку.
Email: gishkaeva_ln@pfur.ru

кандидат филологических наук, доцент кафедры иностранных языков филологического факультета

ул. Миклухо-Маклая, 6, Москва, 117198, Россия

Список литературы

Дополнительные файлы

Нет дополнительных файлов для отображения