Approaches to assessing the scientific and technological activities of scientific consortia in Russia and Europe

Full Text

Введение Научнотехнологическое развитие имеет важнейшее значение для экономики любой страны. В Российской Федерации в 2024 г. указом Президента утверждена Стратегия научнотехнологического развития Российской Федерации до 2030 г., определяющая девять приоритетных направлений, по которым в России должны достигаться значимые научные и научнотехнические результаты, а также создаваться отечественные наукоемкие технологии. Также в Стратегии обозначена и модель международного научнотехнического сотрудничества, ориентированная на взаимодействие России со странами ЕАЭС, БРИКС, ШОС[9]. Одним из инструментов такого взаимодействия могут стать международные научные консорциумы (НК), создаваемые на базе научных и образовательных организаций, а также представителей бизнес сообщества, расположенных в дружественных странах, например в странах ЕАЭС (Белов, 2022). Цель исследования - изучение подходов к оценке научнотехнологической деятельности в России и странах Европы, в т.ч. используемых для этого индикаторов (показателей) с последующим предложением рекомендаций для создания международного консорциума с участием организаций, проводящих научные исследования и расположенных в странах ЕАЭС. Консорциумы - достаточно популярная как в России, так и за рубежом форма научной коллаборации (Сигова, Банников, 2014) - бывают разных типов и создаются на базе как научных, так и образовательных организаций, а также организаций реального сектора экономики. К основным типам научных консорциумов, созданным в России за последние 5 лет, можно отнести: y научные центры мирового уровня (НЦМУ), которые занимаются фундаментальными исследованиями преимущественно поискового характера и в большей степени финансируются из средств федерального бюджета; y научнообразовательные центры мирового уровня (НОЦ), которые включают в свой состав представителей бизнеса и производства и финансируются, в большей степени, из средств регионального бюджета; y созданные на базе вузов региональные научнообразовательные математические центры (НОМЦ), деятельность которых направлена на привлечение школьников в науку. В мире также создаются НК. Помимо действующих объединений, таких как Helmholtz Association (Германия), CERCA (Каталония, Испания) и др., в Европе существуют целые программы по финансированию создания новых. В частности, в Европейском Союзе (EC) с 2021 г. реализуется рамочная программа по развитию научных исследований и технологий Horizon Europe (Горизонт Европа) направленная на финансирование консорциумов, созданных на базе организаций расположенных в странах ЕС, а также в странах неассоциированных с ЕС, и даже не находящихся в Европе. Консорциумы создаются для проведения исследований и получения научных результатов по тем направлениям, где совместное участие дает дополнительные преимущества (Данилова, 2021). К таким преимуществам можно отнести: y кооперация в реализации научных исследований фундаментального и прикладного характера; y синергетический эффект от совместной научной деятельности коллективов разных научных организаций; y получение уникальных междисциплинарных научных результатов фундаментального и прикладного характера; y совместное использование научного оборудования, лабораторий, уникальных научных установок, центров коллективного пользования; y возможность добавления в консорциум нового члена с целью решения дополнительных задач. В связи с тем, что консорциум объединяет несколько научных организаций, которые кардинально могут отличаться друг от друга подходами к исследованиям, инфраструктурой, основными направлениями деятельности, размерами, методы оценки научной деятельности консорциума должны иметь свои специфические особенности. В то же время не следует пренебрегать и подходами к оценке, которые применяются по отношению к научным и образовательным организациям высшего образования, не входящим в состав консорциумов (Гончарова, 2021). С целью создания международного НК необходимо изучить как российский, так и иностранный опыт такой оценки. Методы исследования и литература В процессе углубленного изучения подходов к оценке научнотехнологической деятельности в странах Европы и России применены методы статистического анализа и экспертной оценки. В качестве источников для анализа использовались нормативные правовые акты, регламентирующие работу научных консорциумов в России, зарубежные отчеты о мониторинге деятельности консорциумов за рубежом, доклады иностранных государственных руководителей в области науки и образования. Экспертная оценка автора складывалась на основании опыта, полученного в ходе руководства темами государственных заданий Минобрнауки России по сопровождению работы НК, созданных в рамках реализации национального проекта «Наука и университеты». Проведен анализ публикаций авторов по тематике, связанной с научными / научнообразовательными консорциумами. Так например, М.И. Бочаров проводит исследование зарубежного опыта создания научнообразовательных консорциумов (Бочаров, 2012), П.А. Витязь и В.К. Щербин рассматривают технологические цепочки познания в рамках международных научнотехнологических консорциумов (Витязь, Щербин, 2020), Ю.В. Евстафьева утверждает, что недостаточная кооперация в экономике государства является тормозом научнотехнологического развития (Евстафьева, 2019), И.Ж. Искаков и Е.Е. Ланина описывают опыт создания консорциума «Евразийский сетевой университет» (Искаков, Ланина, 2023), в научном труде С.М. Лесина и Д.А. Махотина Д.А. показано как коллаборация может эффективно решать масштабные научно образовательные задачи (Лесин, Махотина, 2020), в статье С.М. Лесина рассмотрены международные научные объединения, в т.ч. консорциумы (Лесин, 2021), основные подходы к финансовым и институциональным условиям возникновения научнообразовательных консорциумов представлены в работе Е.И. Харчишиной (Харчишина, 2024). Подходы к оценке научноисследовательской деятельности в России С 2018 г. в России в рамках реализации национального проекта «Наука и университеты» создан 41 НК, в т.ч. 17 НЦМУ, 15 НОЦ и 12 НОМЦ2. Подходы к оценке научной деятельности консорциумов схожи для разных их типов. В целом оценка осуществляется путем анализа годовой отчетности научных центров. До 31 января года, следующего за отчетным, консорциумы направляют в Минобрнауки России отчетную документацию: отчет о достижении целевых показателей, развернутый научный отчет и финансовый отчет. Далее Минобрнауки России направляет научные отчеты в РАН, где профильные 2 Паспорт национального проекта «Наука и университеты». URL: https://minobrnauki.gov. ru/upload/2022/06/%D0 %9D%D0 %9F%20 %D0 %9D%D0 %B0 %D1 %83 %D0 %BA%D0 %B0 % 20 %D0 %B8 %20 %D1 %83 %D0 %BD%D0 %B8 %D0 %B2 %D0 %B5 %D1 %80 %D1 %81 %D0 % B8 %D1 %82 %D0 %B5 %D1 %82 %D1 %8B.pdf (Дата обращения: 15.03.2024) специалисты оценивают научные достижения и готовят заключения о целесообразности или нецелесообразности продолжения исследований. Достижение целевых показателей рассматривается в Минобрнауки России. Далее, специально созданный для этих целей орган - Совет по созданию и развитию консорциумов - путем голосования, которое длится не более недели, утверждает решение о принятии отчетности и продлении финансирования на следующих год. Для оценки деятельности НК используются типовые целевые показатели (табл. 1). Таблица 1 Целевые показатели, применяемые для оценки деятельности научных консорциумов в России Целевой показатель НЦМУ НОЦ НОМЦ Количество российских и зарубежных ведущих ученых, работающих в центре v v Количество молодых исследователей центра до 39 лет v v v Доля иностранных исследователей центра в общей численности исследователей центра v v v Доля исследований, проводимых центром под руководством молодых v Число образовательных и (или) исследовательских программ, разработанных центром, для молодых исследователей, аспирантов, студентов и (или) иных категорий обучающихся v v v Количество молодых исследователей и обучающихся, прошедших обучение в центре или принявших участие в реализуемых центрами научных и (или) научнотехнических программах и проектах v v v Численность иностранных аспирантов, обучающихся в центре v Размер внебюджетных средств на исследования и разработки центра v v Количество статей в научных изданиях, индексируемых в международных базах данных Scopus и (или) Web of Science Core Collection v v v Количество заявок на правовую охрану результатов интеллектуальной деятельности, поданных от центра v v Количество организаций, действующих в реальном секторе экономики, с которыми были заключены соглашения о дальнейшем использовании результатов, полученных в рамках реализации программ создания и развития центров v Количество результатов интеллектуально й деятельности, созданных в результате реализации программы создания и развития центра и переданных по договорам об отчуждении исключительного права или лицензионным договорам с организациями, действующими в реальном секторе экономики, для внедрения в производство v v Объем выполненных работ и услуг, завершившихся изготовлением, предварительными и приемочными испытаниями опытного образца (опытной партии) (рублей) v Количество результатов интеллектуальной деятельности, созданных в результате реализации программы создания и развития центра v v Доход от реализации прав на результаты интеллектуальной деятельности v Количество новых высокотехнологичных рабочих мест v Техническая вооруженность сектора исследований и разработок (балансовая стоимость машин и оборудования в расчете на одного исследователя) (тыс. рублей на человека) v Доля новой и усовершенствованной высокотехнологичной продукции в общем объеме отгруженной продукции v Источник: постановления Правительства РФ от 30 апреля 2019 г. N 537, от 30 апреля 2019 г. № 538, отчетность научных консорциумов. Indicators used to evaluate the activities of scientific consortia in Russia Table 1 Indicator WCRC WCRaEC RMC Number of Russian and foreign leading scientists working at the center v v Number of young researchers at the center under 39 years old v v v Share of foreign researchers of the center in the total number of researchers of the center v v v Proportion of research conducted by the center under the leadership of young people v Number of educational and (or) research programs developed by the center for young researchers, graduate students, undergraduates and (or) other categories of students v v v The number of young researchers and students who were trained at the center or took part in scientific and (or) scientific and technical programs and projects implemented by the centers; v v v Number of foreign graduate students studying at the center v Amount of extrabudgetary funds for research and development of the center v v Number of articles in scientific publications indexed in the international databases Scopus and (or) Web of Science Core Collection v v v Number of applications for legal protection of intellectual property results submitted by the center v v Number of organizations operating in the real sector of the economy with which agreements were concluded on the further use of the results obtained as part of the implementation of programs for the creation and development of centers v The number of results of intellectual activity created as a result of the implementation of the program for the creation and development of the center and transferred under agreements on the alienation of exclusive rights or licensing agreements with organizations operating in the real sector of the economy, for implementation in production v v Volume of work and services performed, culminating in the manufacture, preliminary and acceptance testing of a prototype (pilot batch) (rubles) v The number of results of intellectual activity created as a result of the implementation of the program for the creation and development of the center v v Income from the sale of rights to the results of intellectual activity v Number of new hightech jobs v Technical equipment of the research and development sector (book value of machinery and equipment per researcher) (thousand rubles per person) v Share of new and improved hightech products in the total volume of shipped products v Source: Decrees of the Government of the Russian Federation dated April 30, 2019 No 537, dated April 30, 2019 No 538, reporting of scientific consortia. Для НК разных типов, как следует из табл. 1, существуют как общие целевые показатели, так и специфические, применяемые для консорциумов определенного типа. Также можно отметить, что в основном целевые показатели направлены на количественную оценку, показывающую фактическое достижение плана, в то время как достижение целевых показателей требует и качественной оценки (Liz Allen & Co., 2009). Например, целевой библиометрический показатель «Количество статей в научных изданиях, индексируемых в международных базах данных Scopus и (или) Web of Science Core Collection» можно оценить, формально посмотрев, достигнуто запланированное количественное значение или нет. В то же время, данный показатель требует и экспертной оценки по ряду неколичественных критериев: y качество издания, в котором опубликована статья. Например, можно ли в издании опубликовать платно любую статью без особого контроля со стороны издателя. Не является ли издание сборником материалов низкоуровневых конференций, которые публикуют всех подряд за относительно небольшую плату и т.д; y подготовлена ли публикация в рамках исследования, запланированного в программе центра, или это просто сторонняя статья, которая никак к деятельности данного НК не относится; y количество цитирований опубликованных статей, в т.ч. в ближайшие 2-3 месяца после публикации; y описан ли в статье научный результат, полученный в рамках исследования. Чтобы оценить по данным критериям публикацию, эксперту (группе экспертов) необходимо ее прочесть, при этом эксперт должен быть специалистом в научном направлении, по которому статья подготовлена. В противном случае существуют риски публикации статей по направлениям исследований, не имеющим отношения к деятельности консорциума. Подобной экспертной оценке должны подвергаться и другие целевые показатели, например, показатели, относящиеся к результатам интеллектуальной деятельности (РИД). Необходимо проводит экспертную оценку любого полученного РИД по следующим критериям: 1) востребованность РИД у организаций реального сектора экономики; 2) влияние на (важность для) социальноэкономическое развитие страны; 3) потенциал внедрения; 4) возможность и время окупаемости. Анализом научных отчетов консорциумов в соответствии законодательством занимается Российская академия наук. В то же время сроки, предусмотренные на проверку отчетов НК, законодательством весьма ограничены[10]. Подходы к оценке научно-и сследовательской деятельности в Европе Оценка эффективности научных исследований в зарубежных странах имеет как общие подходы, так и специфические. Стоит отметить, что в европейских странах важную роль уделяют экспертной оценке полученных результатов работы. Например, в Великобритании уже 10 лет используется система оценки научной деятельности образовательных организаций Research Excellence Framework (REF), которая проводится четырьмя органами финансирования высшего образования Великобритании: Research England, Шотландским советом по финансированию (SFC), Советом по финансированию высшего образования Уэльса (HEFCW) и Министерством экономики Северной Ирландии (DfE). REF в большей степени основана на независимой экспертизе полученных научных результатов как прикладного так и фундаментального характера, и это несмотря на то, что независимая экспертиза требует значительных финансовых затрат. В REF оценка производится по следующим категориями и пропорциям: «результативность» - 65 % (оценивается важность и точность публикаций в соответствии с международными стандартами качества), «научный вклад» - 20 % (социальноэкономический эффект от проведенных исследований), исследовательская среда - 15 %. Во время сессии REF оценка проводится большим количеством специалистов в разных областях науки. В частности, во времена REF 2014 оценку проводили 36 экспертных советов разной дисциплинарной направленности. Общее количество членов экспертных советов составило 1052 человека, в т.ч. ученых и представителей организаций реального сектора экономики. Оценку каждого научного результата проводило не менее 2 экспертов - специалистов в научной области, в которой получен результат (Кириченко, Шелюбская, 2019). Публикации оценивались на предмет актуальности и новизны по пятибалльной шкале: y четыре звезды - результат соответствует самым высоким международным стандартам качества по оригинальности, значимости и строгости; y три звезды - результат превосходит мировой уровень по оригинальности, значимости и строгости, но не соответствует самым высоким стандартам качества; y две звезды - качество, соответствует мировому уровню в части оригинальности, значимости и строгости; y одна звезда - результат соответствует национальному стандарту в части оригинальности, значимости и строгости; y менее одной звезды - результат ниже национального стандарта качества. Или результат не соответствует заявленному исследованию. Также оценивается социальноэкономический эффект полученного результата. Рассматривается возможность несовпадения заявленной цели, для достижения которой результат получен, и реального вклада в практическую реализацию. По приведенным ниже данным о целевых показателях результативности для оценки научной деятельности организаций в странах Европы в разбивке по категориям (табл. 2) видно, что оценка продуктивности и качества исследований проводится во всех странах. Большинство из них оценивают и качество деятельности научных центров, а также рассматривают возможность получения внешнего финансирования в качестве дополнительного индикатора, говорящего о качестве и / или актуальности исследований[11]. В целом, если сравнивать показатели результативности, применяемые для оценки деятельности НК в странах Европы и в России, то можно отметить, что есть общие подходы. В то же время имеется ряд существенных отличий. Например, в части библиометрических показателей в Европе больше оцениваются качество и актуальность публикаций, в т.ч. за счет их цитируемости, в то время как российские показатели в основном ориентированы на количественные значения. Также в ряде европейских стран оценивается привлечение к работе ученых со степенями, и исследователей, получивших степени в процессе участия в научной деятельности организации. Привлечение же к работе исследователей со степенями в российских НК никак не оценивается, учитываются лишь аспиранты, работающие / обучающиеся в центрах. Интересный целевой показатель «Количество медалей, благодарностей, премий, полученных исследователями» применяется в двух странах Европы - Италии и Великобритании. Несмотря на то, что данный показатель количественный, он на прямую связан и с качеством, так как дает понимание важности проделанной учеными работы и ее оценки со стороны третьих лиц. В европейской программе финансирования и оценки научной деятельности Horizon Europe («Горизонт Европа») тоже приветствуется участие НК. Программа рассчитана на 7 лет (2021-2027 гг.). Общий объем финансирования на ее реализацию из бюджета ЕС составляет 95,5 млрд евро (Аверина, 2021). Как уже отмечено выше, к научной деятельности в рамках программы привлекаются НК, в которые входят организации из стран ЕС и стран, не входящих в ЕС. Для оценки научной деятельности консорциумовучастников программы Horizon Europe эксперты используют как специализированные для каждого типа консорциумов индикаторы, так и общие показатели для всех участвующих в программе консорциумов. К общим индикаторам относятся[12]: 1) вклады - финансовые (евро) и в натуральной форме[13], планируемые и фактические; 2) дополнительные инвестиции от третьих лиц, направленные на использование или расширение полученных научных результатов; 3) дополнительные инвестиции в целом (государственные и частные, в натуральной и денежной форме) привлеченные консорциумами с целью реализации приоритетов ЕС; 4) участие международных игроков; 5) доля и тип приглашенных / участвующих заинтересованных сторон и стран; 6) количество и типы новых участников в консорциумах и страны происхождения (географический охват); 7) количество и типы новых организаций в поддерживаемых проектах (с точки зрения типов и стран происхождения); 8) количество и тип скоординированных и совместных мероприятий с другими европейскими партнерствами; 9) количество и тип скоординированных и совместных мероприятий с другими инициативами в области НИОКР на уровне ЕС / национальном / региональном / отраслевом; 10) дополнительное и совокупное финансирование из других фондов ЕС; 11) видимость партнерства в национальных, европейских, международных политических / отраслевых инициативах. Данные индикаторы можно разделить на три категории: 1) индикаторы, показывающие привлекательность разработок, создаваемых консорциумами для индустриальных партнеров, за счет привлечения инвестиций и вкладов в натуральной форме; 2) состав участников и географический охват (страны); 3) совместные мероприятия с другими институтами, участвующими в научно-т ехнологических инициативах. По мнению директора сельскохозяйственного консорциума Precision Indoor Plants (FFAR) Джона Райха, важным для Horizon Europe индикатором является соотношение привлеченных частных инвестиций и федерального финансирования: «Наша модель состоит в том, чтобы сопоставить каждый евро федерального финансирования хотя бы с евро частного финансирования. В нашем консорциуме достигнуто соотношение 1 к 1,38, что показывает высокий уровень интереса и взаимодействия с частным сектором»[14]. Итак, в разных странах Европы подходы к оценке научнотехнологической деятельности как НК, так и отдельных научных и образовательных центров различны. В то же время можно отметить и общее в этих подходах: y большое внимание уделяется экспертной оценке результатов научной работы, таких как научные публикации и РИД; y важную роль играет финансирование со стороны бизнеса, венчурных компаний, фондов, спонсоров. Консорциумы стараются достигнуть модели, при которой каждый 1 евро государственных средств привлекает 1 евро внебюджетных средств; y востребованность полученных результатов, которая определяется еще на стадии начала исследований; y показатели по количеству публикаций не используется для общей оценки деятельности консорциумов. Большое значение придается актуальности и качеству публикаций, соответствию направленности исследований. Заключение По итогам проведенного исследования европейского и российского опыта оценки научнотехнологической деятельности консорциумов можно сделать вывод, что в подходах к оценке есть как сходство, так и специфические отличия. В ЕС большее внимание уделяется экспертной оценке результатов работы научных центров, в то время как в России - оценке по количественным показателям. Помимо этого, для оценки научной деятельности в Европе применяются как общие индикаторы для всех типов центров, так и специфические для каждого конкретного консорциума. В России индикаторы оценки общие и утверждаются постановлениями Правительства для всех центров в целом с самого начала их деятельности. Также для европейских консорциумов является важным сопоставление каждого евро федерального финансирования с евро частного финансирования. В Российских научных консорциумах показатель внебюджета является плановым индикатором, в частности для НЦМУ объем внебюджетных средств, привлеченных центром, должен составлять не менее 10 %, в связи с чем для консорциума не имеет смысла привлекать больше внебюджетных средств. Стоит отметить, что к внебюджетным средствам у российских консорциумов могут относиться собственные средства организацийучастников консорциумов, полученные от внебюджетной деятельности. Еще одной важной особенностью в оценке научной деятельности европейских консорциумов является отсутствие в списке общих для всех консорциумов количественных показателей, связанных с публикационной активностью. В Европе активно развивается международное научное сотрудничество, в т.ч. возможность включения в состав консорциумов организаций из стран, которые не только не ассоциированы с ЕС, но и не находятся на территории Европы, что способствует обмену знаниями и опытом, а также привлекает к исследованиям необходимых иностранных специалистов, которых нет в организациях, участвующих в создании консорциума. В российских консорциумах также есть механизм по изменению состава консорциумов, но за 5 лет существования НК их состав ни разу не менялся. Связанно это с тем, что исследования консорциумов, а также объемы финансирования заранее предопределены в их программах развития, финансирование дополнительных исследований не предусмотрено. Исходя из результатов проведенного исследования, можно предложить рекомендации, которые будут полезны при оценке научнотехнологической деятельности консорциумов, в случае их создания в рамках ЕАЭС, или какихто иных объединений. Общие рекомендации: y необходимо создать международную комиссию по оценке научной деятельности консорциумов, в которую будут входить профильные специалисты из стран участниц; y оценку научной деятельности консорциумов следует проводить один раз в год на протяжении нескольких месяцев. Комиссией должна быть проведена как качественная, так и количественная оценка с выводами о деятельности консорциумов, необходимости изменения состава консорциумов и целесообразности дальнейшего финансирования; y должны быть определены как общие индикаторы оценки деятельности, так и специфические для каждого типа консорциумов. Рекомендуется использовать определенные по итогам исследования зарубежных подходов к оценке деятельности НК общие индикаторы: y направленные на изменение состава и географии участников консорциумов. Данные индикаторы будут показывать географию заинтересованности в деятельности консорциумов, что немаловажно для поиска новых индустриальных партнеров; y направленные на дополнительный доход от научной деятельности консорциумов, которые будут показывать не только доход от реализации РИД, но также и вклады в финансовой и натуральной форме от третьих лиц. Данные индикаторы будут показывать заинтересованность в деятельности консорциумов со стороны спонсоров, фондов, венчурных организаций, бизнеса и производства; y количество наград и премий полученных сотрудниками консорциумов в результате их деятельности. Причем критерии значимости наград и премий должны быть заранее определены с целью исключения учета незначительных наград; y количественные библиометрические индикаторы публикационной активности, которые должны применяться в связке с показателями цитируемости для отображения значимости подготовленных статей; y получение исследователями степени кандидата/доктора наук по направлению деятельности консорциума. Данный показатель будет косвенно показывать значимость проводимых в консорциуме исследований, а также повышение квалификации сотрудников в исследуемой научной области.

About the authors

Philipp D. Belov

The Russian Research Institute of Economics, Politics and Law in Science and Technology

Author for correspondence.
Email: fdbelov@ya.ru
ORCID iD: 0000-0003-1725-6873
SPIN-code: 4154-7885

head of the Center for Research of Organizational Processes in Science and Innovation

20A Dobrolubova St, Moscow, 127254, Russian Federation

References

Supplementary files