От «Диссернета»: Часто приходится слышать справедливый упрек "Диссернет сосредоточен на исследовании самого дна, днища российского научного общества. А хотелось бы также видеть сияющие вершины, авторитетных ученых, не торгующих своей репутацией." К счастью, сосуществует самостоятельный проект под названием "Корпус экспертов", целью которого является создание инструмента для квалифицированной научной экспертизы, не зависящей от коньюнктуры, процедурно прозрачной и пользующейся авторитетом у научного сообщества. Собственно говоря, проект "Корпус экспертов" — это исследование тех самых отсутствующих в Диссернете сияющих вершин российского научного общества.

Помогая проекту "Корпус экспертов" сейчас, мы приближаемся к поистине увлекательнейшему путешествию в район горизонта событий. В этом путешествии перед нами откроется панорама поля сражения добра со злом.
(из поста на фейсбуке сооснователя «Диссернета» Андрея Ростовцева).

***

Почему «Корпус экспертов» объявил краудфандинг

Михаил Фейгельман, докт. физ.-мат. наук,
Галина Цирлина, докт. хим. наук

Эта статья о проекте «Корпус экспертов» (КЭ) [1] - далеко не первая в ТрВ. Читавшие внимательно предыдущее обобщение в 2017 г. [2] сейчас, возможно, обнаружат повторы. Но и новые сведения ниже тоже сообщаются. Объявив краудфандинг для продолжения проекта [3], мы услышали ряд вопросов и комментариев, требующих конкретных ответов.

Заявленная на старте цель проекта — сформировать корпус независимых экспертов, которые могут привлекаться к оценке проектов и научных результатов государственными и частными фондами и организациями. Мы объясним как мы эту цель понимает рабочая группа и какие этапы в ее достижении совершенно неизбежны. Корпус независимых экспертов — это не просто список, сформированный по тому или иному принципу. Это «инструмент», проверенный в деле таким образом, чтобы были понятны его возможности и ограничения. Тут имеется четыре слагаемых:

КЭ = люди + их специализации + экспертная история + координация экспертиз,

и ниже мы обсудим каждое из этих слагаемых по-отдельности.

Бытует странное суждение: будто бы «списки Штерна» [4], которые мы поддерживаем с 2009 года на сайте КЭ — это нечто отдельное от остальных частей проекта, живущее самостоятельной жизнью. Если рассматривать списки [4] как площадку для «меряться хиршами», их, конечно, можно было бы поддерживать без всякого КЭ. Правда, не вполне понятно, откуда при этом брались бы руки на обработку и средства на оплату права публикации данных (напомним, что до заключения договора с Thomson Reuters/Clarivate Analytics «списки Штерна» многократно объявлялись «нелегальными»). Но все это были бы уже проблемы какой-то другой рабочей группы, интересующейся зрелищно-соревновательными проектами.

Наши усилия по пополнению списков [4], выросших за время существования проекта КЭ примерно в 5 раз (рис. 1), мотивировались двумя задачами: (А) как можно больше собрать людей, которые что-то в естественных науках и математике делают на заметном по публикациям уровне; (B) как можно точнее определить специализации этих людей (как иначе, например, обосновать и реализовать очевидную необходимость разных порогов для разных разделов наук?). Обе задачи непосредственно связаны с противодействием безграмотным «формальным показателям», то есть разного рода административным способам формальной оценки. Такое противодействие — одно из важных средств сохранения науки в России, и осуществлять его надо профессионально — это тоже разновидность научной экспертизы.

Как сейчас пополняются списки? В значительной степени путем регулярного обновления данных не только для тех, кто «уже в списках», но и для менее цитируемых коллег, которых в базе проекта более 6 тысяч. Это названные ранее в опросах КЭ, а также введенные нами в базу по признаку принадлежности к каким-то выделенным группам (например, лауреаты конкурсов «Династии», академические персоны с цитированием ниже порогового, а также участники экспертиз, рекомендованные координаторами, см. ниже). С годами многие переходят условные пороги по цитированию и попадают в списки [4]. Общая численность людей в базе, кроме мемориального списка, ежедневно увеличивается и приближается к 20 тысячам. В этот массив входят также «настоящие иностранцы», названные в опросах как возможные эксперты, среди них есть названные многократно.

Сохраняется и традиционный канал дополнения — почтовые сообщения о людях, которых следовало бы ввести в списки [4] после проверки. Но это небольшой поток, в котором выделяется с десяток постоянных энтузиастов-«информаторов». Иногда присылают новые фамилии ученые секретари институтов. Бывают «самозаявления», не все они при проверке оказываются обоснованными.

Крайне важным мы считаем внесение в списки молодых людей, еще «не накопивших» тысячного цитирования, но перешедших порог активного цитирования CI7≥100 (цитирование публикаций последних 7 лет). «Возрастной состав» списков можно в первом приближении характеризовать по году первой публикации (табл. 1). Эти годы изменяются в очень широком интервале — от 1944 (Б.Е. Патон) до 2015 (три человека, все трое работают в России). Самое старшее поколение в значительной степени перешло, увы, в мемориальный список. Остальные поколения представлены более-менее равномерно, при этом число людей, не достигших пенсионного возраста, близко к 50%. По западным стандартам пенсионного возраста, к которым мы стремительно приближаемся, добавляется еще около 20−25% — значительная часть группы, условно названной в таблице «молодые пенсионеры». Эти цифры существенно сдвигаются в сторону омоложения в «активном списке» — 62% и 88% соответственно.

В России работают на постоянной основе 72% людей из списков, 68% из «активного списка» (в том числе 63% из группы молодых ученых и 75% из все еще молодых). Представителей диаспоры, конечно, в базе гораздо меньше, чем могло бы быть по порогам цитирования — их и в списки выводить начали только в 2013 году, ориентируясь в первую очередь на рекомендации в опросах. Никогда не ставилась задача ввести «всю диаспору»; прежде всего изучаются те, кто поддерживает контакты с российскими коллегами и мог бы применить или уже применяет здесь свой опыт научной, педагогической и экспертной работы.

Географическое распределение людей из списков [4], работающих в России, отражает известный перекос в распределении научных организаций по стране. В Москве работают 44%, еще 10% — в подмосковных наукоградах, 14% — в Питере и вблизи него. В Сибири и на Дальнем Востоке — 18%, на Урале и в Поволжье — 7,5%, в европейской части вне столиц - 6,5%. Десять лет назад столичный перекос был в списках [4] еще сильнее, и общее число городов было куда меньше (сейчас городов около 60, причем Новосибирск выглядит как еще одна научная столица, с «большим отрывом» от других крупных университетских городов).

Таблица 1. «Возрастной состав» списков [4] - по году первой публикации в журналах, индексируемых WoS. Данные на 26.06.2019. Всего в списках 10 703 человека, в «активном списке» 7699 человек.

Чтобы вся эта конструкция существовала в актуальном виде, данные более чем о 10 тысячах человек надо обновлять в непрерывном режиме, а данные для всех остальных — по мере приближения к порогам. Сейчас это обходится в ~550 операторских «человекочасов» и продолжалось при обновлении 2018/2019 один год и пять дней. Очередное обновление начинается через 1−2 недели после окончания предыдущего.

Все люди в базе КЭ заметны в науке по тем или иным признакам, и потенциально многие могли бы быть привлечены к тем или иным экспертным задачам. Но для экспериментальной проверки их экспертных возможностей недостаточно рекомендаций, нужно еще выяснить предмет возможной экспертизы для каждого, то есть точно определить специализацию.

Страшно вспомнить, как выглядели на старте специализации в списках цитирования. Практически ни для кого, кроме физиков (у них есть PACS) не существовало сбалансированного разделения областей знания даже на крупные направления, не говоря уже о третьем уровне детализации, который совершенно необходим и для экспертной работы, и для вожделенного дифференцирования порогов по формальным показателям… Мы не будем повторять здесь разъяснения о проблемах рубрикатора WoS, ответственного за неадекватные «квартили» и буквально утаптывающего в пыль некоторые важнейшие специализации, которым не нашлось должного места в его устаревшей структуре.

Задачу о классификации удалось продвинуть в 2014 году, благодаря объединению усилий с КомКоном [5]. Единый научный рубрикатор [6] в жестких дискуссиях родился с участием более сотни специалистов из разных наук. Стимулом для их участия в этой работе, которую нам пришлось координировать (и это особенно страшно вспоминать…), было создание референтных групп для оценки институтов — а в спертой атмосфере МОН витали совершенно чудовищные проекты разделения на такие группы. Эта коллективная работа помогла тогда использовать живые журнальные классификаторы.

В борьбе за то, чтобы в референтных группах не соединяли ежа с ужом, мы неоднократно использовали данные из базы КЭ. На том этапе они относились к куда меньшему массиву, чем сейчас, и к более грубой классификации наук, но уже были вполне убедительны для чиновников в смысле различия формальных показателей для разных специализаций. Наша «Карта полезных ископаемых на территории российской науки» [7] (реакция на бездарную и дорогостоящую «федюкинскую карту») была первой пробной попыткой независимого анализа, и эпиграф к ней остается актуальным: «Спасение ископаемых — дело рук самих ископаемых». Продолжение построения «карты» — одна из центральных экспертных задач, которая важна для очень широкого круга научной публики, даже если публика этого не осознает… Наши «лоты» в краудфандинге (возможные исследования, см. ниже) — кусочки такой карты.

А рубрикатор [6] встроен сейчас в базу КЭ. Мы им пользуемся, вполне отдавая себе отчет в том, что идеальных рубрикаторов не бывает. Важным результатом мы считаем появление в списках [4] (а соответственно и, по рекомендациям — в базе КЭ) представителей наук, которые долго почти не были заметны там из-за традиционно низкого цитирования. Например, сейчас в базе более 800 организменных биологов, более 650 геологов, почти 500 механиков, более 400 географов и специалистов по «немодной» экологии. Очень медленно решается проблема технических наук (самое низкое цитирование, мало рекомендателей), но сейчас их представителей уже более 300. Самое крупное сообщество в базе — специалисты по физике конденсированного состояния (более 3 200), следующее по численности — молекулярные биологи (2 600).

Еще более тяжелой, чем составление рубрикатора, является задача правильного указания его рубрик для каждого человека. Помогли консультанты-добровольцы, а в ходе опросов коллег просили определять по рубрикатору специализацию как собственную, так и рекомендуемую. Повысить точность сведений о специализациях можно только общими усилиями, поэтому сейчас мы выводим списки [4] в формате рубрикатора (наряду с традиционными форматами) и надеемся на «помощь зала» в уточнении кодов, как своих, так и соседских.

Обсуждая это слагаемое, мы вынуждены использовать операцию вычитания. Уже на стартовом этапе из общего числа потенциальных заказчиков экспертизы пришлось вычесть крупные госструктуры, в которых экспертиза проводится за две недели, и регламент ее экспертам в деталях не сообщается, хотя такие заказчики подавали сигналы многократно и использовали списки экспертов на сайте. Обращения к экспертам были, были и согласия, но об этом мы знаем по косвенным данным, и не можем оценить эффективности. С большими госфондами — тоже проблемы, на себе проверяли [8].

Экспертную историю КЭ мы исчисляем по тем задачам, которые выполняли от начала до конца, то есть от этапа составления регламента до итоговых заключений. Исключения допускались если заказчик экспертизы с очевидностью разделял наши взгляды на независимую экспертизу, и составленные им регламенты не вызывали протеста — это касается конкурсов Династии, а также проводившихся в период 2012—2017 конкурсов работ молодых ученых МГУ (самое массовое использование базы КЭ, более 400 человек). Но с такими заказчиками контрактов не было — это была апробация «за бесплатно». Как и в единственном частном случае взаимодействия с РФФИ при экспертизе проектов офи-м по разделу «Криогенные наноструктуры».

В качестве экспертов привлекались специалисты, получившие 3 и более рекомендации (порог для публикации в списках экспертов на сайте КЭ — 5, но он по многим направлениям не достигался из-за ограниченного числа рекомендателей). Кроме того, координаторам, привлекаемым из числа входящих в списки экспертов, всегда предоставлялась возможность назначать экспертов по своему выбору/опыту, это был аналог рекомендаций.

Наш первый контракт был с образовательным отделом Роснано (2011−2012): оценка эффективности ранее поддержанных образовательных «нанопроектов». К работе были привлечены 24 эксперта КЭ. Отчет в форме презентации на открытом семинаре [9] не вызвал восторга у заказчика, но был с большим интересом встречен почти сотней собравшихся — он неизбежно касался не только «нанообразования», но и общей направленности производственных проектов Роснано. До этого, начиная с 2008 года, мы на общественных началах совершали много попыток добиться грамотной научно-технологической экспертизы в Роснано, что было наивно, но дало немалый опыт. В этот же период была недолго экспертная работа для компании «Тройка-Диалог».

Затем в течение почти трех лет материальную поддержку проекта КЭ обеспечивал контракт с отделом экспертизы Российской венчурной компании (РВК). РВК — «фонд фондов», и каждый фонд проводит экспертизу самостоятельно, а отдел экспертизы и его субподрядчики осуществляют подбор экспертов. Фонды были разные, один из них мы вспоминаем тепло до сих пор и даже организовывали для него экспериментальную экспертизу (это абсолютно необходимо для ряда технологических проектов, но очень редко случается в России). Основная часть работы с РВК была экспертно-аналитической, связанной с подготовкой сведений о специалистах в разных актуальных узких направлениях. Около 50 экспертов КЭ привлекались для консультативной помощи в этой работе. По предложению РВК был создан инструмент поиска специалистов по ключевым словам в названиях статей (в базе КЭ — сотни тысяч статей, и это немалый ресурс) — но конечно это инструмент для грамотного пользователя… Потом дело сдвинулось в направлении т. н. «Национальной технологической инициативы», и пришлось РВК тоже вычесть.

В 2016—2017 годах, после смены руководства Сколтеха, возникли обращения за экспертной помощью из этой новой «точки роста». Сначала была экспертиза проектов Сколтех-MIT (73 эксперта), а затем — аудит подразделений Сколтеха (72 эксперта). Аудит включал этап панельного обсуждения результатов, и в этом смысле был совершенно новым опытом. Всё это была англоязычная экспертиза с участием значительного числа «настоящих иностранцев». Для Сколтеха выполнялась, вплоть до 2018 года, и экспертно-аналитическая работа, связанная со структурированием научных направлений.

Следует упомянуть еще два контракта на работу существенно иного рода — с одним из крупных институтов РАН (анализ публикаций сотрудников) и с МФТИ (анализ профессиональных судеб выпускников одного из факультетов). Эта работа не предполагала прямого участия экспертов, но позволила расширить круг инструментов в базе КЭ и создать методики, которые безусловно могут быть востребованы заинтересованными организациями.

Весь наш опыт в целом показал, что большинство специалистов, выбранных по рекомендательному алгоритму КЭ, выполняют экспертные функции корректно и эффективно. Но иное тоже бывало в единичных случаях, это и есть экспертная история, которую уже никому не удастся переписать. Полученный опыт также показал, что располагающие средствами заказчики экспертиз, даже когда «хотят хорошего» (Ф. Искандер), воспринимают результат оценки через призму необходимости вложения средств в заданном размере. Мы не всегда были согласны с заказчиками, в итоге поддержавшими не только хорошие, но и достаточно невнятные проекты/коллективы. Однако похоже, что заказчиков иного типа в стране сейчас нет. Прецеденты проведенных экспертиз считаем полезными независимо от масштаба. Масштабировать можно при благоприятных обстоятельствах. На которые, однако, пока надеяться не приходится. А вот в малых масштабах для квалифицированного заказчика — уже понятно как можно сделать по уму. Или без всякого заказчика — случаются ведь и экстренные экспертные задачи… Был у нас и такой опыт [10].

Главная нагрузка во всех экспертных процессах ложилась на плечи координаторов — наиболее опытных экспертов, многократно рекомендованных коллегами и согласившихся на эту нелегкую долю. Некоторые координаторы прошли с нами весь путь, другие участвовали в экспертных процессах 1−2 раза. Их работа оплачивалась заказчиками экспертиз (как и работа экспертов), но объем головной боли никогда не компенсировался этой оплатой.

Случалось, что был необходим координатор из малоцитируемой области, по которой список экспертов по признаку 5+ рекомендаций сформировать просто не удалось. В таких случаях мы советовались с наиболее часто рекомендованными из данной области, и общими усилиями находили координатора (иногда — из диаспоры). Этот опыт был до сих пор всегда положительным.

База КЭ оказалась полезным подспорьем для координаторов, т. к. из нее можно быстро извлечь сведения о публикациях как приглашаемых экспертов, так и «объектов/субъектов оценки». Нам кажется, что первоначальная методика «снежного кома» для многих наук себя исчерпала на этапе ранних опросов, сыграв важнейшую роль в расширении базы. А далее — нужно побольше координаторов, которые сами будут расширять корпус экспертов, с параллельно действующим механизмом сбора и анализа экспертной истории (он имеется в базе КЭ). Мы не изобретали этот велосипед, а просто проверяли, можно ли на нем ездить по нашим дорогам. Можно, хотя и не очень легко.

Ночной кошмар любого оператора — однофамильцы (сейчас 129 Ивановых, 70 Кузнецовых, 66 Смирновых и т. п… и ничуть не проще с Браунами или Кимами, хотя их в базе куда меньше…). Удивительным образом однофамильцы с одинаковыми инициалами норовят работать в одной и той же области науки. Есть полные тезки из одной области, у которых совпадает год и даже дата рождения. Есть полные тезки (родственники), у которых один e-mail на двоих. То есть никакие идентификаторы не абсолютны. Есть еще примеры смены фамилий и даже имен джентельменами, и вовсе не при вступлении в брак. А уж дамы меняют фамилии почти как перчатки. И все это надо как-то учесть при актуализации данных о публикациях. Часто справляемся, а бывает — ошибаемся. Публичность списков цитирования — основа исправления ошибок, проект всегда открыт для обоснованных исправлений.

После прекращения поддержки проекта КЭ фондом «Династия» все расходы на оплату труда технических сотрудников и договора с Thomson Reuters/Clarivate Analytics осуществлялись из средств контрактов на экспертную и аналитическую работу, оформляемых через Независимый Московский Университет. В проекте на оплачиваемых полных и неполных ставках постоянно работают: администратор (переписка, общая координация); сетевой администратор (поддержка и развитие базы); специалист, кандидат наук (обработка данных, подготовка материалов в рамках контрактов); два оператора (первичная обработка данных при обновлении списков, ввод новых людей в базу). В этом году право на публикацию данных WoS стоит 500 000 руб., необходимый фонд зарплаты заведомо превышает 500 000 руб. Объявленный в рамках краудфандинга [3] сбор 1 000 000 руб. очень поможет, хотя не решит полностью проблемы финансирования проекта даже на год.

Согласившись на краудфандинг КЭ, фонд «Эволюция» прислал нам инструкцию, в которой мы не поняли многих слов. В том числе слова «лот», которое устойчиво ассоциируется с министерством и вызывает поэтому тоску. Или с азартными играми, что тоже нам не близко. Однако нам объяснили, что «лот» — это возможность предоставить поддержавшему проект человеку что-то, что ему было бы полезно или интересно. И тогда мы объявили всякие «лоты», из которых пока наибольшей популярностью пользуются, в основном в части физики и биологии, вот эти:

Объявленных «лотов» гораздо больше [3]. Многие уже поддержавшие проект не указали конкретного «лота», но мы будем очень рады если публика в ходе краудфандинга проголосует за те или иные конкретные исследования, полезные для оздоровления нашей общей научной территории. В [11] (разделы 4.3, 5) мы формулировали задачи, которые на старте придется решить в случае возможности профессионально реформировать науку и образование в России. Часть этих задач можно решать без госстатистики, с использованием инструментов и методик КЭ.

Спасибо всем уже поддержавшим проект «Корпус экспертов».