В мае 2012 года министр образования и науки Российской Федерации Дмитрий Ливанов озвучил намерение Минобрнауки (МОН РФ) провести всесторонний аудит сектора исследований и разработок, включая институты РАН, государственные научные организации и высшие учебные заведения. Это заявление можно назвать зарождением «Карты российской науки» . Этот проект был официально анонсирован в декабре 2012 года . Накануне МОН РФ был проведен конкурс на выполнение НИР по теме «Формирование системы оценки и мониторинга результатов научно-исследовательской деятельности организаций и ученых для регулярной оценки состояния сферы науки» . Начальная (максимальная цена) контракта - 100 млн. руб. Финансирование проекта обеспечивалось в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы» (Конкурс за 2012 год, Мероприятие 2.1, Очередь 11, Лот 1). Победу в конкурсе одержала частная консалтинговая компания «ПрайсвотерхаусКуперс Раша Б.В.» - PwC.
К концу 2013 года проект «Карта российской науки» получил платный доступ к двум основным базам - Российский индекс научного цитирования (РИНЦ) и Web of Science (WoS). Неполный доступ к базе WoS (её части, относящаяся к российским ученым) обошелся бюджету в 40 млн. руб. Была также добавлена (однако неполная) база по ведущим российским ученым относительно их монографий, а также информации об участии в НИОКР и грантах. Зеркала проекта также размещены по адресам www.scimap.alt-lan.com и www.картанауки.рф Предполагалось, что большинство российских грантодателей перейдут на использование «Карты российской науки» в качестве основного источника информации о публикациях авторов и коллективов-грантополучателей .
Добавляйтесь пальчиками!
К 2016 году в проект были добавлены массив данных по зарубежным патентам, выданным российским организациям; информация по патентам на изобретения, полезные модели и промышленные образцы ФГБУ «Федеральный институт промышленной собственности »; а также информация по монографиям, учебникам для вузов, учебным пособиям для вузов и сборникам научных трудов от ФГБУН «Российская книжная палата» . В итоге, в «Карте российской науки» представлены сведения за период с 2007 по 2016 годы, с последующей необходимой актуализацией самими исследователями посредством мануального ввода данных и запросов на изменение информации в техподдержку.
После подтверждения регистрации и верификации пользователя в разделе «Моя карточка» появится информация, которую вы можете редактировать и дополнять.
Если список публикаций сразу окажется неполным, то можно провести поиск по системе недостающих публикаций и, в случае их успешного нахождения, поставить отметку об авторстве.
Несмотря на то, что вплоть до конца 2016 года проект «Карта российской науки» фактически так и не вышел из стадии бета-тестирования, то есть функционировал с системными недоработками, чиновники Минобрнауки и Совета по грантам Президента Российской Федерации (для государственной поддержки молодых российских ученых и по государственной поддержке ведущих научных школ Российской Федерации) относились к этому очередному изделию отечественного карго-культа как к полноценной базе данных. Об этом свидетельствует объявление, размещенное на сайте ФГБНУ НИИ РИНКЦЭ :
Об участии в конкурсе на право получения грантов Президента РФ на 2017-2018 гг.
Для участия в конкурсе на право получения грантов Президента РФ на 2017-2018 гг. для государственной поддержки молодых ученых, который будет объявлен в конце августа 2016 года, потребуется указать:
<...>Индивидуальный номер ученого в Карте российской науки (для его получения необходимо зарегистрироваться на сайте https://mapofscience.ru).
Писец настиг внезапно, но виден был издалека!
31.01.2017 Совет по науке при Министерстве образования и науки РФ опубликовал на сайте заявление с первого в 2017 году заседания, в котором также приняла участие министр образования и науки Ольга Васильева. Согласно этому заявлению:
<...> При проведении конкурса организаторы получали связанные с проектами наукометрические параметры из так называемой «Карты российской науки». Совет считает, что за четыре года своего существования этот инструмент так и не достиг сколько-нибудь удовлетворительного качества. Значительная часть представляемых «Картой российской науки» сведений ошибочна и не может быть сколько-нибудь адекватно использована. Это создало значительные трудности при подведении итогов рассматриваемого конкурса.
Совет призывает МОН впредь не использовать «Карту российской науки» для каких-либо целей. Вместо этого Совет предлагает использовать перечень общепринятых баз данных по различным областям.
В начале февраля 2017 года без каких-либо официальных заявлений сайт и его зеркала пропали из сети Интернет и более недоступны. При этом дальнейшее использование купленных баз и внесенных самими пользователями данных остается неясным.
В качестве альтернативы «Карте российской науки» проректор Московского государственного университета им. М.В.Ломоносова, академик Алексей Хохлов, в интервью газете «Поиск» от 10.02.2017 , предложил применять систему “ИСТИНА” или , которая «используется в МГУ им. М.В.Ломоносова и сейчас в пилотном режиме внедряется в десяти институтах, подведомственных ФАНО» . Комментарии излишни…
Жалко ли «мартышкиного труда» тех преподавателей вузов и сотрудников НИИ, которые вбивали данные о себе в базу «карты» ? Нет, нисколько - чтобы осознать на своей шкуре всю гниль путиноидной системы, «вата-грантополучатели должны страдать!» И чем больше они настрадаются, тем радостнее будут восклицать при виде запихнутых в мусорные бачки коррупционеров-«запутинцев» !
21 мая 2012 года Министром образования и науки Российской Федерации назначается Дмитрий Ливанов. В своем первом публичном выступлении он озвучивает намерение Министерства образования и науки (МОН РФ) провести всесторонний аудит сектора исследований и разработок, включая институты РАН, государственные научные организации и высшие учебные заведения. Это заявление можно назвать зарождением «Карты российской науки».
К сожалению, за событиями вокруг реформы РАН этот проект как-то потерялся и не получил, на наш взгляд, должного внимания со стороны IT-сообщества. Мы предлагаем вам небольшую ретроспективу: путь проекта от концепции до реализации.
Бесцельный путь синеет предо мной,
Далекий путь, потоками изрытый,
А дальше - мрак; и в этом мраке скрытый,
Парит судеб Вершитель роковой.Александр Блок, октябрь 1899
Часть 1: конкурс
Проект «Карта российской науки» (http://mapofscience.ru/) был официально анонсирован в декабре 2012 года. Накануне МОН РФ был проведен конкурс на выполнение НИР по теме «Формирование системы оценки и мониторинга результатов научно-исследовательской деятельности организаций и ученых для регулярной оценки состояния сферы науки». Начальная (максимальная цена) контракта - 100 млн руб. Финансирование проекта обеспечивалось в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы» (Конкурс за 2012 год, Мероприятие 2.1, Очередь 11, Лот 1).
В конкурсе приняли участие следующие организации:
- Институт системного анализа Российской академии наук;
- ПрайсвотерхаусКуперс Раша Б. В. (далее - PwC);
- Научно-исследовательский институт автоматической аппаратуры им. академика В. С. Семенихина;
- Московский государственный университет приборостроения и информатики;
- Московский государственный технический университет имени Н. Э. Баумана;
- Московский государственный университет имени М. В. Ломоносова;
- ИНЭК-Информационные Технологии.
Победу в конкурсе одержала частная консалтинговая компания «ПрайсвотерхаусКуперс Раша Б.В.», предложив стоимость контракта 90 млн руб. и срок его выполнения - 90 дней.
Необходимо отметить, что МГУ предложил разработать «Карту науки» примерно вдвое дешевле - за 50 млн руб., однако получил от конкурсной комиссии невысокие баллы за качество и квалификацию, заняв второе место. Выглядит это странно, если учесть, что в Университете существуют полезные наработки в этой области: недавно запущена информационно-аналитическая система «Наука-МГУ», с помощью которой осуществляется сбор и анализ публикационной активности сотрудников.
В официальной прессе решение по выбору PwC в качестве исполнителя объяснили желанием заказчика в лице МОН РФ провести «аудит российской науки» силами внешней организации, никак не связанной с научной средой.
PwC потратило 40 млн на покупку данных из базы Web of Science (далее - WoS) у Thomson Reuters и 15 млн - на развертывание технической инфраструктуры. Плюс к этому система требует, по оценкам исполнителей, 10-15 млн руб. в год на поддержку.
К сожалению, мы не смогли найти в публичном доступе государственный контракт с победителем конкурса, а также техническое задание. (Внимание, вопрос: это не противоречит конкурсному законодательству?) Очень хотелось бы посмотреть на тот объем работ, который был заявлен на бумаге. Хотя с формальной точки зрения это уже не столь важно, так как проект оформлен как НИР: его результатом может являться просто отчет, реализация хотя бы прототипа совсем необязательна.
Часть 2: что хотели сделать?
«Наша цель - определить поименно тех ученых и те малые научные коллективы (то есть лаборатории, научные группы), которые уже сегодня в России работают на высоком международном уровне. Мы будем делать этот проект с одной простой целью - понять, где сегодня Россия сохраняет конкурентоспособность, какие области науки сегодня для нас являются перспективными, где у нас есть шанс в будущем совершить рывок. И, что самое важно, поддержать - адресно - именно тех людей, тех ученых, те лаборатории, которые этой поддержки заслуживают»,- говорил Дмитрий Ливанов в своем интервью телеканалу «Просвещение».
В документе, подготовленном PwC , сам проект описывается следующим тезисом: «Карта российской науки» должна стать основой для принятия информированных управленческих решений в сфере научно-исследовательской деятельности ученых и организаций»; также поставлены конкретные цели:
- «инвентаризация» текущего состояния российской науки;
- быстрый доступ по требованию к актуальным и корректным показателям российской науки;
- аналитический инструментарий для принятия обоснованных управленческих решений;
- выявление наиболее авторитетных экспертов и научных коллективов для их адресной поддержки;
- сравнение уровня развития науки в России с другими странами и выявления точек роста;
- обеспечение прозрачности принимаемых управленческих решений.
Охват данных планировалось обеспечить через:
- международные источники: публикации, доклады на международных конференциях, патенты, издания;
- российские источники: публикации, патенты, гранты, НИОКР, издания;
- показатели как фундаментальной, так и прикладной науки.
Под качеством данных подразумевалось:
- очистка исходных данных для исключения разнонаписаний имен собственных;
- использование механизма корректировки данных самими учеными и организациями;
- использование уникальных идентификаторов ученых и организаций.
И, наконец, фунционал включал:
- инструментарий для сравнения и выявления точек роста в науке;
- построение отчетов по заданным параметрам для ученых, организаций, научных направлений;
- гибкий поиск и фильтрация данных;
- выявление неформальных коллективов ученых.
А теперь непрофессионалам , наверное, станет не очень интересно, но так как Хабр - технологичный блог, мы посчитали необходимым показать план работ и архитектуру выстраиваемой системы. Всего три слайда.
Бочки и стрелочки
План работ
Архитектура!
Часть 3: что получилось?
Прежде всего, мы предлагаем читателям Хабра самим оценить, соответствует ли заявленный функционал тому, что было реализовано. «Карта российской науки» доступна по данной ссылке http://mapofscience.ru/ . Можно ли считать это образцом для подражания? Является ли этот проект уникальным не только в России, но и в мире? Попробуйте сами ответить на эти вопросы.Не так давно главная страница «Карты» была обновлена. Был добавлен красный мигающий блок, говорящий нам: «Внимание! Система находится в опытной эксплуатации». Вероятно, это произошло из-за большого количества негативных отзывов о проекте. Если взглянуть на приложение к конкурсу , можно заметить, что deadline данного проекта - конец 2013 года. Таким образом, что-либо кардинально исправить в этой версии для «опытной эксплуатации» представляется уже маловероятным, и мы можем перейти к оценке всего проекта.
Целью проекта (если кто не запомнил) являлось «определить поименно тех ученых и те малые научные коллективы (то есть лаборатории, научные группы), которые уже сегодня в России работают на высоком международном уровне». На наш взгляд, сделать это с помощью предложенных инструментов невозможно.
Охват данных
Скорее не получилось, чем получилось. Две основные базы - Российский индекс научного цитирования (РИНЦ) и Web of Science (WoS) - представлены в диапазоне 2007–2012 гг., да еще и с оговоркой в отношении WoS. Данные попросту неактуальны (верхняя планка года) и некорректны (нижняя планка года) для заявленной основной цели. И это при том, что доступ к базе WoS (её части, относящаяся к российским ученым) обошелся государству в 40 млн руб (практически без права передачи данных в МОН).По остальным заявленным в проекте источникам данным также наблюдается, мягко говоря, некоторая неполнота. После длительного поиска по ведущим российским ученым не удалось обнаружить их книг, монографий, а также информации об участии в НИОКР и грантах. Можно предположить, что эти данные либо просто не предоставлены в карту науки, либо их не смогли подготовить.
Качество данных
По нашему мнению, эта задача являлась ключевой в реализации «Карты российской науки», это была именно та технологическая часть , которая составляла основную сложность и должна была отнять основные силы и время. Проще говоря, задача всей «Карты» состояла в том чтобы свести, очистить и грамотно перелинковать данные. Или, как следует из стенограммы установочного заседания экспертных групп по вопросам реализации проекта «Карта российской науки», ключевым блоком работ являлась «вычистка и интеграция данных из различных источников». И, к сожалению, эта часть совсем не получилась. Данные вообще не были сведены: нам предлагается или РИНЦ, или WoS. По сути, нам представлен просто интерфейс к этим двум базам, с не очень внятным функционалом. Так получилось, что именно к качеству данных возникло большинство претензий у научного сообщества. Мы попробовали собрать их воедино (но наверняка что-нибудь да упустили, - нареканий очень много):- использование классификатора (рубрикатора) научных направлений, не применимого к действующим направлениям в российской науке;
- произвольный отбор (группировка) научных учреждений по рубрикам;
- отсутствие контроля уровня случайных совпадений;
- несоответствие числовых показателей реальным значениям (по численности состава научных учреждений, по количеству публикаций в WoS и РИНЦ, по числу патентов, по индексу цитирования), ошибки при переносе операторами данных из одной базы в другую;
- некорректный отбор «ведущих» учреждений или исследователей (топ-5), построенный на использовании произвольных признаков, не имеющих друг с другом связи (либо данные по WoS, либо по РИНЦ, либо алфавитный порядок, либо рубрикатор, и т.д.);
- неверное (некорректное) написание Ф.И.О. исследователя как в русской, так и в английской системе написания;
- неверная (некорректная) аффилиация исследователя;
- отсутствие разделения однофамильцев и их корректного соотношения с научным направлением и научным учреждением;
- отсутствие сведений о подразделениях организаций (в том числе, о факультетах крупных университетов, таких, как МГУ и СПбГУ).
Функционал
С функционалом тоже не все хорошо. Например, вот как реализован механизм корректировки данных: «Исправление технических ошибок, замеченных пользователями, происходит через предоставление бумажной версии замечаний, заверенной печатью организации, в которой работает пользователь». Между тем, в вышеупомянутой стенограмме говорится: «Основной принцип реализации проекта - минимизация усилий со стороны ученых. Предполагается, что большая часть информации в личных кабинетах будет заполняться в автоматическом режиме».До сих пор не найден ни один человек, который может внятно объяснить, какую информацию несет в себе так называемая «тепловая карта». Единственная, на наш взгляд, интересная фича - это ссылка «свернуть карту» справа внизу, ее функционал, по крайней мере, неординарен и содержит львиную долю самоиронии.
Мы попробовали зарегистрироваться в системе, чтобы посмотреть, как она выглядит изнутри. Нам посчастливилось завести аккаунт примерно за месяц до написания настоящего обзора, потому что в настоящее время регистрация новых пользователей по каким-то причинами уже не работает (похоже были утеряны все полимеры).
Для регистрации ученому необходимо предоставить Ф.И.О., год рождения и email, после чего пройти процедуру «верификации». Это можно сделать двумя способами: по почте или через так называемый SPIN-код.
Верификация по почте осуществляется через «ручной контур». Чтобы этого избежать, мы решили освоить инновационный SPIN-код. Скорее всего, не каждый читатель знаком с этим понятием (среди нас тоже нашлись такие), поэтому расшифруем.
SPIN-код - это персональный идентификационный код автора в SCIENCE INDEX, информационно-аналитической системе, построенной на основе данных Российского индекса научного цитирования (РИНЦ).
Мы отправили заявку на получение SPIN-кода, заполнив для этого на сайте РИНЦ огромную форму с несколькими десятками полей и классификаторов (всего за какие-то 20 минут), и успешно получили код через две недели ожидания. Радуясь своим достижениям, мы ввели SPIN-код в профиле ученого, после чего «Карта» нам сообщила, что эта информация требует проверки (not again!). С момента ввода прошло уже две недели, а аккаунт до сих пор не верифицирован.
Если у вас хватило терпения, то вы добрались до личного кабинета.
Личный кабинет
Редактировать в личном кабинете особо нечего, так как в нем присутствуют только те данные, которые вы ввели при регистрации. Авторы системы подразумевают, что все остальное ученый расскажет о себе сам, заполнив немалое количество полей. Заметим, что в западных системах (ResearchGate, Academia.edu, Google Scholar) пользователь после регистрации получает практически готовый профиль, который система подготовила для него, автоматически собрав данные из различных источников. Ему остается только подтвердить их и при необходимости дополнить.
Сомнительно, что ученые по доброй воле станут пользоваться системой, в которой только на регистрацию уходит более 4 недель. Очевидно одно - «минимизации усилий со стороны ученых» не получилось.
Официальная неудовлетворительная оценка проекта также соответствует нашим выводам. «Это макет, это даже не пилотный проект », - отметила замминистра образования и науки РФ Людмила Огородова (макет за 90 миллионов).
Часть 4: реакция научного сообщества
Это будет самая лаконичная часть нашего повествования. Реакция научного сообщества была резко отрицательной.
Часть 5: причины провала
Как следует из официальной позиции МОН РФ и многочисленных отзывов экспертного научного сообщества, «Карта науки» получилось неудовлетворительной. Соответствует ли она целям выполненного государственного контракта, мы рассуждать не станем ввиду недостаточности информации о нем. Важно другое - как можно было бы избежать подобной ситуации? На наш взгляд, ключевым моментом в данной истории является то, что все данные, на которых строилась эта публичная информационная система, не являются открытыми.И здесь мы хотели бы затронуть очень актуальную проблему открытых данных в науке. Их попросту нет. А ведь были бы они открыты, возможно, и необходимости в подобном госзаказе не было. «Карту науки» смог бы реализовать любой профессиональный разработчик, интересующийся тематикой открытых данных и наукой. Более того, таких «карт» при соответствующем спросе со стороны государства и научного сообщества было бы несколько.
Посмотрим на список предполагаемых российских источников для «Карты науки»:
- статьи в российских и зарубежных журналах (НЭБ);
- российские и зарубежные патенты (ФИПС);
- гранты (ФГБНУ НИИ РИНКЦЭ, РФФИ, РГНФ);
- отчеты по НИР и НИОКР (ЦИТиС);
- диссертации и авторефераты (ЦИТиС);
- издания книг (Российская книжная палата);
- сведения о научных организациях и их подразделениях (в том числе о вузах и их факультетах).
Часть 6: как исправить ситуацию?
21 мая 2012 года Министром образования и науки Российской Федерации назначается Дмитрий Ливанов. В своем первом публичном выступлении он озвучивает намерение Министерства образования и науки (МОН РФ) провести всесторонний аудит сектора исследований и разработок, включая институты РАН, государственные научные организации и высшие учебные заведения. Это заявление можно назвать зарождением «Карты российской науки».
К сожалению, за событиями вокруг реформы РАН этот проект как-то потерялся и не получил, на наш взгляд, должного внимания со стороны IT-сообщества. Мы предлагаем вам небольшую ретроспективу: путь проекта от концепции до реализации.
Бесцельный путь синеет предо мной,
Далекий путь, потоками изрытый,
А дальше - мрак; и в этом мраке скрытый,
Парит судеб Вершитель роковой.Александр Блок, октябрь 1899
Часть 1: конкурс
Проект «Карта российской науки» (http://mapofscience.ru/) был официально анонсирован в декабре 2012 года. Накануне МОН РФ был проведен конкурс на выполнение НИР по теме «Формирование системы оценки и мониторинга результатов научно-исследовательской деятельности организаций и ученых для регулярной оценки состояния сферы науки». Начальная (максимальная цена) контракта - 100 млн руб. Финансирование проекта обеспечивалось в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы» (Конкурс за 2012 год, Мероприятие 2.1, Очередь 11, Лот 1).
В конкурсе приняли участие следующие организации:
- Институт системного анализа Российской академии наук;
- ПрайсвотерхаусКуперс Раша Б. В. (далее - PwC);
- Научно-исследовательский институт автоматической аппаратуры им. академика В. С. Семенихина;
- Московский государственный университет приборостроения и информатики;
- Московский государственный технический университет имени Н. Э. Баумана;
- Московский государственный университет имени М. В. Ломоносова;
- ИНЭК-Информационные Технологии.
Победу в конкурсе одержала частная консалтинговая компания «ПрайсвотерхаусКуперс Раша Б.В.», предложив стоимость контракта 90 млн руб. и срок его выполнения - 90 дней.
Необходимо отметить, что МГУ предложил разработать «Карту науки» примерно вдвое дешевле - за 50 млн руб., однако получил от конкурсной комиссии невысокие баллы за качество и квалификацию, заняв второе место. Выглядит это странно, если учесть, что в Университете существуют полезные наработки в этой области: недавно запущена информационно-аналитическая система «Наука-МГУ», с помощью которой осуществляется сбор и анализ публикационной активности сотрудников.
В официальной прессе решение по выбору PwC в качестве исполнителя объяснили желанием заказчика в лице МОН РФ провести «аудит российской науки» силами внешней организации, никак не связанной с научной средой.
PwC потратило 40 млн на покупку данных из базы Web of Science (далее - WoS) у Thomson Reuters и 15 млн - на развертывание технической инфраструктуры. Плюс к этому система требует, по оценкам исполнителей, 10-15 млн руб. в год на поддержку.
К сожалению, мы не смогли найти в публичном доступе государственный контракт с победителем конкурса, а также техническое задание. (Внимание, вопрос: это не противоречит конкурсному законодательству?) Очень хотелось бы посмотреть на тот объем работ, который был заявлен на бумаге. Хотя с формальной точки зрения это уже не столь важно, так как проект оформлен как НИР: его результатом может являться просто отчет, реализация хотя бы прототипа совсем необязательна.
Часть 2: что хотели сделать?
«Наша цель - определить поименно тех ученых и те малые научные коллективы (то есть лаборатории, научные группы), которые уже сегодня в России работают на высоком международном уровне. Мы будем делать этот проект с одной простой целью - понять, где сегодня Россия сохраняет конкурентоспособность, какие области науки сегодня для нас являются перспективными, где у нас есть шанс в будущем совершить рывок. И, что самое важно, поддержать - адресно - именно тех людей, тех ученых, те лаборатории, которые этой поддержки заслуживают»,- говорил Дмитрий Ливанов в своем интервью телеканалу «Просвещение».
В документе, подготовленном PwC , сам проект описывается следующим тезисом: «Карта российской науки» должна стать основой для принятия информированных управленческих решений в сфере научно-исследовательской деятельности ученых и организаций»; также поставлены конкретные цели:
- «инвентаризация» текущего состояния российской науки;
- быстрый доступ по требованию к актуальным и корректным показателям российской науки;
- аналитический инструментарий для принятия обоснованных управленческих решений;
- выявление наиболее авторитетных экспертов и научных коллективов для их адресной поддержки;
- сравнение уровня развития науки в России с другими странами и выявления точек роста;
- обеспечение прозрачности принимаемых управленческих решений.
Охват данных планировалось обеспечить через:
- международные источники: публикации, доклады на международных конференциях, патенты, издания;
- российские источники: публикации, патенты, гранты, НИОКР, издания;
- показатели как фундаментальной, так и прикладной науки.
Под качеством данных подразумевалось:
- очистка исходных данных для исключения разнонаписаний имен собственных;
- использование механизма корректировки данных самими учеными и организациями;
- использование уникальных идентификаторов ученых и организаций.
И, наконец, фунционал включал:
- инструментарий для сравнения и выявления точек роста в науке;
- построение отчетов по заданным параметрам для ученых, организаций, научных направлений;
- гибкий поиск и фильтрация данных;
- выявление неформальных коллективов ученых.
А теперь непрофессионалам , наверное, станет не очень интересно, но так как Хабр - технологичный блог, мы посчитали необходимым показать план работ и архитектуру выстраиваемой системы. Всего три слайда.
Бочки и стрелочки
План работ
Архитектура!
Часть 3: что получилось?
Прежде всего, мы предлагаем читателям Хабра самим оценить, соответствует ли заявленный функционал тому, что было реализовано. «Карта российской науки» доступна по данной ссылке http://mapofscience.ru/ . Можно ли считать это образцом для подражания? Является ли этот проект уникальным не только в России, но и в мире? Попробуйте сами ответить на эти вопросы.Не так давно главная страница «Карты» была обновлена. Был добавлен красный мигающий блок, говорящий нам: «Внимание! Система находится в опытной эксплуатации». Вероятно, это произошло из-за большого количества негативных отзывов о проекте. Если взглянуть на приложение к конкурсу , можно заметить, что deadline данного проекта - конец 2013 года. Таким образом, что-либо кардинально исправить в этой версии для «опытной эксплуатации» представляется уже маловероятным, и мы можем перейти к оценке всего проекта.
Целью проекта (если кто не запомнил) являлось «определить поименно тех ученых и те малые научные коллективы (то есть лаборатории, научные группы), которые уже сегодня в России работают на высоком международном уровне». На наш взгляд, сделать это с помощью предложенных инструментов невозможно.
Охват данных
Скорее не получилось, чем получилось. Две основные базы - Российский индекс научного цитирования (РИНЦ) и Web of Science (WoS) - представлены в диапазоне 2007–2012 гг., да еще и с оговоркой в отношении WoS. Данные попросту неактуальны (верхняя планка года) и некорректны (нижняя планка года) для заявленной основной цели. И это при том, что доступ к базе WoS (её части, относящаяся к российским ученым) обошелся государству в 40 млн руб (практически без права передачи данных в МОН).По остальным заявленным в проекте источникам данным также наблюдается, мягко говоря, некоторая неполнота. После длительного поиска по ведущим российским ученым не удалось обнаружить их книг, монографий, а также информации об участии в НИОКР и грантах. Можно предположить, что эти данные либо просто не предоставлены в карту науки, либо их не смогли подготовить.
Качество данных
По нашему мнению, эта задача являлась ключевой в реализации «Карты российской науки», это была именно та технологическая часть , которая составляла основную сложность и должна была отнять основные силы и время. Проще говоря, задача всей «Карты» состояла в том чтобы свести, очистить и грамотно перелинковать данные. Или, как следует из стенограммы установочного заседания экспертных групп по вопросам реализации проекта «Карта российской науки», ключевым блоком работ являлась «вычистка и интеграция данных из различных источников». И, к сожалению, эта часть совсем не получилась. Данные вообще не были сведены: нам предлагается или РИНЦ, или WoS. По сути, нам представлен просто интерфейс к этим двум базам, с не очень внятным функционалом. Так получилось, что именно к качеству данных возникло большинство претензий у научного сообщества. Мы попробовали собрать их воедино (но наверняка что-нибудь да упустили, - нареканий очень много):- использование классификатора (рубрикатора) научных направлений, не применимого к действующим направлениям в российской науке;
- произвольный отбор (группировка) научных учреждений по рубрикам;
- отсутствие контроля уровня случайных совпадений;
- несоответствие числовых показателей реальным значениям (по численности состава научных учреждений, по количеству публикаций в WoS и РИНЦ, по числу патентов, по индексу цитирования), ошибки при переносе операторами данных из одной базы в другую;
- некорректный отбор «ведущих» учреждений или исследователей (топ-5), построенный на использовании произвольных признаков, не имеющих друг с другом связи (либо данные по WoS, либо по РИНЦ, либо алфавитный порядок, либо рубрикатор, и т.д.);
- неверное (некорректное) написание Ф.И.О. исследователя как в русской, так и в английской системе написания;
- неверная (некорректная) аффилиация исследователя;
- отсутствие разделения однофамильцев и их корректного соотношения с научным направлением и научным учреждением;
- отсутствие сведений о подразделениях организаций (в том числе, о факультетах крупных университетов, таких, как МГУ и СПбГУ).
Функционал
С функционалом тоже не все хорошо. Например, вот как реализован механизм корректировки данных: «Исправление технических ошибок, замеченных пользователями, происходит через предоставление бумажной версии замечаний, заверенной печатью организации, в которой работает пользователь». Между тем, в вышеупомянутой стенограмме говорится: «Основной принцип реализации проекта - минимизация усилий со стороны ученых. Предполагается, что большая часть информации в личных кабинетах будет заполняться в автоматическом режиме».До сих пор не найден ни один человек, который может внятно объяснить, какую информацию несет в себе так называемая «тепловая карта». Единственная, на наш взгляд, интересная фича - это ссылка «свернуть карту» справа внизу, ее функционал, по крайней мере, неординарен и содержит львиную долю самоиронии.
Мы попробовали зарегистрироваться в системе, чтобы посмотреть, как она выглядит изнутри. Нам посчастливилось завести аккаунт примерно за месяц до написания настоящего обзора, потому что в настоящее время регистрация новых пользователей по каким-то причинами уже не работает (похоже были утеряны все полимеры).
Для регистрации ученому необходимо предоставить Ф.И.О., год рождения и email, после чего пройти процедуру «верификации». Это можно сделать двумя способами: по почте или через так называемый SPIN-код.
Верификация по почте осуществляется через «ручной контур». Чтобы этого избежать, мы решили освоить инновационный SPIN-код. Скорее всего, не каждый читатель знаком с этим понятием (среди нас тоже нашлись такие), поэтому расшифруем.
SPIN-код - это персональный идентификационный код автора в SCIENCE INDEX, информационно-аналитической системе, построенной на основе данных Российского индекса научного цитирования (РИНЦ).
Мы отправили заявку на получение SPIN-кода, заполнив для этого на сайте РИНЦ огромную форму с несколькими десятками полей и классификаторов (всего за какие-то 20 минут), и успешно получили код через две недели ожидания. Радуясь своим достижениям, мы ввели SPIN-код в профиле ученого, после чего «Карта» нам сообщила, что эта информация требует проверки (not again!). С момента ввода прошло уже две недели, а аккаунт до сих пор не верифицирован.
Если у вас хватило терпения, то вы добрались до личного кабинета.
Личный кабинет
Редактировать в личном кабинете особо нечего, так как в нем присутствуют только те данные, которые вы ввели при регистрации. Авторы системы подразумевают, что все остальное ученый расскажет о себе сам, заполнив немалое количество полей. Заметим, что в западных системах (ResearchGate, Academia.edu, Google Scholar) пользователь после регистрации получает практически готовый профиль, который система подготовила для него, автоматически собрав данные из различных источников. Ему остается только подтвердить их и при необходимости дополнить.
Сомнительно, что ученые по доброй воле станут пользоваться системой, в которой только на регистрацию уходит более 4 недель. Очевидно одно - «минимизации усилий со стороны ученых» не получилось.
Официальная неудовлетворительная оценка проекта также соответствует нашим выводам. «Это макет, это даже не пилотный проект », - отметила замминистра образования и науки РФ Людмила Огородова (макет за 90 миллионов).
Часть 4: реакция научного сообщества
Это будет самая лаконичная часть нашего повествования. Реакция научного сообщества была резко отрицательной.
Часть 5: причины провала
Как следует из официальной позиции МОН РФ и многочисленных отзывов экспертного научного сообщества, «Карта науки» получилось неудовлетворительной. Соответствует ли она целям выполненного государственного контракта, мы рассуждать не станем ввиду недостаточности информации о нем. Важно другое - как можно было бы избежать подобной ситуации? На наш взгляд, ключевым моментом в данной истории является то, что все данные, на которых строилась эта публичная информационная система, не являются открытыми.И здесь мы хотели бы затронуть очень актуальную проблему открытых данных в науке. Их попросту нет. А ведь были бы они открыты, возможно, и необходимости в подобном госзаказе не было. «Карту науки» смог бы реализовать любой профессиональный разработчик, интересующийся тематикой открытых данных и наукой. Более того, таких «карт» при соответствующем спросе со стороны государства и научного сообщества было бы несколько.
Посмотрим на список предполагаемых российских источников для «Карты науки»:
- статьи в российских и зарубежных журналах (НЭБ);
- российские и зарубежные патенты (ФИПС);
- гранты (ФГБНУ НИИ РИНКЦЭ, РФФИ, РГНФ);
- отчеты по НИР и НИОКР (ЦИТиС);
- диссертации и авторефераты (ЦИТиС);
- издания книг (Российская книжная палата);
- сведения о научных организациях и их подразделениях (в том числе о вузах и их факультетах).
Часть 6: как исправить ситуацию?
Зачем нужна карта
«Сегодня мы хотим устроить общественную приёмку карты российской науки, - сказал на совещании в Минобрнауки директор Департамента науки и технологий Сергей Салихов. - В ноябре-декабре 2013 года основные результаты проекта были достигнуты. Состоялось несколько обсуждений карты внутри министерства, были организованы выездные совещания. Мы постарались учесть все замечания и пожелания учёных по доработке карты».
Создавая карту, в Министерстве преследовали несколько целей, сообщил заместитель директора Департамента науки и технологий Минобрнауки России Андрей Поляков. Первая - определение ландшафта российской науки, то есть текущего состояния научной активности учёных и организаций. Вторая - понимание национальных особенностей развития сектора исследований и разработок в тематическом, географическом и возрастном разрезах. Третья - информирование научного и бизнес-сообщества о ключевых компетенциях учёных и организаций. Четвёртая - снижение бюрократической нагрузки при организации исследовательской деятельности за счёт представленных в карте данных об учёных.
Карта должна помочь в формировании адресных механизмов поддержки учёных, укреплении репутации российской науки.
С ноября прошлого года карта находится в общем доступе. Тогда был представлен прототип системы, сейчас идёт подготовка к её запуску в штатном режиме. Развёрнута работа двух служб - по техническому сопровождению карты (за это отвечает ЦИТИС) и контент-сопровождению (ГПНТБ).
В карту уже загружены данные Web of Science, Thomson Reuters, РИНЦ. В ближайшее время появятся данные Scopus. Вся информация собрана за период с 2007-го по 2012 год. Скоро будут представлены сведения за 2013-й. В 2014-м планируется выйти на ежеквартальное обновление всех данных.
«Изначально мы исключали возможность использования одного источника для формирования карты, - подчеркнул Андрей Поляков. - Мы придерживались позиции, что данные по публикационной активности не являются самодостаточными. Нужно подключать данные по НИОКРам, патентам, монографиям. Развитие карты мы видим в расширении состава и качества представленных в ней сведений».
Заказчиком карты стало Минобрнауки России, непосредственным исполнителем - PwC, компания занималась координацией всех участников проекта.
«Перед началом работ мы провели анализ международного опыта создания систем, аналогичных карте российской науки - в Китае, Бразилии и других странах, - пояснил менеджер PwC Василий Садовский. - Все эти системы в той или иной степени представляют наукометрические показатели. Но мы решили этими данными не ограничиваться, представить более широкий спектр информации. При разработке прототипа информационной системы применили ряд автоматизированных алгоритмов по загрузке и обобщению всех данных».
Карта представляет непредвзятый взгляд на состояние российской науки, считают в PwC.
Основные принципы формирования карты науки: 1) интеграция данных из различных источников и сведение их под едиными справочниками уникальных объектов; 2) обеспечение максимальной прозрачности данных - любой пользователь интернета может познакомиться и проверить их.
Работа над ошибками
В открытом доступе карта появилась осенью 2013 года. С того момента проводится тестирование системы и устранение ошибок.
При разработке карты велось много дискуссий, в частности о применимости данных Web of Science. Но в итоге решено было их использовать. Остаётся нерешённой проблема качества данных WoS за 2007 год. Около 30% статей не имеют аффилиаций, то есть их авторы не имеют увязки с какой-то научной организацией. Кроме того, одним из поставщиков данных о монографиях, учебниках и учебных пособиях стала Российская книжная палата, которая, как оказалось, не смогла гарантировать полноты предоставления данных. Поэтому не все книги удалось учесть на карте. Но выход нашли - в карточке учёного появился инструмент, который позволяет в заявительном порядке отправить запрос о добавлении книг и монографий.
Ежедневно системой пользуется от 500 до 1000 пользователей, сообщил директор ЦИТИС Павел Стариков, отвечающий за информационно-технологическое сопровождение карты.
В карте содержатся сведения почти о 5 тысячах организаций, 500 тысячах учёных, около 2 миллионов перекрёстных ссылок. В системе зарегистрированы 4600 пользователей.
В ГПНТБ было создано подразделение, которое отвечает за контент-сопровождение работы карты. Основная задача - устранять некорректности, которые имеются в системе.
За прошедшее время было получено 1300 запросов от пользователей. Большинство из них связано с включением неучтённых статей в карточках того или иного учёного. И второй по популярности запрос - исключение каких-то статей из списка. «Это вполне объяснимо, - прокомментировал Василий Мукасьян из ГПНТБ. - В стране есть распространённые фамилии типа Иванова. Автоматизированные алгоритмы системы могли их некорректно объединить между собой».
Третий по популярности запрос - неправильная аффилиация. Ошибки исправляются не только на карте, но и у самих поставщиков данных. Четвёртый - некорректный расчёт индексов цитирования, который объясняется тем, что в карте представлены данные с 2007 года.
«Мы понимаем, что Thomson Reuters и Scopus не покрывают на 100% специализированные научные области, которые развиты в России. Поэтому планируем расширять перечень источников данных», - сказал Василий Мукасьян.
Что думают учёные
Разработчики проводят большую работу по устранению ошибок в карте, причем многие исправления вносятся благодаря учёным, которые активно включились в использование ресурса и сами сообщают о несоответствии данных. Например, директор Института молекулярной биологии им. Энгельгардта Александр Макаров заметил, что в карте неправильно указан юридический адрес института. Тем не менее он акцентировал внимание на том, что данные, аккумулированные на сайте, помогли ему оценить общую картину состояния научных исследований в области биологии.
«Карта науки помогла нам выстроить систему приоритетов. Мы не смотрели, какой институт дает больше публикаций, мы смотрели, какая наука более важна, мы, например, нашли 19 тысяч публикаций в области биологических наук, а в промышленных биотехнологиях - всего 119, - сказал Александр Макаров. - Карта науки также позволила установить, какие учреждения предлагают проекты по развитию уже зарекомендовавшего себя коллектива, или это проект, претендующий на открытие новых областей или новых горизонтов».
Одно из главных предложений учёных - дать им возможность самим редактировать данные в карте. С такой идеей, в частности, выступил проректор МГУ им. М.В. Ломоносова Алексей Хохлов: «Самим авторам надо разрешить править информацию о своей деятельности. А кураторы проекта потом смогут проверять размещённую информацию. В «Истине» МГУ такая практика реализована. Сами учёные вносят в базу свои статьи. А проверяем мы только те, которые входят в топ-25. Как только в карте науки будет реализован такой же подход, сразу же будет заметен эффект - улучшится качество всей базы данных».
Пока разработчики рассматривают вариант двухступенчатой верификации - авторам будет разрешено добавлять отсутствующие статьи, после чего контент-операторы будут проверять достоверность размещённых данных. В результате одну из главных претензий к разработчикам карты удастся снять.
Пообещала, что «Карта» «будет основным, системным инструментом для принятия решений в разных областях».
Несколько дней назад «Карта российской науки» заработала в интернете, и ученые начали искать себя в этом «путеводителе» и находить удивительные вещи.
«Эта «Карта» — форменное безобразие. «Карта» выдает информацию, которая совершенно не соответствует действительности. Знаете, где у нас по «Карте» работают лучшие астрономы? В новосибирском Институте ядерной физики, который в жизни никакой астрономией не занимался.
А в Институте теоретической физики Ландау занимаются всем на свете — вплоть до биологии.
Та версия системы, которую так раскритиковали академики, является тестовой — об этом красным по белому написано на самом сайте «Карты российской науки». В настоящее время официальным разработчиком системы является компания PricewaterhouseCoopers, которая по заданию закупает данные для «Карты» в основном из двух источников — Thomson Reuters (база научных статей Web of Science) и Российского индекса научного цитирования. Эти две частные компании по оформленным договорам поставляют данные о российских ученых.
То, что пока сделано, — это первоначальная автоматическая обработка данных, попытка облегчить их дальнейшую ручную верификацию.
Претензии, которые предъявляют к системе, связаны со сложностями технического плана. «Много претензий высказывается людьми, которые не разобрались и считают, что в системе должны указываться все их публикации за весь период их жизни. Это совсем не так, сейчас речь идет о 2007-2012 годах. Кроме того, точность данных по 2007 году из-за технических ограничений WoS зачастую не позволяет правильно сопоставить авторов с организациями, в которых они работают», — рассказал «Газете.Ru» источник, близкий к Минобрнауки.
К тому же данные самих этих баз опираются на сведения, поступающие от научных журналов, в том числе российских, многие из которых далеко не всегда корректно оформляют публикации.
Пояснил источник и то, откуда берется фиановское «огородничество».
Дело в том, что Web of Science и РИНЦ присваивают тематику журналам, а не отдельным публикациям. Поэтому каждая публикация получает тематику, приписываемую отдельному журналу. В «Карте» тематики организациям приписываются по тематикам публикаций, поэтому достаточно одной работы ученого, опубликованной, скажем, в журнале с сельскохозяйственной тематикой, чтобы всему ФИАНу приписали соответствующую направленность.
Большая часть выделенных 90 млн руб. идет на закупку данных из WoS и РИНЦ, кроме того, данные представляют Российская книжная палата и ФИПС при . Тех, кто опасается, что данные «Карты» будут в ближайшем времени использоваться при оценке научных организаций, разработчики системы успокаивают: «Когда организации будут отчитываться, им надо будет представлять не данные «Карты науки», которая еще не готова, а данные непосредственно Web of Science и Scopus».
По словам источника, корректная работа «Карты» будет зависеть и от самих ученых, для которых предусмотрена опция, позволяющая им выправлять собственные профили в этой системе и сообщать о замеченных разночтениях или лакунах. «Успех этого процесса будет зависеть от того, какие стимулы будут у ученых для использования «Карты». Например, профили ученых в системе могут использоваться при подаче на гранты, чтобы упростить составление заявок», — рассказал источник.
Правда, подобные объяснения не очень устраивают обиженных ученых. «Так с людьми не надо обращаться. Почему мы должны разгребать их… не буду говорить что? Вы же видите, как работает ? Он потому и работает, что его создавали выдающиеся люди, решавшие труднейшую задачу. Это задача для математиков, прикладников, тех, кто анализирует базы данных, а не тех, кто собрались и решили кое-как все сделать», — считает Паршин.
