Он-лайн библиотека оценщика LABRATE.RU
© Козырев Анатолий Николаевич, 2007
© Он-лайн библиотека оценщиков LABRATE.RU, 2002–2007
Original article: http://www.labrate.ru/kozyrev/kozyrev_kriterii_konkursnogo_otbora_28-05-2007.htm

LABRATE.RU  рекомендует

Козырев Анатолий Николаевич Критерии, которые нас выбирают

памфлет анализ по результатам экспертизы заявки 2007-1-2.1-00-05-019 АНО «Республиканский научно-исследовательский институт интеллектуальной собственности», участвовавшей в конкурсе по лоту 2007-1-2.1-00-051.

©  Козырев А.Н., 2007

Предлагаемый текст похож на памфлет, хотя по своему замыслу и содержанию это – объективный анализ вполне конкретного документа. Цель – показать на конкретном и достаточно ярком примере, каким образом от выполнения государственного заказа может быть отстранен коллектив специалистов высшей квалификации, а заказ (вместе с соответствующим финансированием) передан исполнителям более низкой квалификации, «правильно» заполнившим некоторые позиции заявки, не имеющие, строго говоря, отношения ни к содержанию, ни к качеству выполняемой работы. Превращение анализа в памфлет происходит от соприкосновения с анализируемым материалом.

Подбор критериев как инструмент подавления конкурентов

Ключевым инструментом в технологии устранения заведомо более сильных претендентов служит набор критериев и требований, позволяющих «экспертам» игнорировать уникальные достижения одних соискателей государственного заказа и фетишизировать вполне заурядные качества или обещанные (в рамках выполнения заказа) достижения других. Далее все сводится к формальной процедуре подсчета баллов и якобы объективным выводам. Всего для оценки заявок использовалось три укрупненных критерия, весом в 235, 50 и 150 баллов, но каждый из них содержит в себе несколько пунктов (частных критериев). Первый критерий «Функциональные характеристики (потребительские свойства) и/или качественные характеристики создаваемой научно-технической продукции» состоит из 9 пунктов, среди которых есть весьма спорные. Второй критерий «Цена контракта» содержит всего 3 пункта, но в целом выглядит странно, поскольку выделенные деньги должны быть «освоены». Непосвященному заявителю не ясно, чего собственно от него хотят. Наконец, последний третий критерий состоит из 8 пунктов, среди которых спорными можно признать многие, но есть 2 очень спорных.

Самым спорным следует признать пункт «3.5. Участники имеют сертификаты программ обучения в зарубежных научных центрах и международных организациях по методологии Форсайта». Максимальная оценка 15 баллов, что не так уж много, но и не мало.

Усредненная оценка заявки РНИИИС и ЦЭМИ РАН экспертами в 1,6 балла по данному пункту очень показательна. Ценятся сертификаты по Форсайту, а не степени доктора наук. Вопросов к оценке как таковой не возникает. Действительно, доктора юридических и экономических наук, как правило, не имеют сертификатов подготовки по Форсайту. Но какое эти сертификаты имеют отношение к совершенствованию нормативной базы и методологии в сфере оценки интеллектуальной собственности?

Учет подобных критериев при оценке квалификации исполнителей, либо не имеет смысла, либо имеет целью искусственное снижение оценки команд из опытных и востребованных специалистов, так как ни один из них не поедет за рубеж с целью получить такой сертификат. Ну а то, что наличие докторских степеней при оценке квалификации исполнителя вообще не учитывается – лыко в ту же строку. Странная получается дискриминация.

Совершенно бессмысленный в данном контексте критерий приводит к потере 13,4 балла! Если конкурент по какой-то причине получил кучку сертификатов по Форсайту, то с такими критериями он почти обречен на победу.

Вторым сорным пунктом в этом списке следует признать пункт «3.7. Наличие опыта реализации российских и международных проектов в области анализа развития сферы науки и технологий, долгосрочного прогнозирования научно-технологического развития (Форсайта)». Максимальная оценка 30 баллов. Усредненная оценка экспертов по нашей заявке 21 балл. И снова вопросы к составителям критериев. Почему на первое место вынесен опыт работы в международных проектах именно по Форсайт, а не по вопросам, связанным с оценкой и учетом интеллектуальной собственности (тема лота)?

Руководитель проекта по заявке РНИИИС и ЦЭМИ РАН – автор данного анализа - был полноправным членом рабочей группы по капитализации интеллектуальных активов при Европейской комиссии ООН (в точности по теме лота!), а кто-то другой мог участвовать в аналогичном проекте по Форсайт (не тема лота). И вот этот кто-то по данному критерию получает преимущество. А с какой стати? Или так специально задумано?

Если исходить из того, что цель экспертизы – отобрать претендента, способного выполнить научно-исследовательскую работу по теме лота наилучшим образом, то оба упомянутые выше критерия выглядят странно, если не сказать дико. Но следует обратить внимание и на некоторые другие менее странные пункты, например пункт «3.3. Работа выполняется консорциумом, состоящим из научной организации и учреждения профессионального образования». Отношение данного пункта к квалификации исполнителя, строго говоря, никакое. Возможно, за этим стоит идея поощрения интеграции науки и образования, но тогда и рассматривать вопрос надо по существу. А что имеем? Максимальная оценка 10 баллов. Усредненная оценка нашей заявки экспертами - 2,6 балла. Можно лишь повторить слова бывшего классика: «Формально правильно, а по существу - издевательство». Уже не один год ЦЭМИ РАН фактически является соединением научного и образовательного учреждения. Именно в ЦЭМИ расположен экономический факультет Государственного университета гуманитарных наук (ГУГН), ректором которого является директор ЦЭМИ, а преподавателями - сотрудники ЦЭМИ. Кроме того, в ЦЭМИ РАН созданы две базовые кафедры МФТИ, одну из которых (кафедру экономики интеллектуальной собственности) возглавляет предполагаемый руководитель работ по заявке (автор этого анализа). Если это не интеграция науки и образования, то что тогда интеграция?

Разумеется, эксперты вольны руководствоваться чисто формальными критериями, но чем тогда эксперт отличается от писаря?

Как выясняется, при подходящем наборе критериев можно оценить как «неудовлетворительную» (всего 94,3 балла из 150) квалификацию коллектива исполнителей, состоящей в основном из докторов юридических и экономических наук, активно работающих по тематике лота и имеющих в этой области бесспорные достижения (монографии, учебники, принятые нормативные документы и т.п.). Сам факт получения такого неестественного результата заставляет усомниться в адекватности либо экспертов, либо формальных критериев, либо того и другого сразу. Более детальный анализ показывает, правильность последнего варианта: неадекватны и критерии, и эксперты.

Странности выбора проявляются не только при расшифровке третьего, но и первого критерия «1. Функциональные характеристики (потребительские свойства) и/или качественные характеристики создаваемой научно-технической продукции». Например, пункт «1.8. Организация и проведение российских и международных конференций и семинаров в рамках реализации проекта». Максимальная оценка 10. Средняя оценка экспертов 1,6 вызывает вопросы не столько о количестве начисленных баллов, сколько о самом наличии такого пункта в критерии. С какой стати претендент, собирающийся проводить конференции по теме (особенно международные), имеет преимущество перед тем, кто собирается просто выполнить заказ, поскольку квалификация и уже имеющийся задел позволяют это сделать? Высокая активность РНИИИС и ЦЭМИ по организации научных мероприятий самого высокого уровня хорошо известна не только специалистам, но и всем, кто хоть как-то в теме. Но почему непременно надо «в рамках реализации проекта»?

Скажем больше. Это один из самых коррупционных пунктов. Пристрастие чиновников к семинарам, на которых они попадают в число VIP (если все происходит в России), хорошо известно. Продуктивность таких мероприятий тоже известна. Но, если речь идет о совершенствовании нормативной базы, то выполнять работу должны те специалисты, которые давно и глубоко в теме. Им не нужна помощь дилетантов, собирающихся на псевдонаучные и даже научные конференции или семинары с участием чиновников. Точно также не нужна помощь иностранцев, которым еще предстоит вникать в суть решаемых проблем. Включение в смету (цену работы) затрат на проведение семинаров и конференций должно быть либо запрещено, либо очень хорошо обосновано, но в данном случае это вообще бессмысленно.

Зато в данном случае этот «критерий» дал формальный повод отобрать у самого сильного претендента 8,4 балла. И опять, «Формально все правильно, а по существу - издевательство».

Настоящим анекдотом смотрится оценка по пункту «2.3. Обоснованность структуры цены». Оказывается критерий «Цена контракта» практически полностью сводится к пункту 2.3. (Он стоит 30 баллов, а остальные два пункта по 10). Здесь заявителя ждет маленькая ловушка. Максимальная оценка 30 баллов. Усредненная оценка экспертов по нашей заявке 19 баллов, т.е. потеряно еще 11 баллов в силу разногласий претендентов с экспертами о том, как тратить. Возможно, эксперты знают, как потратили бы 3 миллиона они, но какое это имеет отношение к результату?

Оценка экспертов по делам их

Разумеется, эксперты или «эксперты» вольны в своих оценках, но по оценкам можно судить об экспертах, как говорится, «по делам их». А отдельные их оценки вызывают недоумение и даже возмущение. В первую очередь это оценки по пунктам «3.6. Квалификация конкретных исполнителей работ (с соисполнителей2) и «3.8. Наличие у участников конкурса (в том числе соисполнителей) задела по теме работ». Именно здесь необъективность или некомпетентность экспертов зашкаливает и напрашивается на анализы.

Максимальная оценка по пункту 3.6 составляет 20 баллов. Усредненная оценка заявки экспертами 16 баллов. Казалось бы, 4 балла – небольшая потеря, но не тут то было. Квалификация конкретных исполнителей – это, прежде всего, оценка квалификации руководителя проекта. В данном случае эта оценка «хорошо», но не «отлично» касается лично меня – автора данного комментария – как руководителя проекта. Позволю себе не согласиться с такой оценкой и, более того, оспорить ее (и, вероятно, не только здесь).

Судя по всему у экспертов какая-то особая шкала для оценки квалификации исполнителей, в которой докторская степень, опыт работы в Европейской комиссии ООН, 3 года работы в международной консультационной фирме и многое другое в совокупности значат меньше, чем один сертификат по Форсайт, полученный по результатам прослушивания курса.

Что касается других ключевых участников команды (конкретных исполнителей), то ситуация отличается лишь подробностями. Неизменны два признака: (1) наличие докторской степени по юридическим или экономическим наукам; (2) отсутствие сертификата по Форсайт. Клоунада да и только!

Еще более возмутительна оценка «экспертов» по пункту «3.8. Наличие у участников конкурса (в том числе соисполнителей) задела по теме работ». Максимальная оценка 20 баллов. Усредненная оценка заявки экспертами 13,5 балла вызывает, как минимум, недоумение. Дело в том, что едва ли не вся содержательная работа по созданию методологии оценки, в том числе оценки интеллектуальной собственности, новой техники, инновационных проектов и т.д. многие годы концентрировалась в ЦЭМИ или вокруг ЦЭМИ. В том числе именно здесь работают авторы трех (из шести или семи) российских книг по оценке интеллектуальной собственности. Здесь проходят наиболее глубокие обсуждения этих вопросов, на которые собираются специалисты из самых разных организаций. Не менее существенный задел имеется у РНИИИС, но по несколько иным причинам, а именно, в РНИИИС собрались специалисты, уже давно работающие по тематике управления правами на результаты интеллектуальной деятельности, полученные при финансовом участии государства. В том числе здесь собраны опыт и информация, недоступные для других участников конкурса в силу организационных причин (РНИИИС имеет в числе основных учредителей Счетную Палату РФ). Оценить на «удовлетворительно» совокупный задел этих двух организаций могли либо дилетанты, не имеющие понятия о реальной ситуации, либо недоброжелатели. То и другое одинаково плохо вяжется со званием «эксперт».

Менее очевидна, а потому труднее доказуема необъективность экспертов при оценке заявки по первому критерию и, прежде всего, пункту «1.1. Соответствие содержания планируемых работ требованиям Заказчика». Бесспорное на первый взгляд требование дает сбой, если квалификация претендента на выполнение заказа существенно выше, чем квалификация Заказчика и «экспертов». Максимальная оценка 85 баллов. Консорциум из двух институтов (РНИИИС и ЦЭМИ РАН) набрал только 60 баллов, хотя заявку писали два доктора наук (юрист и экономист, оба специалисты по теме!), стараясь максимально точно следовать требованиям лота. От формулировок лота отклонялись только в тех случаях, когда их неточность не оставляла выбора.

Строго говоря, сама постановка задачи по лоту 2007-1-2.1-00-05 далеко не бесспорна, а отдельные формулировки просто некорректны. Но, правильная постановка задачи – это 90% ее решения. Поэтому некорректная постановка задачи либо уточняется исполнителем, который способен это сделать, либо ведет в тупик. А к написанию лота явно приложили руку люди, не очень представляющие себе, что такое оценка интеллектуальной собственности, что в этой области уже сделано, и что можно сделать. Хуже того, с большой вероятностью конкурс выигрывает именно та команда, которая участвовала в написании задания. В данном случае это может означать воспроизведение в отчете тех же ошибок, что были в задании. В заявке РНИИИС и ЦЭМИ некоторые формулировки лота были уточнены или снабжены оговорками.

И что же получилось в результате? В результате эксперты (или клоуны от экспертизы) сняли 25 баллов. Один из экспертов обращает внимание на присутствующие в заявке слова о том, что принятие государственной методики расчета справедливой цены технологии «может оказаться скорее вредным, чем полезным». В экспертном заключении смысл этих слов не раскрывается и, судя по всему, неверно истолкован экспертом. Разумеется, речь здесь идет не о том, что РНИИИС и ЦЭМИ собираются разработать методику, которая будет скорее вредной, чем полезной. Речь о том, что понятие «справедливая цена технологии», строго говоря, не имеет смысла. Может быть установлена справедливая цена для конкретной сделки, но не по государственной методике, а в результате переговоров между сторонами при целом наборе условий. Если сторона, приобретающая технологию, меняется, то меняется и справедливая цена. Составители лота этого, судя по всему, не знали. Поэтому в тексте лота появилось такое задание. В заявке был отмечен тот факт, что если кто-то все же такую методику напишет, вместо того, чтобы обосновать ее бессмысленность, то вреда будет больше, чем пользы. Именно так бывает при появлении заведомо бессмысленных документов. В данном конкретном случае может появиться государственная (обязательная к применению) методика, похожая на часы с неподвижными стрелками. Она будет давать правильный результат, тогда и только тогда, когда появится покупатель с нужными характеристиками. А во всех остальных случаях она будет мешать. В заявке эта мысль была лишь намечена и экспертом не понята. Но настоящий эксперт такие вещи должен понимать и без разжевывания.

Нечто подобное имело место с оценкой по пункту «1.4. Полнота охвата проблемы конкурсного задания». Максимальная оценка 60 баллов, т.е. очень много. Усредненная оценка экспертов 45,6 балла вызывает не столько вопросы, сколько недоумение. Либо в конкурсной документации что-то было недосказано, либо эксперты лукавят. Как следует из текстовой части экспертизы, оценка снижена по причине отсутствия упоминания части четвертой ГК и, прежде всего, некоторых «достижений», содержащихся в главе 77. Выставленная оценка очень сильно снижает шансы заявки, хотя в ней было все, что содержалось в требованиях лота и, более того. Здесь явно возникло недопонимание между заявителями, с одной стороны, и экспертами и Заказчиком, с другой стороны. Экспертами высказаны «замечания, снизившие оценки по заявке», анализ которых заставляет вернуться к обсуждению части четвертой ГК и, прежде всего, главы 77. По поводу этой главы сотрудниками и партнерами РНИИИС было написано и сказано на круглых столах столько, что из этого материала уже получилась Белая книга (изданная в Совете Федерации). Позиция РНИИИС предельно ясна и публична. Эксперту она должна быть известна, если он вообще в теме. Но эксперт «на ясном глазу» заявляет: «Раздел 5 пояснительной записки (форма 4) по существу не содержит описания поставленной заявителем научной задачи, применительно к нормам принятой части четвертой Гражданского кодекса Российской Федерации». Затем эксперт двумя длиннющими абзацами пересказывает достижения (как ему представляется), содержащиеся в главе 77. И становится очевидным, что содержание дискуссий с разгромной критикой главы 77 ему неизвестна или непонятна. И это эксперт??

В своих замечаниях эксперты указали еще несколько моментов, снижающих, по их мнению, ценность заявки, но проявили при этом некоторую поверхностность суждений. Так, один из экспертов отмечает, что ни одна из организаций в заявке не относится к учреждениям высшего профессионального образования, что верно лишь с формальной точки зрения. В этой связи, как считает эксперт, соглашение о создании консорциума является избыточным. В первом случае эксперт ошибается по существу, так как не знает истинного положения дел, во втором – формально, поскольку не имеет соответствующей юридической подготовки. Разумеется, первая ошибка более серьезна, поскольку пункт 3.3 критерия 3 имеет смысл только с точки зрения стимулирования интеграции науки и образования. Формальное его выполнение – профанация идеи. Но именно в содержательном плане ЦЭМИ можно рассматривать как образовательную организацию, причем обеспечивающую экономическое образование современного типа на высоком уровне (в отличие от огромного большинства экономических вузов).

Максимальная оценка по пункту «3.2. Обоснованность привлечения соисполнителей» 20 баллов, усредненная оценка экспертов 12,6 балла. И снова очень серьезные вопросы по части квалификации или объективности экспертов. Эксперты, вероятно, не обратили внимания на то, что работа имеет очень весомую экономическую составляющую, связанную с оценочной деятельностью и работой с экономической информацией. Поэтому привлечение ЦЭМИ РАН в качестве соисполнителя более чем естественно. Именно в ЦЭМИ РАН концентрируется теоретическая работа по оценочной деятельности, в том числе по оценке интеллектуальной собственности. Если кто-то готов оспорить этот тезис, то хотелось бы, чтобы это было открыто, как положено в научных дискуссиях. Что касается РНИИИС, то наличие нескольких докторов юридических наук, имеющих опыт законотворческой работы и специализирующихся в сфере интеллектуальной собственности, делает практически бессодержательной дискуссию о наличии или отсутствии более сильной команды по этой части у возможных конкурентов. Таких просто нет.

Наконец, еще два замечания носят чисто формальный характер. «Проект календарного плана НИР не предусматривает подготовку и представление заказчику промежуточных отчетов и соответствующих актов, содержащих результаты этапов 1 и 2 НИР». И не поймешь, чего здесь больше, глупости или желания поймать на мелкой формальной ошибке. Разумеется, отчеты и акты предполагаются, как и денежные расчеты по этапам. Это ведь и в интересах исполнителя тоже, причем в гораздо большей степени, чем Заказчика. Тут эксперт «чижика съел». Последнее замечание касается сомнений в финансовых возможностях исполнителя по части финансирования из собственных средств части работ. Здесь эксперт прав. Не надо было писать про частичное финансирование из собственных средств, поскольку весь этот пункт – чистой воды провокация с самого начала. Да и стоит он немного.

Эпилог

Максимальная сумма баллов при идеальном соответствии заявки всем критериям равна 435 баллам. Заявка консорциума из РНИИИС и ЦЭМИ РАН набрала всего 292, утратив тем самым всякие шансы на победу в конкурсе. Самые большие потери – результат удивительно низкой оценки по первому критерию, выведенной экспертами искусственно, но не очень искусно.

И все же особенно примечательна «экспертная» оценка заявки огромными потерями при оценке по критерию «Квалификация участников конкурса». Усредненная оценка экспертами равна 94,3 балла из 150, т.е. меньше, чем 2/3 от максимума. В переводе на вербальный язык такая оценка однозначно трактуется как «неудовлетворительно». Зная цену себе, товарищам по работе и своему учителю, могу рассматривать такую оценку «экспертов» либо как вызов, либо как безрассудную глупость. Объективно, а не по оценкам "клоунов от экспертизы", именно мы – лидеры в области методологии оценки интеллектуальной собственности. Поэтому мы отвечаем за все, что в этой области происходит. Мы оспариваем заведомо необъективную оценку.

Не имея возможности знать имена "трех клоунов от экспертизы", столь беззаботно злоупотребляющих собственной некомпетентностью, могу все же отметить явные признаки антропологической катастрофы в экспертном сообществе. Если эту болезнь не лечить, она будет прогрессировать. Нам это надо? Мне нет. Я еще собираюсь поработать в области оценки интеллектуальной собственности и, прежде всего, в части методологии и нормативного регулирования. А потому мне есть дело не только до дележа заказов, но и до существа дела. Когда я увидел объявление о конкурсе и название лота, первая мысль была: «Да лучше бы позвонили и спросили, я бы им и так рассказал, что делается и что нужно делать». Не позвонили.

Сноски:
----------------------

[1] Лот 3. 2007-1-2.1-00-05. «Исследования существующего опыта оценки нематериальных активов (интеллектуальной собственности) и разработка методологии определения цены новых технологий, полученных при выполнении научно-исследовательских и опытно-конструкторских работ за счет средств федерального бюджета»

[2] Так в оригинале от экспертов



Обсудить в Форуме - RUSSIAN APPRAISERS not only for Russians

Сообщения в форуме - за 3 часа, за 6 часов, за день или за неделю




Козырев Анатолий Николаевич Козырев Анатолий Николаевич - доктор экономических наук, ведущий научный сотрудник ЦЭМИ РАН, заместитель Председателя Научного совета по экономическим проблемам интеллектуальной собственности при Отделении общественных наук РАН, профессор кафедры ЮНЕСКО по авторскому праву и другим отраслям интеллектуальной собственности, научный руководитель Консультационно-исследовательского центра интеллектуального капитала Лабрейт.Ру, заведущий кафедрой Экономики интеллектуальной собственности Московского Физико-Технического Института (Факультет инноваций и высоких технологий), директор Центра Развития Инноваций ИГУМО. Автор первого учебника по оценке интеллектуальной собственности в Российской Федерации. Сфера научных интересов: экономика знаний, оценка интеллектуальной собственности, математическая экономика.



Рейтинг@Mail.ru Rambler's Top100 Rambler's Top100 Яндекс цитирования


Использование материалов ОН-ЛАЙН БИБЛИОТЕКИ ОЦЕНЩИКА LABRATE.RU возможно при условии указания источника и активной ссылки на - http://www.labrate.ru или одной из кнопок 88х31 .

Праздничное приглашение на юбилей фирмы - дизайн и печать.