Это вторая попытка спросить об экспертной оценке после довольно неудачной попытки , которая, вероятно, была слишком широкой. Позвольте мне начать снова, с более точного подвопроса.
Обычно высказывается мнение, что не следует судить о своем коллеге, глядя на импакт-фактор журналов, в которых опубликованы ее статьи, поскольку IF является очень плохим показателем цитируемости отдельных статей и, конечно, еще хуже при утверждении внутренних достоинств. отдельных статей. Некоторые идут еще дальше и считают, что не следует судить о себе, глядя на престиж журналов, в которых публикуются ее статьи (например, потому что более избирательные журналы, как правило, публикуют менее надежные научные данные). Наконец, само количество публикаций, очевидно, не более полезно для оценки чьего-либо сверстника, чем само количество написанных книг полезно для оценки заслуг писателя. Таким образом, следуя этим принципам, можно не использовать списки публикаций в экспертной оценке.
Однако список публикаций, безусловно, является основным компонентом записи во многих, если не в большинстве, оценок.
У меня есть несколько вопросов по поводу этого парадокса, на которые у меня есть личные ответы, частичные и неопределенные.
Q0 Каковы фактические практики использования списков публикаций в экспертной оценке, свидетелями которых вы являетесь?
В1 Существуют ли обстоятельства, при которых использование IF, престижа журнала или другого аспекта списка публикаций приводит к лучшей оценке, чем нет?
В2 Какие другие заменители можно использовать для оценки, которая, как ожидается, будет проведена довольно быстро (например, получение короткого списка из десятков или сотен претендентов на постоянную должность, выделение небольшого финансирования), и каковы их плюсы и минусы?
Q3 Какие критерии можно использовать для оценки, которые, как ожидается, будут проводиться более тщательно (например, найм на постоянную должность после составления короткого списка), и каковы их плюсы и минусы?
Q0 . Короткий ответ, все виды; от попыток вникнуть во все детали, которые вы упоминаете в своем фоновом тексте, до простого просмотра числа. Мой опыт говорит, что оценки часто имеют высокие устремления, но когда дело доходит до фактического проведения оценки, нехватка времени или другие обстоятельства сводят оценки к простым статистическим показателям.
В2 . Короткий ответ здесь: мы не знаем. Чтобы сказать, что один подход дает лучшие результаты, чем любой другой, нам нужны сопоставимые материалы. Я не видел таких сравнений (что, конечно, не означает, что их не существует).
Библиометристы работают с более совершенными инструментами, чтобы попытаться вычислить сопоставимые числа. Пройдя через несколько таких процессов для организаций, а не для людей, я могу сказать, что результаты часто показывают, является ли объект хорошим, средним или, возможно, плохим, и не более того; очень относительные понятия. В моих опытных исследованиях литература рассматривается после того, как она была подвергнута, например, нормализации поля, поскольку разные области имеют очень разные стратегии публикации. Это одна из причин, по которой прямой IF или h-индекс имеют ограниченную ценность; важно знать, с чем сравнивают.
В2 . Что сразу приходит на ум, так это финансирование. Если кто-то ищет человека, который своей деятельностью внесет вклад в работу отдела, просмотр его публикаций может не раскрыть всего. Не менее важной может быть способность привлекать финансирование. Очевидно, что во многих случаях они могут быть хорошо коррелированы, а в других — очень плохо, так что даже это не будет прямым. Опять же, нужно смотреть на нормы для конкретной области, чтобы понять, как их можно использовать.
Q3 . Это в некоторой степени восходит к моему ответу в Q2. Я думаю, однако, что для того, чтобы успешно выбрать человека на постоянную работу, нужно очень четко представлять себе, чего вы ожидаете от такого человека. Одно дело смотреть на количество публикаций, но предположим, что человек запирается в комнате и его никогда не видят, кроме как когда публикуется новая статья. Это то, что действительно искало отделение?
Назначать (хороших) людей (участников) — сложная задача, и я очень сомневаюсь, что использование простых инструментов — лучший способ. Конечно, некоторые инструменты, такие как ЕСЛИ и тому подобное, можно использовать для сужения большей группы, но чем меньше группа, из которой нужно выбирать, тем более тупыми становятся такие инструменты. Я считаю, что многосторонний подход, при котором критерии поиска четко определены с самого начала, а за ними следует набор средств, — это то, что нужно. Обычно это включает в себя собеседования и т. д., чтобы выяснить, как человек может и будет интегрироваться и вносить свой вклад в рабочую среду.
Суть в том, что вы получаете то, что заслуживаете, если используете простые инструменты и недооцениваете усилия, необходимые в процессе найма.
Я знаю, что этот ответ очень относителен, но я убежден, что найм людей гораздо сложнее, чем то, что может решить простая статистика.
Это правда, что оценка качества журналов, в которых публикуется коллега (например, ваша личная оценка или оценка журнала вашим сообществом или, при необходимости, импакт-фактор) сама по себе является относительно плохим показателем. Верно и то, что количество журнальных статей само по себе плохой показатель.
Но взятые вместе, эти два показателя, безусловно, весьма показательны: если у кого-то есть полдюжины публикаций в журналах Science и Nature за последнее десятилетие, то он явно занимается наукой. Если у кого-то есть 50 публикаций за последнее десятилетие, но все они в журналах, о которых вы никогда не слышали, и изданных в странах второго и третьего мира, то это также многое говорит вам о кандидате.
Вы можете привести аналогичные аргументы в отношении большинства других комбинаций критериев, имеющих отношение к библиометрии: взятые по отдельности, они мало что говорят; но если рассмотреть два или три из них вместе, они сильно коррелируют с качеством научных исследований, которыми кто-то занимается.
(Я добавлю следующее, потому что этот аргумент приводился так много раз, и я устал от него: конечно, тот факт, что существует сильная корреляция между комбинацией метрик и качеством науки, также не означает, что (i ) нет примеров кандидатов, для которых метрики неправильно предсказывают плохую науку, (ii) нет примеров кандидатов, для которых метрики неправильно предсказывают великую науку Примером для первого пункта выше может быть Эндрю Уайлс до FLT, который не публиковал много Но важно то, что то, что есть выбросы, не означает, что подход не имеет достоинств. В большинстве случаев вы легко сможете обнаружить выбросы, если воспользуетесь комбинированными показателями для кандидата. Это просто требует человеческого осмотра. Но инспекция требует меньше работы, а результаты гораздо проще документировать с учетом метрик.
Аргумент о том, что никакая метрика по отдельности или в сочетании не является надежной , по моему мнению и наблюдениям, в основном исходит от людей, чьи метрики не выглядят отличными (но разумными) и чья научная карьера в целом не выглядит великолепной (но разумной). Им нечего было бы выиграть, если бы кто-то использовал количественный подход к их ежегодной оценке. Но только потому, что значительное число людей утверждает, что метрики «явно непригодны» для оценки кандидатов, это не делает их таковыми .)
Я считаю, что список публикаций плюс цитаты позволяют мне ответить на три ключевых вопроса о человеке:
Числовые пороги и определения для оценки всего этого, конечно, зависят от поля и этапа карьеры. Однако я не считаю место публикации особенно интересным или убедительным показателем: сильные публикации в хороших местах обычно хорошо вознаграждаются цитированием, и я считаю, что это достаточно хорошо включает их в мою оценку. Кроме того, подсчет места проведения будет фактически двойным подсчетом.
Обратите внимание, что есть также ключевые вещи, которые не отображаются эффективно в списках публикаций. Например, человек мог внести крупный вклад в разработку программного обеспечения или общественной организации, что отразится в его резюме в другом месте.
Андрей