Почему университеты придают такое большое значение количеству цитирований и импакт-факторам при оценке исследователей?

Импакт-факторы и число цитирований широко используются для оценки репутации исследователей. Однако эти показатели могут вводить в заблуждение, а в некоторых случаях ими можно манипулировать.

Почему университеты придают такое большое значение количеству цитирований и кумулятивным факторам воздействия?

Как вы думаете, почему «большинство университетов» действительно заботятся об этом? Нужна цитата.
У меня нет опыта подачи заявлений о приеме на работу в Северной Америке, но в Австралии, Великобритании и некоторых других странах ЕС большое значение придается количеству публикаций, импакт-фактору и цитируемости. Я знаю человека в Великобритании, который стал читателем в течение 4 лет из-за его большого количества публикаций. Он опубликовал более 270 статей за 3 года. Я не думаю, что кто-то сможет обосновать вклад в такое количество статей, но таких примеров сотни, и университеты их украшают.
Вы упоминаете исключительные случаи. Я сомневаюсь, что продвижение было связано только с «подсчетом бобов», хотя это, возможно, привлекло внимание людей. И "большинство" кажется слишком сильным.
В ряде европейских стран вы не можете получить степень доктора философии, если не опубликуете x столько-то статей с импакт-фактором выше y. Я знаю, что в Испании в заявках на постдокторские и преподавательские должности специально указывают импакт-факторы. В Великобритании структура передового опыта исследований оценивает качество статей и принимает решение о финансировании университетов. В его заявлениях не используется IF (но будет использоваться подсчет цитирования), однако университетское планирование REF обычно использует IF. В моих академических критериях испытательного срока говорилось, что мне нужна 1 статья, если> 10 или 2 статьи> 5.
Ненавижу это говорить... но это потому, что люди, которые устанавливают эти KPI, как правило, тупые бизнесмены, а не ученые, которые понятия не имеют, как эффективно управлять исследовательским институтом.
@IanSudbery У них должны быть разные стандарты для разных отделов, потому что я не думаю, что в моей области есть журнал с IF> 5.
@Persistence звучит как проблема «слепо доверять данным», чем-то напоминает мне это видео . Измерение успеха != фактический успех, потому что «для людей не проблема, что они не думают как математические машины». Это просто заканчивается разделением продуктивных вещей, которые вы делаете, от того, что вы делаете, чтобы иметь финансирование, чтобы продолжать быть продуктивным. Тем не менее, полное исключение метрик означало бы значительное сокращение и трату большего количества времени на чтение статей отдельных лиц и оценку их собственных достоинств.
Ненавижу это говорить, но они этого не делают. Что действительно важно, так это грантовый доход.
Хотя эти показатели могут быть необъективными (и их легко обмануть), альтернативой обычно является оценка небольшой группой экспертов. Проблема в том, что он может иметь высокую дисперсию. Рецензенты ведущих конференций не дают очень последовательных обзоров ( inverseprobability.com/talks/notes/the-neurips-experiment.html ), поэтому подход, принятый, например, REF, может быть не более надежным (а также чрезвычайно дорогим). Количество цитирований, вероятно, лучше, чем импакт-фактор, но оно сильно варьируется от одной области к другой.
Когда мой отдел предлагает повысить в должности преподавателя, колледж требует, чтобы мы предоставили информацию о том, как мы используем показатели цитирования для оценки исследований. Ответ, который я использовал при подготовке многих рекламных файлов, начинается с «Короткий ответ: мы этого не делаем». Далее следует абзац о ненадежности таких метрик и наличии гораздо лучших.
Google делает то же самое в отношении оценки веб-страниц на предмет того, насколько они хороши (и соответственно ранжируются в результатах поиска). Работает довольно хорошо для них.
Ответить «почему» не проблема: как говорит @Allure, потому что это просто (и трудно найти лучшие показатели). Но вы правы, указав, что это ошибочная метрика, и, как и любая метрика, она страдает от закона Гудхарта: когда мера становится целью, она перестает быть хорошей мерой. Решить это непросто.
@ ThorbjørnRavnAndersen, это также сильно обыгрывается, посмотрите на все страницы «SEO-оптимизация» и мошеннические сайты с ключевыми словами / ссылками.
@jrh Да, это искусство распознавать злой умысел.
@kimball да, конечно, фактическая числовая цель будет варьироваться от отдела к отделу. См. также недавнюю ситуацию в ливерпульском факультете наук о жизни, когда преподаватели школы были ранжированы по количеству цитирований, а 50 худших были отобраны для увольнения. Это была всего лишь многомесячная кампания забастовок, в том числе отсутствие маркировки в течение почти года, что в конце концов спасло рабочие места.

Ответы (5)

Потому что это легко

Допустим, вам нужно оценить 100 исследователей. Как бы вы это сделали? Вы можете прочитать их статьи достаточно подробно, чтобы понять их (это займет месяцы или годы, особенно если они не в вашей области). Вы можете положиться на экспертную оценку и рекомендательные письма (уже широко распространенные). Вы можете посмотреть на полученные призы и награды (тоже уже много сделано). Или вы можете посмотреть на количество цитирований и импакт-факторы. Последнее легко сделать, и хотя оно не идеально, оно объективно и имеет корреляцию с качеством исследования ( подсчет цитирования — стандартный метод измерения превосходства в библиометрии ).

Кроме того, многие неспециалисты заботятся о количестве цитирований и импакт-факторах, например, все основные рейтинги университетов используют их, а студенты смотрят на рейтинги. Плохая успеваемость в этих рейтингах может сделать человека менее привлекательным для студентов со всеми вытекающими негативными последствиями.

См. также это :

Но. Кандидатов на факультет обязательно оценивают люди, не являющиеся экспертами в своей области. Без опыта, позволяющего судить о том, действительно ли хороша ваша работа, эти люди должны смотреть на вторичные данные, которые сильно коррелируют с успешными исследователями. Одной из таких второстепенных характеристик является «родословная». Вы получили степень в Массачусетском технологическом институте, Беркли, Стэнфорде, CMU, другом факультете из топ-10 или где-то еще? (Что такое «Лига плюща»?) Насколько хорош/известен ваш советник? Если они действительно обращают внимание: где другие аспиранты вашего научного руководителя получили работу и насколько хорошо они сейчас справляются?

К счастью, большинство хороших отделов прилагают серьезные усилия, чтобы понять качество и влияние результатов кандидатов, вместо того, чтобы полагаться только на вторичные данные. Кроме того, вторичные данные имеют значительно меньшее значение, если у вас действительно есть интервью.

Комментарии не для расширенного обсуждения; этот разговор был перемещен в чат .
  1. Поскольку многие финансирующие агентства придают большое значение цитируемости и импакт-фактору,
  2. Поскольку многие рейтинговые агентства (всех видов) будут присваивать более высокие рейтинги учреждениям с активно участвующими в исследованиях и хорошо финансируемыми преподавателями, что измеряется такими показателями,
  3. Потому что заявление в рекламной брошюре о том, что ваш факультет публикует в среднем столько-то статей в год, заставит вас выглядеть лучше, чем такое-то количество статей в год.

Да, это все маркетинг, но в наши дни, когда правительства финансируют уменьшающуюся часть стоимости образования, когда университеты соревнуются за студентов, а соотношение администрации и преподавателей продолжает расти, администрации нужны новые доходы. См. эту статью в журнале Forbes для получения дополнительной информации о финансовом давлении на учреждения.

Я согласен с вами, это все из-за ошибочных методологий, принятых финансирующими агентствами, но академические круги не сопротивлялись, а скорее стали частью этого.
@MBK это самоочевидная истина, что большинство университетов совершенно счастливы просто «следовать за деньгами»… принцип наименьшего сопротивления.
Вопрос: «Почему мы придаем такое большое значение цитируемости и импакт-фактору?»; Ответ: «Потому что некоторые люди придают такое большое значение цитированию и импакт-фактору». Хорошо, но это просто немного смещает вопрос, на самом деле это не ответ.
@Стеф нет и да. Если люди, которые придают такое значение, держат $$, то да, это ставит мяч на их сторону, но они будут утверждать, что это их предпочтительный способ распределения ресурсов. Вы бы предпочли отправить своих детей в школу с самым высоким рейтингом или с более низким рейтингом (независимо от стоимости)?

На вопрос невозможно ответить, поскольку посылка ложна или, по крайней мере, не имеет доказательства. Конкретно,

почему большинство университетов придают слишком большое значение количеству цитирований и накопительному импакт-фактору

Я знаю, что ни один университет вообще не заботится об импакт-факторах, которые в большинстве случаев фальшивые (те, о которых сообщают журналы).

Подсчет цитирования немного важнее и иногда используется как косвенный показатель «влияния» ученого, но даже это не общепризнано, и большинство университетов явно не проверяют этот показатель.

На самом деле продвижение по службе и прием на работу основаны больше на:

  • рекомендательные письма и экспертная оценка
  • места публикаций: престижные или нет.
  • знакомство действующих преподавателей с кандидатом
  • количество публикаций в избранных местах (не количество цитирований)
По крайней мере, в США продвижение по службе в значительной степени является результатом коллегиальной оценки, а коллеги имеют более глубокое представление о достижениях кандидата. Правда, совет комитета по продвижению не является последним словом, но его почти всегда уважают — иначе наступает хаос.
«импакт-факторы, которые в большинстве случаев фальшивые (те, о которых сообщают журналы). Количество цитирований немного важнее и является косвенным показателем «влияния» науки». Ваши эти предложения противоречивы. Цитирование определяет импакт-фактор. Итак, если импакт-фактор ненадежен, то как цитируемость может быть надежной метрикой? Как я упоминал в своем предыдущем комментарии, публикация сотен статей в год не может быть оправдана, как и цитирование таких исследователей.
В более знакомых мне системах не все журнальные публикации могут быть включены в резюме. Это, безусловно, верно, когда речь идет о PTR или о заявках на получение грантов; Таким образом, журналы более низкого уровня отфильтровываются от тех, в которых заявители могли бы публиковаться. Кроме того, меньшее количество публикаций может быть компенсировано более высоким числом цитирований, т.е. две статьи в Nature с высоким цитированием вполне могут считаться эквивалентными или лучше, чем 5 статей с низким цитированием в журнале среднего уровня.
Из-за роста хищнических журналов чистое количество публикаций не так важно, как раньше, в том смысле, что хищнические публикации очень часто не учитываются; в этом смысле «престиж» журнала имеет значение. Ложное предположение состоит в том, что одна оценка может отразить «добавленную стоимость» преподавателя.
@MBK, я не говорил, что подсчет цитирования «надежен», я сказал, что это более важно в процессе продвижения, потому что это то, на что смотрят люди, комитеты и коллеги. Никто из тех, кого я знаю, не смотрит на «Импакт-факторы», тем более, что заявленные издателями ИФ недостоверны (или «поддельны»).
@ Баффи, спасибо, теперь я добавил «оценку коллег».
Журналы @ZeroTheHero Predatory не имеют значения. Все подсчеты цитирования, импакт-факторы и Хирш-индексы берутся непосредственно из WOS, и большинство хищнических журналов туда никогда не попадают. Если они это сделают, они останутся где-то внизу рейтинга с низким IF. Они генерируют мало ссылок из других журналов WOS. Учитываются только ссылки WOS на WOS.
@VladimirF WOS не является единственным поставщиком метрик (здесь в GoogleScholar достаточно вопросов, чтобы вы это знали). Я хочу сказать, что общее количество статей больше не принимается в качестве показателя.
@ZeroTheHer Никто не заботится о Google Scholar, в нем слишком много дерьма. Те, кто имеет право распределять деньги, заботятся о WOS и иногда , но только иногда, о Scopus (но даже тогда только как о второстепенной информации). Когда нас интересует количество статей, мы, конечно, учитываем только те из журналов, которые имеют импакт-фактор WOS. Прочие бумаги не в счет, до них никому нет дела. Для некоторых целей, таких как деньги в нашем универе, только статьи в журналах в IF имеют рейтинг выше среднего.
@VladimirF, ваш опыт в этом вопросе, по-видимому, сильно отличается от моего.
Я согласен с Владимиром в том, что не учитываются журналы/конференции, которые являются хищными или ниже определенного порога IF. Конечно, ни один орган не считает их для большинства целей. Но, кажется, ZeroTheHero говорит именно об этом, поэтому я не вижу, в чем между вами разногласия.

Насчет «большинства» я тоже понятия не имею, но мы время от времени обсуждаем, каким будет «справедливый показатель» для подсчета публикаций. Все согласны с тем, что оценка истинной научной заслуги нецелесообразна (или даже невозможна) по целому ряду причин, от невозможности внимательно прочитать и оценить все работы в самых разных совершенно разных областях до того, что оценить истинное влияние чего-либо , надо ждать как минимум 10+ лет.

Наша текущая система (насколько я ее помню) состоит в том, чтобы иметь журналы уровня 1 и уровня 2 с 2 баллами за публикацию в первом и 1 во втором (есть также некоторые причудливые правила относительно индивидуальных публикаций по сравнению с публикациями в соавторстве). Мне было лень читать как следует, поэтому лучше пропущу их здесь). Он далек от идеала и постоянно подвергается критике со всех сторон, но в конце концов это не такой уж плохой компромисс. Я слышал и о гораздо худших аранжировках, где формализация доводилась до полного абсурда (по крайней мере, с моей точки зрения). Уровни определяются «по общему согласию» (и здесь есть некоторая борьба), при этом импакт-фактор играет некоторую роль, но не решающую. В общем,

Основная причина самого существования этой балльной системы, видимо, в том, что ни мы не хотим объяснять администрации, что чего стоит на регулярной основе, ни администрация не хочет слышать такие объяснения чаще, чем это абсолютно необходимо, так что все следует свести к одному числу. Когда возникают действительно важные дела (например, продвижение по службе и т. д.), число просто должно быть выше определенного (довольно низкого) порога, и решение принимается в основном на основе рекомендательных писем и тому подобного, но для тривиальных вопросов, таких как годовая заработная плата. поднимите это число и все увидят, как присуждаются награды. Прозрачность здесь не менее важна, чем справедливость, а поскольку последней трудно добиться даже теоретически, то прибегнуть к знаменитому принципу KISS — разумная идея.

Конечно, ситуация варьируется от места к месту, но следует помнить, что многие подобные правила являются детищем не университетов, а профессорско-преподавательского состава отдельных факультетов, и самые уродливые монстры рождаются, когда люди не хотят договориться о чем-либо или даже выслушать друг друга. Некоторую роль, конечно, играют и различные "рейтинги" независимых агентств, и факторы цитируемости играют там заметную роль, иногда довольно странным (опять же, ИМХО) образом.

Как я уже сказал, существующая система далека от идеала, но если вам когда-нибудь придет в голову блестящая идея действительно хорошего способа (справедливого, прозрачного и практичного), дайте мне знать, и я буду рад отстаивать ее на местном уровне. :-)

Подняты хорошие вопросы, но это не ответ на вопрос.
@Dilworth Согласен, но, как уже было сказано в комментариях, сама посылка вопроса «сомнительна», поэтому я просто описал, что происходит в одном конкретном месте, о котором я могу говорить с некоторой уверенностью. Дело в том, что мы придаем некоторое значение этим метрикам (и я попытался объяснить, почему), хотя и не столь большое . Если кто-то работает в месте, где «так много» является правилом, он, конечно, может предоставить более важную информацию.

Основной проблемой, на мой взгляд, является концепция «объективности» и связанные с ней проблемы. Объективность может означать многое, но часто ее принимают за результат прозрачной и воспроизводимой процедуры измерения, связанной с устранением влияния личных интересов и мнений.

Существенная дилемма здесь заключается в том, что способности и потенциал исследователя, а также ценность его работы настолько сложны (и уж точно не одномерны, как это должно быть при любом ранжировании), что, скорее всего, никакая «объективная» процедура измерения не может этого сделать. им справедливости. В некоторых местах существует тенденция отдавать приоритет прямым числовым измерениям, несмотря на то, что они явно недостаточны (я не обязательно говорю, что количество цитирований и импакт-факторы являются лучшими из них). В некоторых других местах решения принимаются непрозрачно членами комиссии с учетом рекомендательных писем и другой информации от коллег. Это может работать хорошо, но также связано с фаворитизмом и старыми сетями, защищающими их поле.

Почему университеты придают такое большое значение количеству цитирований и импакт-факторам при оценке исследователей?
СпросиСетьПолитика конфиденциальности1y, 0v