Отражает ли импакт-фактор качество журнала?

Нет.

Чтобы ответить на комментарий Павла:

Заголовок поста спрашивает о журналах. Избитый список критических замечаний в отношении импакт-фактора как показателя качества журнала см. в статье Википедии и источниках, на которые она ссылается. Во многих дисциплинах важные статьи получают большую часть своих ссылок далеко за пределами двухлетнего окна IF . Необработанные данные о цитировании могут манипулироваться редакционной политикой, некоторые из которых более гнусны , чем другие , или даже отдельными газетами . Расчеты импакт-фактора Thomson-Reuters не воспроизводимы , даже с использованием их собственных данных цитирования. И так далее до тошноты. Но самое главное: наличие большого количества цитирований — это не то же самое, что качество.

В тексте сообщения спрашивается о журнальных статьях. Импакт-фактор — это (приблизительно) среднее количество цитирований всех статей, опубликованных журналом в заданном временном окне. Даже если бы это была надежная мера среднего качества (которой она не является), она бы вообще ничего не говорила о качестве любой отдельной бумаги.

Если два других ответа не сделали это очевидным. Ответ отрицательный , но его можно принять даже дальше, чем то, что предлагают приведенные выше ответы. Мы можем изучить это!

Изображение выше представляет собой коэффициент детерминации между импакт-фактором журналов и двухлетней цитируемостью их статей с 1902 по 2009 год для всех журналов по естественным и медицинским наукам. В основном это означает, что даже если все, что вас волнует, — это количество цитирований, которые вы получаете, то даже тогда импакт-факторы журналов начинают иметь все меньше и меньше значения.

Конечно, важно то, насколько влиятельны ваши идеи, а не то, как часто они цитируются, но на самом деле у нас нет хорошей метрики для этого.

Очевидно, что людям здесь не нравится идея, что импакт-фактор будет использоваться для оценки качества журнала. Я тоже не сторонник импакт-фактора. С ним можно играть (и степень игры будет возрастать по мере того, как ему будет придаваться большее значение). Это также становится особенно проблематичным, когда вы сравниваете дисциплины с разными практиками цитирования и периодом полураспада цитирования. Кроме того, существует также риск того, что люди начнут использовать импакт-фактор для оценки качества статьи, что гораздо более сомнительно.

Тем не менее, в пределах дисциплины я обычно считаю, что лучшие журналы имеют более высокие импакт-факторы. Это не идеально. Но есть сильная корреляция. Есть также исследования, которые показывают очень высокую корреляцию между различными показателями качества журнала, включая рейтинги коллег, импакт-фактор и различные другие показатели, основанные на цитировании.

Короче говоря, в рамках области импакт-фактор является одной из многих переменных, которые обычно сильно коррелируют с качеством журнала . Если вы ничего не знаете о качестве журнала, вы узнаете о нем больше, взглянув на его импакт-фактор. Однако это не должно мешать вам обратить внимание на другие и, скорее всего, лучшие показатели качества журнала (например, какова ваша собственная оценка контента, опубликованного в журнале за последние годы).

Также очень важно спросить себя, почему вы хотите оценивать качество журнала. Выбрать журнал? вознаграждать, продвигать или нанимать ученых? Использование импакт-фактора в этих случаях может быть проблематичным по целому ряду причин, но это отдельные вопросы.

Вот одна статья, которую я нашел, предоставляя эмпирические данные Саха и др. (2003). Цитирую аннотацию:

Цели: Импакт-фактор, индекс, основанный на частоте цитирования статей журнала в научных публикациях, является предполагаемым маркером качества журнала. Однако эмпирические исследования валидности импакт-фактора как показателя качества отсутствуют. Авторы оценили достоверность импакт-фактора как меры качества для общих медицинских журналов, проверив его связь с качеством журнала, оцененным клиницистами и исследователями.

Методы: мы опросили врачей, специализирующихся в области внутренних болезней в Соединенных Штатах, случайным образом отобранных из мастер-файла врачей Американской медицинской ассоциации (группа практикующих врачей, n = 113) и из списка выпускников национальной программы постдокторской подготовки в области клинических исследований и исследований в области здравоохранения ( исследовательская группа, n = 151). Респонденты оценили качество девяти общих медицинских журналов, и мы оценили корреляцию между этими оценками и импакт-факторами журналов.

Результаты. Корреляция между импакт-фактором и оценками врачей качества журнала была сильной (r2 = 0,82, P = 0,001). Корреляция была выше для исследовательской группы (r2 = 0,83, P = 0,001), чем для группы врачей (r2 = 0,62, P = 0,01).

Выводы. Импакт-фактор может быть разумным показателем качества для общих медицинских журналов.

Рекомендации

• Саха, С., Сент, С. и Кристакис, Д.А. (2003). Импакт-фактор: действующая мера качества журнала? Журнал Ассоциации медицинских библиотек, 91, 42. PDF

"Качество" очень субъективно. Импакт-фактор — это хорошая мера того, как часто статьи в журнале цитируются, но это не обязательно напрямую связано с «качеством».

Многие журналы с узкой направленностью будут иметь относительно низкие импакт-факторы, но по-прежнему считаются очень «высококачественными» (т.е. престижными для публикации) журналами.

Например, в науках о земле Journal of Structural Geology является гораздо более престижным (и в нем труднее публиковаться), чем, скажем, Tectonophysics (просто выбрать еще один журнал Elseviver), но он имеет более низкий импакт-фактор.

Редакция журнала «Эпидемиология» (очень хороший журнал) недавно опубликовала передовицу по этому поводу:

В большинстве крупных эпидемиологических журналов, в том числе и в нашем, в последние годы отмечается неуклонный рост импакт-факторов. При этом относительный рейтинг этих журналов год от года меняется. Такие изменения вряд ли отражают истинные ежегодные изменения относительного качества этих журналов. Мы считаем, что различные эпидемиологические журналы действительно разные, и они заслуживают того, чтобы их оценивали и сравнивали. Но мы счастливее, когда такие оценки основаны на вопросах существа, таких как редакционная политика, качество рецензий, качество редактирования, эффективность обработки рукописей и (реальное) влияние журнала на поле.

В указанной редакционной статье также есть ссылки на несколько других статей в этом журнале, критикующих понятие импакт-фактора и его научные достоинства (или их отсутствие).

Я видел, что в отношении цитирования статьи вы заметите, что в большинстве случаев статья неоднократно цитировалась самим автором в других своих научных статьях или его учениками, а иногда и его/ее коллегами без привязки каких-либо ссылок. реальная важность цитирования. Географическое положение цитирования также имеет значение, например, если автор из определенной страны получает 10 цитирований из 10 разных стран, то эти 10 цитирований будут более важными, чем 10 цитирований из одной страны.