Сколько статей я должен рецензировать в качестве рецензента?

Как и многих ученых с активной исследовательской программой, меня просят просмотреть множество статей. Заимствуя идею у компаний, предоставляющих одноранговый файлообменник, я пытаюсь сохранить приблизительное представление о моем недавнем «соотношении» отзывов, которые я сделал на чужие статьи, к отзывам, которые получили мои статьи . Я стараюсь убедиться, что у меня есть соотношение, которое постоянно выше 1:1. Поскольку многие из моих статей (и предположительно статьи, которые я рецензирую) написаны в соавторстве, это кажется мне очень щедрым.

Сколько обзоров я должен делать? Сколько нормально? Является ли коэффициент эффективным способом отслеживания отзывов? Является ли минимальное соотношение 1:1 приемлемым и оправданным?

Ответы (5)

Я задался этим же вопросом. Одна вещь, которую я заметил, заключается в том, что существует невероятная разница в количестве сделанных обзоров. У меня есть два хороших друга, сильные, активные математики. В последний раз, когда я разговаривал с ними, каждый из них был как минимум на шесть лет старше своей докторской степени и никогда не рецензировал ни одной статьи. Это кажется плохим, но это не их вина: их не спрашивают.

Я подозреваю, что отсутствие координации между журналами в одной и той же области приводит к тому, что одно и то же небольшое количество людей снова и снова просят рецензировать статьи. Я не редактор журнала, но я начал задаваться вопросом, как редакторы выбирают рецензентов: я тот, кто получает (как я думаю!) большое количество запросов на рефери. Я представляю, может быть, 2-4 статьи в год. Не так давно я получал такое количество запросов рецензентов в год, и все они были от людей, которые знали меня непосредственно и касались тем, связанных с моей дипломной работой или областями, в которых я написал несколько статей. Сейчас я получаю не менее десятка заявок на рефери в год, и вдобавок к вышеперечисленным я получаю очень странные на вид. Не так давно меня попросили рецензировать статью по (как я думаю!) теории управления. Это было настолько непонятно, что я предположил, что это какая-то ситуация с электронной почтой, и спросил об этом редактора. Оказалось, что статья о реальных аналитических решениях уравнений Безу была прислана мне из-за вопроса по math.SE, на который я ответил, в котором я объяснил, почему кольцо аналитических функций на комплексной плоскости является областью Безу. Это огорчает: я понимаю, почему Google установил такую ​​связь, но разве с точки зрения ученых-экспертов не очевидно, что мы по разные стороны математики? Подобный опыт заставляет меня задаться вопросом, кто рецензирует документы. в которой я объяснил, почему кольцо аналитических функций на комплексной плоскости является областью Безу. Это огорчает: я понимаю, почему Google установил такую ​​связь, но разве с точки зрения ученых-экспертов не очевидно, что мы по разные стороны математики? Подобный опыт заставляет меня задаться вопросом, кто рецензирует документы. в которой я объяснил, почему кольцо аналитических функций на комплексной плоскости является областью Безу. Это огорчает: я понимаю, почему Google установил такую ​​связь, но разве с точки зрения ученых-экспертов не очевидно, что мы по разные стороны математики? Подобный опыт заставляет меня задаться вопросом, кто рецензирует документы.

Я не уверен, что подсчет бумажек — это правильный способ оценить, насколько вы эффективны с точки зрения судейства. Как я уже упоминал в комментарии к другому ответу, многие - я думаю, большинство - статьи реферируются более чем одним человеком, либо одновременно для одного и того же журнала, либо последовательно, так как многие (большинство?) статей представлены более чем в один журнал прежде чем они будут приняты. Вот некоторые вещи, о которых я подумал:

1) Невозможно, чтобы все рецензировали одинаковое количество статей. Более опытные люди должны рецензировать больше работ, но также должны рецензировать более важные/сложные работы. У людей, занимающих постоянные / руководящие должности в академических кругах (особенно: срок пребывания в должности), должно быть больше обязательств, чем у тех, кто борется за то, чтобы остаться в профессии.

2) Рецензирование не всех статей занимает одинаковое количество времени: на самом деле, даже не близко. Я стараюсь быстро обрабатывать особенно короткие и простые работы: я делаю, наверное, 3-5 таких работ в год, и часто я их обрабатываю за неделю или даже день. Но было бы глупо приравнивать такого рода работу рецензента к длинным и трудным документам, над которыми вы тратите недели или месяцы, работая над которыми , возможно, вам приходится много читать вне дома, чтобы адекватно оценить их. Делать 2-3 солидных статьи в год — это то, что действительно занимает меня как рецензента. Я полагаю, что стараюсь следить за общим количеством времени, которое я потратил на рецензирование, а не за количеством статей, хотя я признаю, что не делаю этого каким-либо формализованным образом.

3) Если статья явно не относится к категории «однодневных», как указано выше, я стараюсь, чтобы моя очередь не превышала 2 статей. Это тоже из уважения к авторам: если мне придется прочитать две статьи, прежде чем я доберусь до вашей , то вы будете ждать как минимум полгода, а то и больше. Если бы в любой момент времени каждый достаточно опытный/квалифицированный ученый имел либо 0, либо 1 статью для рецензирования и считал бы обязательным обрабатывать статьи быстрее, чем они их отправляют, то, я полагаю, все работало бы относительно гладко.

Если вы отправляете 4 статьи в год и получаете как минимум 2 рецензии на каждую статью, то 12 статей — это примерно та сумма, которую вам нужно рецензировать, чтобы окупить время рецензирования и редактирования, затраченное на ваши материалы. Подробнее о том, почему, см. Мой ответ ниже. Что касается того, как редакторы выбирают рецензентов, мы ищем рецензентов, которые уже есть в нашей базе данных и имеют совпадения ключевых слов с представленной статьей, или же мы ищем людей, которые публиковались на аналогичные темы в последние годы. Если ваши отзывы хорошие и своевременные, вас будут спрашивать чаще.
Я думаю, что пункт 2 отличный: просто считать количество рассмотренных статей бессмысленно. Измерение времени, потраченного на обзоры, гораздо более значимо.

Вы можете считать каждую статью с n авторами, над которой вы работаете, как 1/n статьи. Таким образом, каждый раз, когда вы отправляете на публикацию статью 2 авторов, статью 3 авторов и статью 6 авторов, пришло время рецензировать другую статью.

Если журнал использует более одного рецензента на статью, внесите соответствующие коррективы.

В каком-то смысле это должно быть то, что в среднем делает большинство людей.

Редактировать: можно спросить у редакторов, сколько рецензентов они используют для каждой статьи. А еще лучше, чтобы редакторы добровольно предоставили эту информацию.

Я не знаю никаких доказательств того, что люди в среднем так и поступают. Мне кажется, что некоторые люди рецензируют тонны статей, и многие люди (например, аспиранты) представляют статьи, но их редко просят рецензировать.
@BenjaminMakoHill: В среднем люди оставляют ровно столько отзывов, сколько получают (по количеству соавторов). Каждый отзыв, который кто-то получает, исходит от кого-то.
Средние значения должны быть точно такими же, если мы усредняем всех людей, которые когда-либо представляли или рецензировали статью, но не обязательно среди людей, которые в настоящее время работают в этой области. (Например, возможно, что люди, покидающие поле, в среднем отправили больше статей, чем просмотрели.)
@ЮккаСуомела. Если мы рассматриваем группы всех авторов и рецензентов как единый пул для усреднения, это правильно, хотя я не уверен, что это справедливо. Я только хотел предположить, что если мы посмотрим на распределение рецензий по рецензентам, я подозреваю, что мы увидим очень асимметричное распределение. В любом случае, меня меньше интересуют математические утверждения о средних, чем обсуждение того, что кто-то должен делать.
@BenjaminMakoHill: я не понимаю, как «рекомендуемое» число может быть ниже среднего числа. В противном случае, если все будут следовать рекомендации, система рухнет.
@ЮккаСуомела. Да, но это, безусловно, может быть выше.
Тот факт, что многие (большинство?) статей рецензируются более чем одним человеком (либо в одном и том же журнале, либо в разных журналах), по-видимому, не принимается во внимание при анализе этого ответа. Это делает цифру просмотра вдвое большего количества документов, чем вы отправляете, выглядит более справедливой / безопасной с точки зрения «вытягивания вашего среднего веса».
Добавлено: я пропустил предложение «Если журнал использует более одного рецензента на статью, внесите соответствующие изменения». Извини. Но какие-то журналы используют только одного рецензента, какие-то — нескольких, и я не знаю всей статистики, так что подстроиться сложно. Кроме того: здесь не учитывается, что на одну и ту же статью могут ссылаться несколько разных журналов. Если я скажу, что, по моему мнению, в среднем каждую статью рецензируют 3 человека, а вы скажете, что их 2, то мы значительно различаемся в том, сколько работы, по нашему мнению, должен сделать один человек. Значит, каждый решает проблему Ферми по-своему?
@PeteL.Clark: «… так сложно настроить…»: На самом деле все это легко настроить. Вам не нужно считать "средние бумаги" или оценивать что-либо. Просто рассмотрите те документы, которые вы просматриваете, и те документы, которые вы отправляете. Все знают (по крайней мере, в принципе), сколько рецензий они написали лично, и все знают, сколько рецензий (нормализованных соавторами) они получили в общей сложности (включая все: повторные отправки, множественные рецензии на одну отправку и т. д.). Просто следите за этими двумя числами и следите за тем, чтобы в долгосрочной перспективе их разница была положительной.
(Для уточнения. Когда вы рецензируете статью, математика выглядит так: «Это считается 1 рецензией, написанной мной». И когда вы отправляете статью с n соавторами, получаете отчеты и видите, что есть k обзоров, математика выглядит так: "это считается k/n рецензий, полученных мной". Вы делаете то же самое независимо от того, была ли ваша статья отклонена или принята. Нет необходимости получать какую-либо дополнительную информацию от редакции.)
@Jukka: То, что вы видите k отчетов, не означает, что для проверки статьи было привлечено только k рецензентов. У меня были документы, как принятые, так и отклоненные, без каких-либо отчетов рефери. Кроме того, дело о соавторах и фракциях предполагает, что ваши соавторы судят столько же, сколько и вы, что, если они намного моложе или старше вас, может быть не так. Многие из моих соавторов являются аспирантами, которые мало или совсем не занимаются судейством.
Но я согласен с сутью того, что вы говорите: пытаться вычислить среднее значение излишне сложно. Вы, вероятно, можете получить довольно хорошее представление о том, сколько судей вы «используете» в год, и убедитесь, что вы опережаете это. Как далеко вы хотите быть впереди, это все еще вопрос суждения, о чем я говорю в своем ответе.
@BenjaminMakoHill, просто сложите представленные и проверенные документы, суммы должны совпадать. Замаскированная лемма о рукопожатии теории графов ;-)

Как редактор и организатор конференций, хороших и надежных рецензентов найти сложно. Чтобы кто-то был хорошим рецензентом, в дополнение к правильной дисциплине, он должен быть:

  1. Достаточно сильный ученый, что я доверяю их мнению
  2. Способен ясно и конструктивно изложить свой анализ статьи
  3. Достаточно хорош в тайм-менеджменте, чтобы быстро вернуть отзыв
  4. Не слишком перегружен другими обязанностями, чтобы брать на себя

Многие авторы не проходят эти тесты, особенно первый — любой, кто потратил много времени на рецензирование, знает, что пишется много очень плохих статей. Кроме того, статьи, которые были отклонены, часто редактируются и отправляются в другое место, поэтому для них может потребоваться несколько групп рецензентов. Все это сводится к следующему: если вы являетесь хорошим и надежным рецензентом в своем сообществе, вы будете пользоваться большим спросом, и разумно иметь соотношение выше 1:1.

Например, за последние три года, за исключением рассмотрения дел о грантах и ​​сроках пребывания в должности, согласно моим записям, я рассмотрел 31 статью в 2012 г., 24 статьи в 2013 г. и 30 статей в 2014 г. конец года). Это ставит мое соотношение намного выше 1:1, при этом фактическое значение в основном зависит от колебаний знаменателя.

Подводя итог, я рекомендую рассматривать обзоры не с точки зрения коэффициентов, а с точки зрения того, сколько времени вы можете посвятить качественным обзорам мест, которые вы хотите поддержать. Не принимайте запросы на рецензирование от журналов или конференций, которые вы не уважаете: есть много некачественных публикаций, на которые можно потратить ваше время. Кроме того, не принимайте больше обзоров, чем вы можете выдержать, даже если это означает, что ваш коэффициент ниже: лучше дать один хорошо продуманный обзор, чем два поспешных и поверхностных обзора, которые могут упустить важные моменты и разозлить авторов. Немедленно отвечайте «да» или «нет» на каждый запрос на рецензирование: в противном случае вы создадите проблему для редактора, который не знает, нужно ли ему нанимать больше рецензентов или нет.

В четыре раза больше, чем вы отправляете в качестве соответствующего автора.

Мои рассуждения таковы:

  • Большинство журналов запрашивают от двух до четырех рецензий на каждую статью, отправляемую на рецензирование. Добавьте к этому время члена редколлегии-добровольца, который, вероятно, занимается рукописью.
  • Некоторые ученые не выполняют своих обязанностей перед сообществом и отклоняют все запросы на рецензирование, поэтому остальным приходится их компенсировать.
  • По моим подсчетам, это примерно в 4 раза больше количества документов, которые вы отправляете, что является справедливой нагрузкой.
«Большинство журналов запрашивают от двух до четырех рецензий на каждую статью, отправляемую на рецензию». Это сильно зависит от предмета. В моей области — математике — чаще всего судят один. Я представил более 30 статей для публикации и никогда не получал более двух.
Кстати, если вы хотите быть количественным в этом (что, как я сказал в своем ответе, я не обязательно думаю, что это лучший способ), то как количество соавторов учитывается в вашем расчете?
Количество соавторов не имеет значения, если вы считаете только количество статей, которые вы отправляете. Вы, лично, как автор-корреспондент. Я действительно удивлен, узнав, что в некоторых областях достаточно одного отзыва. Это должно значительно ускорить процесс рецензирования и значительно упростить реагирование на комментарии (без учета противоречивых мнений рецензентов)! Журнал, редактором которого я являюсь, предпочитает 4 рецензии и требует не менее 3 рецензий на каждую рукопись.
«Это должно значительно ускорить процесс рецензирования и сделать ответы на комментарии к рецензиям намного проще (без навигации по противоречивым мнениям рецензентов)!» Что ж, отчеты судей часто получают менее чем за год, но не всегда. Я надеюсь, ради вас, что это не звучит так быстро для вас.
Я пропустил часть вашего ответа «соответствующий автор», отчасти потому, что ее не было в вашем комментарии. Никто из моих знакомых не интерпретировал бы фразу «Я отправляю 2-4 статьи в год» как «Я отправляю 2-4 статьи в год в качестве автора-корреспондента », поскольку в моем поле «автор-корреспондент» означает именно «лицо, которое отправляет электронное письмо на адрес электронной почты». журнал / заполняет онлайн-форму». Я не знаю причин не делить соответствующие авторские обязанности примерно поровну между авторами, но, с другой стороны, я не ручаюсь за это. Некоторые люди, несомненно, являются авторами-корреспондентами чаще или реже, чем их соавторы.
Должен ли кто-то, кто не любит заполнять онлайн-формы, и, следовательно, его соавторы действительно были освобождены от всех судейских обязанностей? Или, например, если статью трех авторов необходимо просмотреть в трех журналах, прежде чем она будет опубликована, возможно, один и тот же человек будет корреспондентом все три раза. Разве это не должно считаться одной реферальной работой на автора, а не тремя работами для соответствующего автора? Так что ваши расчеты мне кажутся не очень точными.
Соответствующий автор имеет большое значение в некоторых областях.
@PeteL.Clark Достаточно честно. Вы можете использовать «первый автор» вместо «соответствующий автор», если хотите. Или просто разделите количество статей, автором которых вы являетесь, на среднее количество соавторов этих статей. Я привык к тому, что соответствующий автор является первым автором, а первым автором является тот, кто проделал большую часть работы и способствовал представлению статьи, но я согласен, что это не всегда так.
@Significance: Пожалуйста, помните, что есть несколько академических областей, таких как математика, в которых «первый автор» означает «автор, чья фамилия стоит первой в алфавитном порядке». Это был бы странный способ распределения судейских обязанностей. Если вы намереваетесь применить свой ответ только к определенным академическим областям, это нормально, но, пожалуйста, скажите об этом. С другой стороны, здесь уже есть ответ (Кьос-Ханссен), дающий систему, которая работает независимо от каких-либо имплицитных культурных предположений о соавторстве. Почему вам нужно перечислить один номер, который предназначен для всех, но на самом деле не работает?
@PeteL.Clark комментарий, на который вы отвечаете, уже признал этот момент (что не все поля следуют одной и той же практике). Ответ Кьос-Ханссен теперь является общим и достаточным, поскольку он был отредактирован, но исходная версия, которая была там, когда я впервые прокомментировал, предполагала только одного рецензента на статью, что маловероятно в большинстве областей. Мой ответ был направлен на то, чтобы сделать то же самое более ясно и просто: т. е. отплатить за то, что сделано для вас.
@Significance: ответ Кьос-Ханссена не менялся более года до того, как вы присоединились к сайту. «Отплатите за то, что сделано для вас» — это хороший и простой ответ, но он, конечно, не эквивалентен «Рецензенту в четыре раза больше статей, чем вы отправляете в качестве соответствующего автора».
Вы, кажется, не признаете, что есть целые академические области, в которых ваш ответ сильно преувеличен. Например, я руковожу постдоком, который в прошлом году был «корреспондентом» по одной статье и рецензентом по одной статье. Количество рецензентов, участвующих в рецензировании ее статьи: один. Вы говорите, что для того, чтобы поднять свой вес, она должна в четыре раза больше судействовать. Но в четыре раза больше судейства для внимательного младшего математика разорило бы ее дело. Так что мои комментарии основаны на представлении о том, что кто-то вроде нее читает ваш ответ.
@PeteL.Clark Я признаю и уже трижды признавал, что есть академические области, в которых среднее количество обзоров ниже и / или соответствующий автор - не лучший способ распределения ответственности. Я, конечно, не говорю, что ваш постдок не тянет ее вес. Я четко изложил предположения в своем первоначальном ответе, чтобы было ясно, в каких обстоятельствах они не применяются. Я не верю, что вы искренне считаете, что у нас здесь существенные разногласия, поэтому я не буду продолжать. Да, вы можете ответить и оставить за собой последнее слово.
«Я четко изложил предположения в своем первоначальном ответе, чтобы было ясно, в каких обстоятельствах они не применяются». Вы даете цифру безоговорочно, не под определенные гипотезы. «Я не верю, что вы искренне считаете, что у нас здесь серьезные разногласия». Я искренне считаю, что у нас есть существенные разногласия: вы даете советы, которые были бы вредными, если бы некоторые им следовали, и я не согласен с тем, что будет очевидно, кто должен следовать вашим советам (а вы, конечно, не сказали). Но я думаю, что комментарии и голосование помогут читателям не вводить себя в заблуждение, так что, наверное, ничего страшного.

Прежде всего, я полностью согласен с ответом Пита Л. Кларка .

Тем не менее, я не согласен с менталитетом, который думает: «Рецензирование статьи — это ПРОСТО оказание помощи сообществу». Мы все читаем статьи, чтобы оставаться в курсе дела, лучше понимать окружающий мир и получать новые идеи. Я лично читаю несколько газет каждый месяц. Тем не менее, в каждой статье, которую я читаю, я должен сохранять свою критическую точку зрения. Так что нет ничего плохого в просмотре многих документов.

Когда вы получаете статью, которая кажется вам интересной, вы можете решить просмотреть ее (конечно, есть бремя записи ваших мыслей, которое незначительно). Если статья не интересна, вы можете просто отклонить запрос на рецензирование и двигаться дальше.

Сколько статей я должен рецензировать в качестве рецензента?
СпросиСетьПолитика конфиденциальности1y, 0v