Конфликт с Программным комитетом конференции

Я рецензировал статью для конференции. Как я писал в обзоре, это была IMO совершенно средняя работа (скучная проблема, скучные методы, среднее описание). Я дал оценку «0» (в диапазоне от -3 до +3), отметив, что потенциально это может заслуживать публикации, если найдется место.

После отправки отзыва я получил сообщение от руководителя программы примерно следующего содержания:

как вы можете проверить, есть довольно разные отзывы об этом представлении. Пожалуйста, не стесняйтесь комментировать это или изменить свою оценку, если вы считаете, что это уместно.

Было еще 2 отзыва: 1-му понравилась статья, и он дал +2. У 2-го, однако, был практически такой же отзыв, как и у меня, но, вероятно, он был немного более щедрым и дал оценку +1.

1-й второстепенный Вопрос: Нормально ли, что члены ПК просят вас изменить оценку в обзоре, когда обзор не сильно отличается от других? Я никогда не слышал такого, даже в личных случаях, когда было большое расхождение между рецензентами.

Я пытался понять логику сообщения ПК. Моя теория:

Я думаю, что члены ПК хотели принять документ, но поскольку у них не было убедительных аргументов, а средний балл рецензирования был ниже порога принятия, они не смогли обосновать принятие. Вместо того, чтобы изменить мою оценку по собственному желанию, они мягко спросили меня, хочу ли я это сделать.

Верна ли моя теория?

2-й второстепенный Вопрос: Поскольку мой отзыв был практически таким же, как отзыв 3-го рецензента, не было бы более справедливым, если бы в этом обмене участвовали все остальные стороны? Возможно, третий рецензент изменил бы оценку на «0», прочитав мой ответ. Почему в этом процессе должен участвовать только я?

Я ответил, отметив вышесказанное и поддержав свое первоначальное решение и оценку, потому что я действительно чувствовал, что это не заслуживает ничего, кроме «0».

3-й второстепенный вопрос: Считаете ли вы, что мой ответ был уместным, учитывая обстоятельства? Был ли какой-либо другой способ, которым я мог бы решить эту проблему?

Теперь, это мой последний (условный) главный вопрос:

Учитывая тот факт, что моя «теория» верна , и с учетом конкретных обстоятельств (небольшое отклонение от мнения рецензента), обычно ли просят рецензента выполнить свою (компьютерную) работу по принятию/отклонению рукописей, когда работа рецензента заключается в предоставлении честное мнение? Если да, то не должны ли все рецензенты знать об этом (на случай, если в каком-либо из обзоров нет какого-то ужасного недоразумения/ошибки, просто вопрос мнения).

Примечание: после мероприятия мне сказали, что я единственный, кто получил это сообщение. Я предполагаю, что статья была близка к принятию, но моя оценка помешала ей быть однозначно принятой (поэтому они сочли меня несколько «резким»). Я думаю, это также объясняет, почему они не связались с рецензентом +1 B (также во избежание ситуаций, когда я меняю на +1, а B меняю на 0 после прочтения моего обоснования, и мы находимся на квадрате 1). Есть мысли по этому поводу? Это обычное дело?

Во многих задачах экспертной оценки довольно часто спрашивают выпадающих, не хотят ли они изменить свое мнение. Игрок мог также спросить рецензента +2, не хочет ли он изменить свою оценку в сторону понижения. Вы упустили из виду причину, которая сделала статью ценной, или другой рецензент упустил из виду предыдущие исследования, которые сделали статью ненужной? Это не ПК должен решать.
@MSalters Как я уже писал, мой обзор не был исключением . Это может быть строже, но это субъективно и спорно. Представьте себе случай, когда я увеличиваю оценку, а +2 уменьшают ее. Я совершенно уверен, что я был единственным, кого спросили.
Я читаю три балла, +0, +1, +2. Это в среднем +1, но нет единого мнения. +0 и +2 оба не являются средними или выбросами. Как ПК, я был бы счастлив, если бы эксперты в предметной области смогли прийти к консенсусу +1. Когда обе крайности придерживаются своих первоначальных оценок, мне приходится либо смотреть глубже, либо просто принимать исполнительное решение и использовать среднее значение. (Этот метод обычно используется для финансовых и временных оценок в бизнесе, где у вас есть аналогичные проблемы с опытом). Так что заставляет вас думать, что ПК предвзят?
@MSalters Я не имел в виду, что ПК предвзят. Я представил теорию (статью хотели принять, потому что статья впоследствии была принята), и по этой теории имело бы смысл попросить меня (более низкий балл) повысить ее. Имеет ли это смысл?
Учитывая, что есть разумное объяснение, согласующееся с частичными наблюдениями (спросите обе стороны), ваша теория кажется немного надуманной. Насколько нам известно, рецензента +2 спросили так же, как и вас, но он подкрепил свое мнение аргументами, а не аргументами против процесса. Если бы я был ПК, я мог бы тогда считать это «слабым +0, сильным +2, иметь предпочтение перед другими +1». Как говорят юристы: «когда факты против вас, спорьте с законом». Оспаривая процесс, вы, возможно, невольно выступили против своего отзыва.
@MSalters Я не спорил с этим процессом. Другой член ПК по секрету сказал мне, что меня единственного попросили пересмотреть счет. Но это было конфиденциально, и я не очень хотел использовать это в своем вопросе выше.

Ответы (1)

Прежде всего, я не думаю, что существует «конфликт», пока вы не создадите его — и вы действительно не должны, так как на самом деле нет никаких признаков неэтичного поведения с их стороны.

Давайте пройдемся по вашим вопросам.

Нормально ли, что члены ПК просят вас изменить оценку в обзоре, если он не сильно отличается от других? Я никогда не слышал такого, даже в личных случаях, когда было большое расхождение между рецензентами.

На многих конференциях есть этап обсуждения с ПК или рецензентом, на котором после того, как у каждого сложится свое независимое впечатление, эти впечатления сравниваются и тем или иным образом обсуждаются. Оптимальным является физическое совещание ПК, на котором обсуждаются пограничные документы, но часто достаточно обсуждения по почте или на форуме. «Величина отклонения» на самом деле не является правильным показателем, чтобы решить, имеет ли смысл обсуждение рецензента, а скорее является ли статья пограничной или нет. Нет смысла обсуждать, должно ли «слабое согласие» быть «сильным согласием», если все остальные проголосовали за «сильное согласие», учитывая, что статья, скорее всего, будет принята в любом случае. Точно так же мало стимула обсуждать «Слабое принятие», если все остальные проголосовали «Отклонить» — газета, скорее всего, мертва.

Поскольку мой отзыв практически не отличался от отзыва третьего рецензента, не было бы более справедливым, если бы в этом обмене участвовали все остальные стороны? Возможно, третий рецензент изменил бы оценку на «0», прочитав мой ответ. Почему в этом процессе должен участвовать только я?

Это хороший вопрос, и на самом деле я думаю, что модель общения председателей один на один с рецензентами довольно неэффективна (по сравнению, например, с форумом рецензентов), хотя я знаю несколько конференций, которые занимаются такими вещами, как что. При этом имеет смысл сначала связаться с человеком с «самым низким» рейтингом. Кроме того, вы не знаете, связались ли они с другими рецензентами, чтобы принять ваш отзыв во внимание.

Я ответил, отметив вышесказанное и поддержав свое первоначальное решение и оценку, потому что я действительно чувствовал, что это не заслуживает ничего, кроме «0». Считаете ли вы, что мой ответ был уместным, учитывая обстоятельства? Был ли какой-либо другой способ, которым я мог бы решить эту проблему?

Конечно, ваш ответ был полностью в порядке. Обратите внимание, что, как было сказано изначально, теперь у вас нет «конфликта» со стульями — они спросили, считаете ли вы, что ваш отзыв слишком негативен, учитывая дополнительную информацию других отзывов, и вы сказали «нет». Это вполне обоснованная дискуссия, и ни одна из сторон здесь не действовала недобросовестно. С моей точки зрения, нет никакой «проблемы, которую нужно решить», просто беседа, которую вы будете повторять много раз в рамках процесса рецензирования.

Единственное, что может быть неуместным (в зависимости от формулировки), это отметить, что было несправедливо, что они связались с вами, а не с третьим рецензентом. Как было сказано, это, вероятно, письмо, которое они также отправили в аналогичной форме 2 десяткам других рецензентов, и они могут не совсем понять, в чем проблема. Это не то же самое, что вопрос о том, хотите ли вы изменить свой рейтинг, является личным оскорблением.

Я думаю, ПК обязан иметь веские аргументы в пользу принятия. Этично ли оказывать умеренное давление на рецензента, чтобы он выполнял свою (ПК) работу по принятию/отклонению рукописей? Моя работа заключалась в том, чтобы дать честное мнение, что я и сделал. Моя работа заключается не в том, чтобы проталкивать документ для принятия, потому что у ПК закончились веские аргументы.

Я думаю, что вы слишком много думаете об этом. Я не испытываю никакого давления со стороны скопированного вами письма, и я получал подобные письма много раз. Иногда я менял свое мнение, иногда нет. Вы предоставили честное мнение, и они дали вам дополнительную информацию и спросили, остается ли ваше мнение в силе. Я действительно не вижу большого смысла в этом.

Спасибо за подробный ответ. Просто небольшой начальный момент: я не имел в виду, что это было прямое давление ПК на меня, но я чувствовал своего рода давление, так как это происходит со мной впервые (а я пересматривал > 20-30 раз для конференций). Но вы, наверное, правы, что никакого давления с их стороны не было.
@PsySp Я предполагаю, что тогда есть некоторая разница в полевой культуре, потому что на конференциях, для которых я делаю обзор, есть некоторая форма обсуждения рецензентов после обычной фазы обзора примерно для каждой второй статьи.
Я никогда не слышал никаких «обсуждений рецензентов» в своей области (теоретическая CS). Процесс выглядит следующим образом: рецензент отправляет рецензию и все. ПК должен принимать любые обсуждения / решения и т. Д.
Мне было непонятно, как было проведено рассмотрение. Похоже, @PsySp был не членом ПК, а внешним рецензентом? ... По моему опыту, члены ПК будут обсуждать вопросы в режиме онлайн и/или лично, чтобы согласовать отзывы и достичь консенсуса. ИМХО , определенно уместно , чтобы председатель сказал: «Есть некоторые разногласия, пожалуйста, обсудите». Предположение о том, что рецензент может изменить свою оценку, также вполне справедливо. Иногда, когда вы видите другие обзоры, вы понимаете, что ваши собственные негативные или позитивные настроения не содержат всех фактов. Не рассматривайте нейтральную оценку как причину отказа.
@FredDouglis Я был просто внешним рецензентом, как указано в первой строке моего вопроса. Я полностью согласен с тем, что в некоторых случаях изменение подсчета очков необходимо , если была допущена какая-то реальная ошибка, и хорошо, если председатель предпримет быстрые действия. Но я не вижу, как это можно применить в моем случае по причинам, которые я перечислил выше. Также обратите внимание, что я сказал, что статья может быть принята при условии соответствующего качества других статей. Я никогда не был против этого.
@PsySp, говоря: «Я рецензировал статью для конференции», может означать члена программного комитета или внешнего рецензента. На самом деле, по моему опыту, председатель программы не имеет дело с внешними рецензентами, а только с членами ПК, которые запрашивают отзывы у внешних рецензентов. ... При этом мы полностью согласны: вы сказали, что это может быть принято, но вы, кажется, каким-то образом удивлены, или чувствуете, что им нужно было, чтобы вы подняли свой балл, чтобы сделать это. Я думаю, что комментарий о рассмотрении других обзоров и, возможно, изменении вашей оценки является шаблонным. Здесь нет ничего неэтичного или повода для беспокойства.
@FredDouglis Насильственное несогласие Я думаю, что это преувеличение :) У меня нет проблем с ПК, связывающимся со мной, чтобы «исправить» мой отзыв, мне было интересно посмотреть, был ли мой ответ уместным, и понять, почему они связались только со мной.
Я сказал, что мы согласны!
Кроме того, я бы не стал предполагать, что они связались только с вами, даже если электронное письмо было 1: 1, например, для сохранения анонимности других рецензентов.
@FredDouglis Извините за это! Теперь вижу :) Как я уже писал в другом комментарии выше, другой член ПК по секрету сказал мне, что они связались только со мной.
Ах, я пропустил это. Я согласен с другим человеком, который сказал, что если у вас есть 0/1/2, то спрашивать 2, сохраняют ли они такой же энтузиазм, имеет не меньше смысла.
@FredDouglis В целом да. В данном конкретном случае, я думаю, было бы гораздо разумнее, если бы также связались со вторым рецензентом (поскольку третий рецензент был полон энтузиазма, а технических проблем с документом не было).
@PsySp, по моему опыту, все рецензенты, от положительных до отрицательных, могут переоценивать в контексте полного набора обзоров. Иногда позитивный рецензент чувствует себя менее позитивно.
@FredDouglis Я понимаю твою точку зрения. Мне интересно, если бы все рецензенты были уведомлены и, скажем, я даю +2, но рецензент +2 ставит 0, что произойдет? Дополнительный раунд? В этом случае я думаю (и я отчасти согласен с ПК) связаться с «выбросом»: если они хотят принять это, свяжитесь с тем, у кого самый низкий балл. Если они хотят отклонить его, обратитесь к тому, кто набрал наибольшее количество баллов.
@PsySp, как кто-то отметил выше, они определенно могут принять статью с 0/1/2 баллами. Все зависит от общих баллов по разным статьям. Они просто искали консенсус. Я предполагаю, что сообщение было на 90% «обсудить и прийти к консенсусу» и на 10% «изменить оценку, если это заставит вас переосмыслить». Может 99-1. Это предполагает, конечно, что «комментировать это» — это то, что вы делаете, скажем, в кресле, где другие рецензенты видят это и тоже могут комментировать.