Почему не все дисциплины следуют системе двойного слепого обзора?

В областях с ярко выраженной культурой подготовки к печати (например, по физике или математике) большинство статей уже публично размещены в Интернете с прикрепленным именем автора до того, как статья будет отправлена ​​​​и рассмотрена. В этом контексте двойное слепое рецензирование даже не является разумным вариантом.

Даже без препринтов то же самое можно сказать и о переговорах в некоторых областях. Для многих статей многие потенциальные рецензенты уже видели доклад на конференции о результатах в статье. Это может быть особенно верно в отношении математики, где процесс подробного написания статьи особенно утомителен, поэтому люди обычно проводят доклады по темам, пока статья находится в стадии подготовки.

Теоретическая информатика использует почти исключительно слепое рецензирование. Рецензенты знают авторов статей, которые они рецензируют, но авторы не знают, кто рецензирует их статьи. (Как и во многих других случаях, мы копируем этот подход из математики.)

Я думаю, основные причины, по которым мы не используем двойное слепое рецензирование, заключаются в том, что (1) у нас его никогда не было, (2) у нас есть привычка публиковать препринты (хотя и не в такой степени, как по математике и физике) и (3) есть общее мнение, что это просто не нужно.

Стандартный аргумент в пользу того, что двойное слепое рецензирование не нужно, заключается в том, что решение принять или отклонить ту или иную статью более объективно, чем в других областях. Нет эксперимента, чтобы судить. Либо алгоритм быстрее, либо нет; либо теорема верна, либо нет; либо доказательство действительно является доказательством, либо нет. (Я не разделяю этот аргумент, особенно в отношении материалов для конференций, ограниченных по количеству страниц, но это так.)

Вы должны быть в состоянии прочитать статью и, предполагая, что эксперимент был проведен точно и этично, решить, является ли он значительным научным достижением.

Это не единственные критерии, по которым оцениваются научные исследования.

Обновление: как отмечает @a3nm в своем комментарии, теоретическая информатика постепенно переходит к протоколу «облегченного двойного слепого рецензирования», который уже распространен в других областях исследований в области информатики. «Легкий двойной слепой» требует, чтобы авторы представляли свои статьи без идентификации информации, цитируя свою работу в третьем лице, но это не мешает ни размещать препринты в arXiv, ни представлять работы на семинарах и воркшопах.

ALENEX , DiSC , ESA , FAccT , FODS и LICS уже следуют этому протоколу, как и несколько конференций на стыке теоретической информатики и машинного обучения. Крупные конференции, такие как SODA, по крайней мере, серьезно обсуждают эту идею, но изменения идут медленно, и многие (особенно старшие) исследователи категорически против этой идеи.

Для получения дополнительной информации см. этот отчет о двойном слепом рецензировании на ALENEX 2018 и этот FAQ от POPL 2018 .

Хотя эта статья Кэтрин МакКинли уже устарела, она дает гораздо более детальное представление о процессах, поддерживающих процесс двойного слепого рецензирования. Короче говоря, это не так просто, как «сделать все двойным слепым». Есть этапы, на которых это важно, и есть этапы в процессе рецензирования, на которых полезно НЕ быть двойным слепым.

Грубо говоря, вам нужен двойной слепой обзор при первоначальной оценке, потому что люди с большей вероятностью сделают поспешные выводы при первом взгляде. Но позже полезно знать, кто выполняет работу, потому что даже в математической работе есть элемент доверия, который входит в оценку статьи (особенно, например, в теоретической CS, где статьи слишком короткие (и сроки слишком близки), чтобы сделать строгую оценку доказательств).

Ответ, по крайней мере частично, заключается в том, что многие области исследований достаточно малы, чтобы большинство людей знали, чем занимаются другие исследователи или исследовательские группы. Таким образом, анонимность невозможна, потому что не нужно много времени, чтобы выяснить, кто написал статью.

Рецензенты (в моей области) часто анонимны. Лично мне это не нравится, потому что автору легче судить о комментариях, когда знаешь, кто их поставил. Когда вы получаете анонимные отзывы, вы не можете легко судить о тоне, просто ли это то, как кто-то выражает себя, или это грубо (с положительными отзывами обычно не трудно иметь дело по какой-то причине).

Я также видел в журналах с открытыми рецензиями, как анонимные сообщения полны резких (непрофессиональных) комментариев и, следовательно, не очень конструктивны. Лично я считаю, что анонимность выявляет в некоторых людях худшее, а открытость заставляет сосредоточиться на конструктиве.

Таким образом, можно проводить двойные слепые обзоры, но я не вижу в этом пользы, по крайней мере, не в моей и смежных областях, где сообщества насчитывают несколько тысяч человек.

Как упоминалось в других ответах, часто двойное ослепление в любом случае является тонкой завесой. Более того, для некоторых типов статей знание авторов статьи может помочь оценить уровень вклада .

Например, зная, что авторы исследования воспроизводимости не пересекаются с авторами оригинальной статьи, часто можно предположить, что оригинальная статья действительно была воспроизведена . В случае с экспериментальной статьей по информатике это часто означает, что код был повторно реализован. Это само по себе является ценным вкладом (воспроизведение результатов), который нельзя надежно оценить на основе двойного слепого утверждения типа «мы реализуем алгоритм из [7]», что вполне может означать, что авторы просто повторно использовали один и тот же код. базу, которую они использовали в [7].

Другой пример: знание авторов исследования может выявить их предубеждения. Снова опираясь на экспериментальную компьютерную науку, авторы часто выбирают подмножество методов в литературе для сравнения, но есть стимул выбирать собственные методы (более низкие затраты на разработку) вместо тех, которые сильно отличаются. (Здесь я хотел бы найти этот график с течением времени, когда ультрасовременное исполнение относительно выступления лучшего выбранного участника, но я не помню ни названия статьи, ни места проведения, ни автора.)

В век Интернета не очень сложно узнать имя автора (по крайней мере, с высокой вероятностью), особенно в области с небольшим количеством практиков. Например, см. это: http://www.newappsblog.com/2012/12/the-journal-reviewing-process-isnt-anonymous-did-you-really-think-it-was-think-again.html .

Так что на практике только рецензент остается анонимным.

В некоторых областях, которые предполагают высокую степень «практической разработки» (узнаваемые прототипы и т. д.), а не «просто» теоретические концепции, часто нецелесообразно пытаться скрыть личность авторов представления.

Конференция или журнал могут потребовать, чтобы материалы были анонимными, что создает определенную дополнительную нагрузку на авторов: анонимизация не заканчивается удалением списка авторов, некоторые разделы, такие как раздел «Благодарности» , могут быть удалены, а части текста могут нуждаться в удалении. быть переписанным (при ссылке на более раннюю работу тех же авторов и в итоговой статье будет написано «Мы уже ...»). И поскольку иногда все еще очевидно, что текущая представленная работа является прямым наследником более ранней работы, эта ссылка должна быть заменена чем-то вроде « Удалено для двойного слепого обзора» , что, естественно, снижает полезность ссылок.

И тем не менее, все эти факторы легко могут быть напрасными, поскольку, например, CS часто включает в себя прототипы приложений, которые многократно расширяются. Теоретически существует вероятность того, что другой исследователь мог получить в свои руки чужой прототип, но когда скриншоты в заявке поразительно похожи на скриншоты в ранее опубликованной работе (*), наиболее вероятное объяснение состоит в том, что эти две работы были написаны того же автора или, по крайней мере, команды.

Таким образом, поскольку во многих случаях попытка надежно замаскировать представленную информацию неосуществима и просто приводит к дополнительной работе для авторов (включая обсуждения, если двойное слепое рецензирование не является обязательным), различные конференции/журналы не предлагают двойное слепое рецензирование. в первую очередь.

(*) Я не говорю, что один и тот же вклад публикуется дважды. Здесь я имею в виду «неважные» аспекты, такие как общий вид окна или его значки на панели инструментов.

Мне не ясно, что в небольшой области двойной слепой метод обязательно помогает продвигать более беспристрастные обзоры. Вы получаете что-то в устранении предвзятости/предубеждения, основанного на знании автора (авторов). Однако становится намного сложнее контролировать конфликты интересов: между исследователями существует множество неочевидных связей, о которых нельзя ожидать от редактора. При простом слепом рецензировании у рецензента есть, по крайней мере, возможность отказаться, если он знает, что каким-то образом повлиял на взгляды автора, или если он считает, что рассмотрел слишком большую часть результатов этого автора . Если все делается двойным слепым методом, вполне вероятно, что могут образоваться небольшие круги обзора, что в конечном итоге нанесет ущерб всей области.