Открытый и слепой процесс рецензирования

Вопрос, который меня интересовал некоторое время, заключается в том, существуют ли фактические доказательства того, что слепой процесс рецензирования (т. е. когда рецензенты анонимны, а рецензии не публикуются) лучше, чем открытый (т. е. когда рецензенты не анонимны и не публикуются). /или обзоры публикуются вместе с принятыми статьями).

По сути, всякий раз, когда я подвергаю сомнению тот факт, что процесс слепого рецензирования не гарантирует какого-либо качества (что каким-то образом обычно совпадает с получением плохой рецензии на статью...), мне говорят, что анонимность имеет решающее значение для процесса рецензирования. . Но есть ли тому доказательства? Я не верю, что существует какая-то идеальная система, но я просто не уверен, почему слепая (или даже двойная слепая) считается лучшей (или «наименее худшей»).

"Лучше"? Что значит "лучше"?
@JeffE: хороший вопрос, я бы сказал, улучшение качества научных результатов в краткосрочной и долгосрочной перспективе.
Интересный вопрос, особенно с учетом того, что публикации и комментарии в AcademicSE не являются слепыми, в то время как голоса за и против являются слепыми.
Смежный вопрос о том, зачем нужны такие обзоры: academia.stackexchange.com/questions/101400/…

Ответы (6)

Исследование 2008 г., озаглавленное «Рецензирование научных журналов: точка зрения научного сообщества: международное исследование», было направлено на «измерение отношения и поведения академического сообщества в отношении рецензирования». Некоторые цитаты из резюме :

Предпочтение отдавалось двойному слепому обзору. Хотя обычный опыт исследователей в большинстве областей был основан на одиночном слепом обзоре, когда их спросили, какой вариант они предпочитают, они отдали предпочтение двойному слепому обзору: 56% выбрали его, затем 25% выбрали простой слепой анализ13. % для открытого и 5% для просмотра после публикации. Открытое рецензирование было активным препятствием для многих рецензентов: 49% заявили, что раскрытие их имени автору снизит вероятность того, что они рецензируют.

и

Двойное слепое рецензирование было признано наиболее эффективным. Двойное слепое рецензирование показало, что большинство респондентов (71 %) считает его эффективным, за ним (в порядке убывания) следует одиночное слепое (52 %), постпубликационное (37 %) и открытое рецензирование (27 %).

В статье 2008 года в Nature (и исправлении ) обсуждается вышеупомянутое исследование, но статья посвящена двойному слепому обзору в сравнении с одинарным слепым обзором, а не слепому обзору в сравнении с открытым обзором.

Эта статья кажется хорошей, но, похоже, она решает проблему слепого и двойного слепого рецензирования, что немного отличается от слепого и открытого. (Вообще сейчас не могу зайти по ссылке, nature.com не отвечает, попробую прочитать позже).
Вы также можете посетить сайт nature.com/nature/peerreview/index.html . Согласно источнику, упомянутому в моем предыдущем комментарии, «В 2006 году журнал Nature провел испытание открытого рецензирования; оно не увенчалось успехом — несмотря на интерес к испытанию, участвовать в нем захотела лишь небольшая часть авторов, и только было получено несколько комментариев, многие из которых не были существенными. В отзывах говорилось, что «исследователи явно не желают давать открытые комментарии».
Спасибо, вторая ссылка (publishresearch.net) касается интересующего меня вопроса. Не могли бы вы переформулировать свой ответ, чтобы включить его?
Кроме того, я отмечу, что они не доказывают, что открытое рецензирование снижает качество, а просто то, что рецензенты более неохотно рецензируют, когда оно открыто. Во-первых, если бы у нас была модель, в которой рецензентам платили за рецензирование, они также не хотели бы делать это бесплатно, но это не значит, что бесплатная модель хуже. Во-вторых, мне было бы очень интересно узнать, как меняется это отношение к исследователям пост- или доинтернетовского поколения.
Я дважды редактировал свой ответ, чтобы включить два ваших комментария выше. Я также удалил два своих предыдущих комментария, потому что перенес их содержимое в свой ответ. Я предлагаю вам не стирать ваши комментарии, так как оставляет запись о вашем "открытом просмотре" моей "статьи". :)
Спасибо за редактирование, я принимаю ответ, поскольку я думаю, что это самый «объективный», который я могу получить :) Но я поддерживаю свой комментарий, что не показано, что открытое рецензирование снижает само качество, а только то, что люди сопротивляются (но я также признать, что было бы очень трудно измерить разницу в качестве).
Это отвечает на вопрос: « Предпочитают ли авторы слепое рецензирование открытому рецензированию?» Но первоначальный вопрос заключался в том, действительно ли слепое рецензирование лучше открытого — есть ли опубликованные доказательства того, что слепое рецензирование действительно приводит к более качественным публикациям?
@JeffE, что касается вашего первого предложения, вы правы. Это уже дважды отмечал Шарль Мориссе. Что касается вашего второго предложения, то мне в настоящее время ничего не известно.

Самое смешное, что в этом вопросе большинство людей сразу упоминают «честную» сторону проблемы, а не «качественную». Что касается последнего, я думаю, что это не слепые / открытые обзоры, что является уместным вопросом, а скорее публичный / частный вопрос. Если обзоры всегда будут общедоступными, то, я предполагаю, что качество повысится, потому что генеральный председатель/главный редактор будет настаивать на этом, чтобы обеспечить отличную репутацию своей конференции/журнала. Лично я не хочу/не должен знать, кто рецензирует мои статьи, но я хочу И нуждаюсь в качественных рецензиях, а в наши дни они необычны. Мы все знаем почему: слишком много статей, слишком много обзоров, не так много времени...

Это очень хороший момент, и это может быть эффективным решением. Кроме того, в обзоре часто содержится ценная информация (например, потенциально связанная работа или различные интерпретации), которая может быть полезна читателю.
Еще одна потенциальная установка, которую это вызывает, заключается в том, что рецензенты могут быть слепы к авторам (чтобы предотвратить нечестность, гендерную предвзятость или что-то еще) в начале, но не должно быть наоборот. По сути, одинарное слепое, но традиционно одностороннее слепое делается наоборот!

Чем больше раскрывается личность авторов и рецензентов, тем менее честным может быть процесс рецензирования. Такая открытость может благоприятствовать уже состоявшимся ученым, а не новичкам.

В идеальном мире рецензент поднял бы те же вопросы, рецензируя статьи лауреата Нобелевской премии или студента бакалавриата. Но так как люди даже боятся задавать глупые вопросы на публике, я был бы очень удивлен, если бы они могли применять одинаковую проверку независимо от того, кого они рецензируют.

Даже при стандартном (однократном) слепом процессе я слышал, что один уже известный ученый подавал статьи под вымышленными именами для получения честных рецензий (только не помню кто).

Пример Герберта С. Уилфа в речи на дне рождения Дональда Э. Кнута (указанный Джоэлом Рейесом Ноче):

В 1980-х, на заре существования Журнала Алгоритмов, я был главным редактором, и Дон [Дональд Кнут] представил мне статью, написанную им самим под псевдонимом Урсула Н. Оуэнс, якобы из какой-то маленький колледж в каком-то маленьком несуществующем городке в Канзасе. Причина заключалась в том, что он действительно хотел получить жесткий и содержательный отчет судьи на бумаге, и он обнаружил, что иногда судьи сдерживали свои удары из-за его имени в верхней части бумаги .

Двойной слепой процесс может быть даже более полезным, но в то же время иллюзорным (поскольку тема, ссылки и стиль могут раскрыть автора). Более того, иногда может быть полезной личность автора (например, чтобы сравнить, есть ли в новой заявке что-то новое).

Ничего из этого не является доказательством.

Но вместо подсчета строк рецензий можно попробовать сравнить, насколько мягко (или жестко) относятся к авторам в зависимости от их статуса (ученое звание, название университета, известность/узнаваемость).

Я понимаю интуицию, стоящую за фразой «чем больше раскрывается…», но в то же время предоставление анонимности рецензентам позволяет некоторым людям писать плохие отзывы (т.е. не читать статьи, делать небрежные комментарии и т. хотелось бы понять, перевешивают ли аргументы за анонимность аргументы против.
Да, я знаю, что подписывать своим именем хорошо для качества. Однако для рассмотрения предвзятость и качество — это два разных фактора. И очень вероятно, что, настроив уровень «слепоты», можно разменять непредвзятость на качество. Таким образом, проблема может быть сложнее, чем просто оптимизация одного параметра.
Я не утверждаю, что это простая проблема :) Но мне просто не нравится аргумент "слепота - это хорошо, потому что иначе может быть предвзятость. Почему? Потому что". Как ученый, я хочу твердых доказательств, а не только интуиции :)
Согласно комментарию на mathoverflow.net/questions/45185/… , «Дональд Кнут использовал псевдоним Урсула Н. Оуэнс при подаче статьи, чтобы получить более честные отзывы. (Как описано Уилфом на странице 3 math.upenn.edu/ ~вилф/веб-сайт/dek.pdf )"

Один из самых убедительных аргументов, которые я слышал в пользу слепого рецензирования, заключается в том, что оно не позволяет людям, чья статья была отклонена, «отомстить» рецензенту (сознательно или бессознательно). Возьмем, к примеру, старшего научного сотрудника, чью статью отклонили из-за рецензии младшего научного сотрудника. Старшему академику было бы довольно легко помешать прогрессу младшего.

Это похоже на замечание Петра о том, что это более «честный» процесс.

Хотя конкретных примеров я не знаю.

Да, и рассмотрим случай старшего академика, который убивает работу плохой рецензией либо потому, что у него нет времени, либо, что еще хуже, потому что работа исходит от конкурентов (двойной слепой метод не так эффективен), и кто знает, что никто в ПК не будет жаловаться на его плохой обзор, потому что он старший. Как это лучше?
Просто для ясности: я не утверждаю, что описанный мной случай лучше или хуже. Я просто не знаю. Я понимаю аргументы, почему слепой обзор — это хорошо , я хотел бы понять, почему он лучший .
Я бы сказал, что эта проблема не будет решена открытыми обзорами. Если вы достаточно высокопоставленны, чтобы не заботиться о мнении ведущих экспертов в вашей области (т. е. членов ПК), то, вероятно, вас не волнует и мнение других людей.
Это хороший момент, но я думаю, что это немного отличается от ситуации, когда только председатель ПК знает, что ваш обзор не очень хорош, и может даже не заметить, и публично критиковать статью, особенно когда они совпадают.
Я вижу вашу точку зрения. Что касается вашего предыдущего комментария, я не говорю, что слепое рецензирование — лучший процесс, и я думаю, что все большее число людей тоже придерживаются такого мнения. Я, конечно, был бы рад открытому процессу рецензирования.
@Charles: По моему опыту, у большинства ПК больше позвоночника. ПК-члены не всегда замечают плохой обзор, но когда они это делают, они жалуются, независимо от того, насколько высокопоставленным/известным является рецензент.

В любом случае у меня нет никаких доказательств, но для получения одной точки данных вы можете обратиться к мастерской HotNets .

На нескольких первых семинарах программный комитет публиковал публичные обзоры статей. В процессе рецензирования члены программного комитета, как обычно, писали слепые рецензии (рецензенты были анонимными). Но кроме того, для каждой опубликованной статьи член программного комитета писал новый обзор, предназначенный для всеобщего ознакомления, в котором резюмировал точку зрения программного комитета на статью. Многие из публичных обзоров были довольно откровенными, как в плане выявления оговорок по поводу документа, так и в аспектах документа, которые понравились программному комитету.

Я не думаю, что HotNets все еще делает это, но вы могли бы попытаться узнать больше о том, каков был опыт сообщества HotNets в отношении публичных обзоров (общедоступный? Отрицательный?). Также я думаю, что были некоторые другие семинары и конференции по компьютерным наукам, на которых также были написаны публичные обзоры, так что вы тоже можете их посмотреть.

Я могу поделиться лишь частью своего опыта.

Однажды друг получил запрос на рецензирование статьи из ведущего журнала. Его босс знал об этом и попросил его отклонить это, потому что авторы делали то же, что и он и его босс.

Открытый и слепой процесс рецензирования
СпросиСетьПолитика конфиденциальности1y, 0v