Есть ли доказательства того, что системы двойного слепого рецензирования полезны?

Время от времени я натыкаюсь на вопрос о «двойном слепом рецензировании», т. е. авторы не знают рецензентов (как обычно), но рецензенты также не знают личности авторов.

Мне всегда казалось, что это довольно странная система, не имеющая заметных преимуществ (потому что у меня сложилось впечатление, что зачастую довольно легко определить, кто авторы статьи), и создание десятков проблем с постоянно беспокоящимися людьми. как-то «сломать» двойную слепоту. (Ему не помогает тот факт, что это было бы невозможно реализовать в моей области, математике, где все публикуют свои препринты на arXiv, и люди не стесняются выступать с докладами о неопубликованных статьях).

Существуют ли какие-либо фактические, научные, серьезные исследования по оценке преимуществ этой системы? Или это все просто инерция/традиция/благие намерения? Я не говорю о кабинетных оправданиях без каких-либо данных, подтверждающих это.

Примерно аналогичный вопрос о простом слепом рецензировании: процесс открытого и слепого рецензирования.
@Mehrdad Я не часто бываю на сайтах сторонников теории заговора.
«довольно странная система без видимых преимуществ». Я бы посоветовал вам не задумываться об этом, если вы действительно в это верите.
@NajibIdrissi И тем не менее, вы пришли сюда с собственной теорией заговора (что двойные слепые экспертные оценки бесполезны).
@Agent_L Это не то, что я бы назвал заговором. Не секрет, что многие вещи продолжают оставаться просто по традиции или по инерции. Я уверен, что вы можете вспомнить несколько из них в академических кругах. Тот факт, что на эту тему было проведено настоящее исследование, показывает, что я не единственный, кому это интересно.
@нейронет я уточнил. (Рад видеть, что HNQ привез все автобусы :) )
По поводу ослепления вас, вероятно, заинтересует этот пост: blogs.plos.org/absolutely-maybe/2017/10/31/… Что касается рецензирования: я не слишком углублялся в это, но хотя Преимущества рецензирования в целом, кажется, не так уж оспариваются, «формальная» версия рецензирования, которая в настоящее время распространена, получила свою долю академической критики: doi.org/10.12688/f1000research.12037.3
Вокруг этого довольно много споров и много противоречивых или частично совпадающих свидетельств. Я резюмировал некоторые из них в редакционной статье здесь: focussandshit.com/wp-content/uploads/2018/02/… (я также являюсь автором одной из статей, упомянутых выше).
Немного опаздывая на вечеринку, хочу отметить, что не все площадки, которые кажутся двойными слепыми, таковыми являются в полной мере. Например, на конференции имена авторов могут быть разглашены после подачи первоначальных обзоров, но до того, как комитет примет окончательные решения.
@NajibIdrissi Не "заговор" - "теория заговора". Я использовал более широкое определение, то есть «оспаривание установившейся практики без каких-либо доказательств». И найти действительное исследование, чтобы что-то доказать, — это как раз и есть цель Skeptics SE. Скептики были созданы именно для того, чтобы отвечать на такие вопросы, как ваш. То есть, отвергая его как «веб-сайт для теоретиков заговора», вы отклоняете свой собственный вопрос.
@Agent_L Спасибо, что просветили меня относительно вашего нестандартного использования слов.
@NajibIdrissi Это ваше увольнение скептиков было нестандартным.

Ответы (3)

Да, есть научные исследования на эту тему.

Используя данные ACM WSDM'17, A. Tomkins et al. показали, что двойные слепые рецензенты с меньшей вероятностью, чем простые слепые рецензенты, принимают статьи от известных авторов, ведущих университетов и ведущих компаний.

См.: http://www.pnas.org/content/pnas/114/48/12708.full.pdf

Обновление : как упоминалось @thomas-supports-monica в комментариях, есть некоторые свидетельства того, что в статье, указанной выше, могут быть некоторые проблемы. См. https://papers.nips.cc/paper/8770-on-testing-for-biases-in-peer-review.pdf .

Вывод, который вы цитируете, сам по себе показывает, что система выгодна? Для этого не требуется также предположение, что одиночные слепые рецензенты принимают такие статьи больше, чем они «должны»?
@Rupe Проницательный вопрос (+1 за логику), но мне трудно представить, что это так.
«Полезность» не совсем точно определена. Принятие или непринятие статьи затрагивает так много организаций (авторы, рецензенты, организаторы, финансирующие агентства, университеты, компании, научное сообщество, широкая общественность), что вполне вероятно, что то, что полезно для одной организации, будет вредным. для другого.
@Rupe Чтобы расширить другие комментарии, предполагается, что исследование должно публиковаться исключительно на основе качества его содержания, поэтому никакое влияние не должно быть связано с именами и личностью автора, и исследование показывает, что это не так. отзывы.
Мое первоначальное прочтение ответа Маттео заключалось в том, что первоначальное «Да» было ответом на заголовок. Если бы я прочитал это как «да, есть исследование по этому вопросу», то мой логический вывод мог бы не прийти мне в голову (и я вижу, что это лучшее чтение, поскольку после «да» стоит запятая, а не точка). ). Но, придерживаясь своей логической педантичности, я не убежден в точке зрения @Marco. Конечно, это исследование (по крайней мере, как описано здесь) просто показывает разницу между одинарным и двойным слепым методом? «Эффект из-за имен авторов и т. Д.» Может быть в двойном слепом случае, а не в одинарном слепом.
Или это исследование показывает, что односторонние слепые исследования с меньшей вероятностью отдают предпочтение (а не просто «принимают») статьи известных авторов и т. д.?
@Rupe На самом деле, если вы действительно хотите, чтобы логика здесь звучала, я бы добавил, что ответ ничего не говорит об общем уровне принятия двойных и одинарных слепых обзоров. Возможно, уровень принятия двойных слепых рецензий просто намного ниже по всем направлениям (хотя, похоже, подразумевается, что эффект сильнее для известных авторов). Предостережение: это почти наверняка разъяснено в связанной ссылке.
@Rupe: Вы говорите, что рецензенты могут быть предвзяты по именам авторов только в том случае, если рецензенту не сообщают имена авторов?
@Rupe Как бы вы проверили, были ли приняты работы от известных (независимо) больше, чем они должны быть, если не путем удаления идентифицирующей информации и просмотра, изменит ли это уровень принятия?
Для ответа, который пытается быть научным, это удивительно ненаучный ответ...
@Matteo Посмотрев на статью, я бы предложил добавить следующее предложение: «Это несмотря на то, что двойные слепые рецензенты фактически приняли больше статей в целом». (Почему-то смотрите мой предыдущий комментарий.)
Я согласен с @Rupe, не очевидно, что это преимущество двойного слепого обзора. Одним из критериев, по которому журналы отбирают статьи для публикации, является интересность статьи для читателей, и мне не стыдно признать, что при прочих равных условиях статья известного ученого для меня более интересна, чем статья менее известного ученого. известный коллега. Можно сказать, что это несправедливо, но, во-первых, известный ученый, вероятно, сделал что-то хорошее, чтобы заслужить свою репутацию, во-вторых, справедливость не может быть единственным критерием публикационности.
Поскольку у меня нет доступа к статье, я спрашиваю здесь: различает ли она рекомендации рецензентов и решения редакции? Последние никогда не бывают слепыми.
@MartinArgerami Я полагаю, что он учитывал только рекомендации рецензента («предложения» принять или отклонить, а также некоторую оценку качества статьи). Интересный момент о решениях редактора.
@akhmeteli: «Один из критериев, который журналы используют при выборе статей для публикации, — это то, насколько интересна статья для читателей». Как Вы пишете: "при прочих равных условиях статья известного ученого для меня более интересна, чем статья его менее известного коллеги". Чтобы установить, что все остальные факторы действительно равны, авторы должны быть проигнорированы для обзора. Затем редактор все еще может выбрать «более интересных авторов » среди множества представленных материалов ...
... рекомендуется для принятия рецензентами, но последние приходят к своей рекомендации только на основании содержания статей. Обратите внимание, что рецензенты обычно не могут систематически сравнивать представленные материалы. Таким образом, в их задачу не входит определение относительного интереса, который могут вызвать два предложения после установления равенства всех остальных факторов.
@ORMapper: «если это в первую очередь определяется тем, кто написал статью, я бы назвал это весьма сомнительным подходом» - я ничего не говорил о «в первую очередь» - это всего лишь один критерий среди других. «Редактор все еще может выбрать «более интересных авторов» среди множества представленных материалов» — звучит разумно, но жизнь устроена иначе. Например, среди критериев для рецензентов Nature (!) ( nature.com/authors/policies/peer_review.html ): «Чрезвычайно важно для ученых в конкретной области. В идеале интересно для исследователей в других смежных дисциплинах».
@akhmeteli: Я бы действительно сказал, что эта «чрезвычайная важность» должна определяться рецензентами, не глядя на авторов, а с учетом текущего состояния знаний в этой области. Но отдельный вопрос здесь, в Academia , что именно обычно подразумевается под «интересным» в этих рекомендациях для рецензентов, может дать интересные ответы.
@ORMapper (ctnd): Это то же самое, что и с авторством художественной литературы: имя автора продает копии. А научные издательства часто являются капиталистическими предприятиями, они хотят продавать копии. И даже если издательство некоммерческое, они все равно заинтересованы в тиражах. Опять же, вы можете сказать, что это несправедливо, но см. мой первый комментарий о справедливости. И я хотел бы добавить, кто должен определять, интересна ли статья, редакторы или рецензенты: у рецензентов может быть лучшее представление, возможно, поэтому «интересность» входит в число критериев для рецензентов Nature.
@akhmeteli: «научные издатели часто являются капиталистическими предприятиями, они хотят продавать копии» - я полагаю, это возвращает нас к вопросу о том, о какой «полезности» спрашивает ОП. Спрашивают ли они о пользе для обеспечения высокого качества публикаций? Или они спрашивают о том, чтобы быть полезным для увеличения прибыли издателя? «Опять же, вы можете сказать, что это несправедливо, но посмотрите мой первый комментарий о справедливости». - с чем я, честно говоря, не согласен. "у рецензентов может быть идея получше" - опять же, "интересно по сравнению с существующей совокупностью знаний" (рецензенты могут...
... указать мнение об этом) и "интересно по сравнению с популярностью авторов статьи по сравнению с другими материалами" (рецензенты не могут сказать об этом, потому что они обычно не имеют такого же обзора всех текущих материалов, как редактор) два совершенно разные вещи. И что бы это ни стоило, руководство по рецензированию Nature, на которое вы ссылаетесь, гласит: «Все журналы Nature Research предлагают вариант двойного слепого рецензирования». Следовательно, либо критерий «интересности» для этих работ молча отбрасывается (в правилах об этом ничего не сказано), либо рецензенты...
... ожидается, что он сможет также оценить, насколько «интересна» данная рукопись, не зная, кто ее написал.
@ORMapper: ««чрезвычайная важность» должна определяться рецензентами, не глядя на авторов» - я думаю, это всего лишь ваше мнение. "Но тут отдельный вопрос" - мне бы была интересна ссылка. «о каком «полезном» спрашивает ОП» - я только что сказал: «неочевидно, что это преимущество двойного слепого обзора». Кажется, вы согласны с тем, что мнения могут различаться по этому вопросу. И я предполагаю, что мы расходимся во мнениях относительно справедливости :-). Я согласен с тем, что редакторы могут лучше судить об «интересности» в некоторых отношениях, но я просто сказал, что «рецензенты МОГУТ иметь лучшее представление» (вы можете добавить «в других отношениях»
@ORMapper : «Следовательно, либо критерий «интересности» молчаливо отбрасывается для этих материалов (в руководящих принципах об этом ничего не говорится), либо ожидается, что рецензенты также смогут оценить, насколько «интересна» данная рукопись, не зная, кто ее написал. ." Есть и другая возможность: «Интересно» — это лишь один из нескольких критериев, поэтому, если автор хочет двойного слепого обзора, пусть он его получит. Видите ли, я против двойного слепого рецензирования, потому что оно требует траты времени на анонимность, но если автор готов это сделать, у меня нет проблем с этим.
К сожалению, статистический анализ в статье, цитируемой в этом ответе, ошибочен. См.: Иван Стельмах, Нихар Б. Шах, Аарти Сингх. О проверке предубеждений в рецензировании. Нейрипс 2019.

Мне всегда казалось, что это довольно странная система, не имеющая заметных преимуществ.

Учитывая достаточное количество доказательств того, что неслепое рецензирование предвзято относится к ряду различных «типов» авторов, включая женщин, тех, чьи имена связаны с определенными регионами и т. Д., Я бы сказал, что есть очень много заметных преимуществ. Несколько примеров:

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5360442/ http://science.sciencemag.org/content/sci/333/6045/925.full.pdf

и т. д. Я бы предположил, учитывая широко распространенные доказательства неявной предвзятости в ряде различных областей, что ответственность за демонстрацию того, что они не вредны, лежит на недвойных слепых системах, а не наоборот. Однако также было показано, что в этом исследовании рецензенты, проводящие одиночное слепое исследование, отдают предпочтение лучшим университетам, авторам и компаниям, а не коллегам, проводящим двойное слепое исследование: http://www.pnas.org/content/114/48/12708 .

Вопрос в том, насколько действительно помогает двойное слепое рассмотрение. В своей области я могу определить ведущих исследователей только по теме их исследования, используемым методам, языку или тому, как они рисуют цифры. Иногда даже названия достаточно, чтобы понять, кто это сделал. Да и ссылки обычно тоже о многом говорят.
@DSVA Я отмечу, что, учитывая, что я часто делаю обзоры для двойного слепого журнала, я провел неформальную оценку того, как часто я правильно угадываю автора, когда я такой: «О, я полностью знаю, кто это ... ". Это ниже 50%. Конечно, ваш пробег может варьироваться, но я подозреваю, что, хотя люди недооценивают свою неявную предвзятость, они также переоценивают свою способность разрушить ослепление одним лишь содержанием.
@DSVA И как ваши предположения работают для новых авторов в вашей области исследований, вы просто предполагаете, что новое имя не может соответствовать ведущим исследователям? Новое имя, которое намеренно имитирует лучшее в этой области с точки зрения формата, стиля и актуальной темы, потому что они пытаются проникнуть в него.
Хотя первая часть вашего ответа интересна (хотя я уже это знал), это не ответ, это комментарий. Вторая часть вашего ответа не связана с первой частью и уже находится в другом ответе (буквально по той же ссылке).
@Fomite Разве ваша неформальная оценка не побудила вас попытаться угадать, кто авторы, в тех случаях, когда вы бы не пытались, если бы не оценивали?
@NajibIdrissi Нет, это были все случаи, когда, просто прочитав, я сказал: «О, я полностью знаю, кто это ...», а затем продолжил позже.

Это не научная статья, но она предлагает другой подход, чем два других ответа:

http://blogs.plos.org/absolutely-maybe/2017/10/31/the-fractured-logic-of-blinded-peer-review-in-journals/

Есть ли доказательства того, что системы двойного слепого рецензирования полезны?
СпросиСетьПолитика конфиденциальности1y, 0v