Есть ли какое-либо исследование/исследование/опрос/набор данных, в котором изучалось, как часто рецензенты правильно угадывают личность авторов, когда обзор проводится двойным слепым методом?
Я знаю, что ответ, вероятно, зависит от поля или даже зависит от места публикации. В основном меня интересуют информатика, машинное обучение и обработка естественного языка, но интересны и другие области.
Конференции по языкам программирования переходят к двойному слепому рецензированию, и поскольку эта идея обсуждается, люди собирают некоторые доказательства, в том числе рецензируемые статьи.
В частности, даже когда рецензенты считают, что угадали авторов, оказывается, что они иногда/часто неверны, как предполагает ответ profmartinez . В цитатах вы найдете реальные цифры; Сам я не буду делать обзор литературы.
Это указывает на этот обзор литературы (сделанный как редакционная статья в SIGMOD, месте базы данных):
Это, в свою очередь, цитирует Fisher et al. (1994) , опубликованный в Журнале Американской медицинской ассоциации — следовательно, рецензируемая публикация, где рецензенты хорошо разбираются в статистике:
Есть также отчеты от руководителей программ, оценивающих статистическое двойное слепое рецензирование, например, путем опроса членов ПК на предмет правильности их предположений .
После многих программных комитетов я пришел к выводу, что мы сильно переоцениваем нашу способность угадывать авторов на основе содержания двойного слепого представления.
Я считаю своим долгом как рецензента не отвлекаться на несущественные данные, такие как авторы, поэтому я просто проверяю статью как есть. Я уверен, что с небольшим количеством догадок (и быстрым поиском или двумя) я смогу идентифицировать большинство авторов, я намеренно стараюсь этого не делать.
Большинство областей действительно тесно связаны между собой, вы сможете идентифицировать коллегу по манере письма, выбранному подходу, использованным результатам (и цитируемым статьям). И дать хороший шанс выявить студентов коллег, по крайней мере, до советника.
Наверное, каждый раз. Любой, кто признался в нарушении ослепления, вероятно, столкнулся бы с серьезными негативными последствиями, и поэтому я не ожидаю, что кто-то заговорит или ответит на опрос, который позволит провести хорошее исследование. Я никогда намеренно не нарушал ослепление в двойном слепом обзоре, но я определенно получал статьи, которые были неправильно ослеплены, где истинные авторы были очевидны только по титульному листу, поэтому мне пришлось отправить их обратно редактору. / запрограммировать кресло как не подлежащее пересмотру.
Я не знаю ни одного исследования по этому поводу.
В следующем документе представлены результаты недавнего исследования, проведенного на трех крупных конференциях по программной инженерии и языкам программирования (а именно, ASE, OOPSLA и PLDI 2016).
Клэр Ле Гу, Юрий Брун, Свен Апель, Эмери Бергер, Сарфраз Хуршид, Яннис Смарагдакис: Эффективность анонимизации в двойном слепом обзоре . CoRR абс/1709.01609 (2017)
В процессе рецензирования рецензентам было предложено предположить, считают ли они, что знают автора данной статьи.
О проценте работ, где было сделано предположение:
Для трех конференций 70–86% обзоров были представлены без догадок, что позволяет предположить, что рецензенты обычно не верили, что знают или не интересовались тем, кто написал большинство статей, которые они рецензировали.
О правильности догадок:
Когда рецензенты угадывали, они с большей вероятностью оказывались правильными (72% предположений ASE были правильными, 85% OOPSLA и 74% PLDI). Однако в 75% статей ASE, 50% OOPSLA и 44% статей PLDI рецензенты не угадали правильно даже одного автора, и в большинстве обзоров не было правильного предположения (ASE 90%, OOPSLA 74%, PLDI 81%).
О влиянии опыта рецензента на угадывание:
Мы пришли к выводу, что рецензенты, считавшие себя экспертами, с большей вероятностью угадывали имена авторов, но не с большей вероятностью угадывали правильно.
О влиянии (правильных и неправильных) догадок на принятие бумаги:
Мы наблюдали различное поведение на трех конференциях: материалы ASE принимались со статистически одинаковой скоростью, независимо от поведения рецензентов. [...] Представления OOPSLA и PLDI без догадок были приняты с меньшей вероятностью (p <= 0,05), чем те, у которых хотя бы одно правильное предположение. Заявки PLDI без догадок также с меньшей вероятностью были приняты (p <= 0,05), чем заявки со всеми неверными догадками.
Краткое содержание:
Мы обнаружили, что 74–90% рецензий не содержат правильных предположений, и что рецензенты, считающие себя экспертами в теме статьи, с большей вероятностью попытаются угадать, но не с большей вероятностью угадают правильно.
Граф Иблис
StrongBad
Франк Дернонкур
Парень