Нет ли доказательств того, что рецензирование перед публикацией улучшает документы или выявляет ошибки или мошенничество? [закрыто]

Бывший редактор престижного научного журнала BMJ недавно заявил, что процесс рецензирования научных публикаций нарушен и от него следует отказаться. Он утверждает (выделено мной):

Ричард Смит, который редактировал BMJ в период с 1991 по 2004 год, заявил 20 апреля на конференции Королевского общества «Будущее научной научной коммуникации», что нет никаких доказательств того, что рецензирование перед публикацией улучшило статьи или выявило ошибки или мошенничество.

Ссылаясь на известную статью Джона Иоаннидиса 2005 года «Почему большинство опубликованных результатов исследований являются ложными», д-р Смит сказал, что «большая часть того, что публикуется в журналах, просто ошибочна или бессмыслица». Он добавил, что эксперимент, проведенный во время его работы в BMJ, выявил восемь ошибок, внесенных в статью объемом 600 слов, которая была разослана 300 рецензентам.

«Никто не нашел более пяти [ошибок]; в среднем было два, а 20 процентов не заметили ни одного», — сказал он. «Если бы рецензирование было лекарством, оно бы никогда не появилось на рынке, потому что у нас есть много доказательств его побочных эффектов и нет доказательств его пользы».

Прав ли он в том, что нет доказательств того, что рецензирование улучшает качество или уменьшает количество ошибок в научных публикациях?

Обновление и уточнение

Я виновен в том, что сформулировал этот вопрос таким образом, что упустил момент, на который он должен был обратить внимание. Текущий вопрос выше допускает интерпретацию, что любое улучшение в истории научных публикаций доказывает, что вопрос ложный. Это не было моим намерением.

Существует серьезный аргумент (возможно, слишком сильно выраженный Смитом) о том, что рецензирование в целом делает гнилую работу. Мы ожидаем, что это устранит серьезные статистические ошибки, ошибки, доказательства, которые на самом деле не подтверждают ключевые выводы, и другие связанные с этим ошибки. Он утверждает, что он плохо справляется с этим процессом и что есть альтернативы.

Я надеялся, что люди попытаются ответить на этот вопрос, обратившись к вопросу о лежащих в его основе доказательствах, а не стремясь к риторически удовлетворительному показу того, что любое доказательство того, что статья когда-либо была улучшена, является удовлетворительным ответом. Смит показывает, что большинство известных ошибок пропускаются. Он показывает, что большинство рецензентов пропускают большинство ошибок, а некоторые пропускают все ошибки.

На что я надеялся, так это на то, что ответы могут решить, хороши ли доказательства Смита и есть ли у других людей аналогичные или противоречивые доказательства. Эти доказательства будут одинаковыми независимо от того, согласны ли мы все с подробной целью экспертной оценки. И это важный вопрос для этого сайта, поскольку он придает большое значение «рецензируемой» научной литературе.

Я добавляю это как обновление, так как подозреваю, что переписывание всего вопроса просто разозлит тех, кто уже ответил.

Комментарии не для расширенного обсуждения; этот разговор был перемещен в чат .

Ответы (2)

Рецензирование перед публикацией не должно выявлять все ошибки или ошибки. Это относительно поверхностный обзор (как правило, они не собираются проводить тщательное исследование для подтверждения или опровержения выводов на этапе перед публикацией), чтобы увидеть, соблюдались ли перед публикацией базовые корректирующие стандарты профессионализма.

Рецензирование в настоящее время не предназначено для обнаружения обмана и не гарантирует достоверность результатов исследования. Однако он должен выявлять недостатки в разработке, представлении, анализе и интерпретации научных данных и предоставлять оперативную, подробную и конструктивную критику для улучшения исследований. (Ли, Беро, Природа (2006))

Природа (2006 г.): Этика - Повышение ответственности; дебаты по экспертной оценке

Фактический постпубликационный процесс — это та часть, которая на самом деле является «рецензированием» — здесь тщательно изучаются и проверяются методы, данные и выводы, а также действительно делаются выводы о достоверности статей. Ни одно научное открытие не считается действительным или принятым до тех пор, пока другие ученые не изучат, не раскритикуют и не попытаются воспроизвести результаты, используя те же методы, что и исходные эксперименты/исследования, или другие методы.

Процесс рецензирования не заканчивается после того, как статья проходит процесс рецензирования перед публикацией. После публикации в печати или публикации в цифровом виде процесс рецензирования продолжается до тех пор, пока публикации не прочитаны.

Википедия: Научная экспертная оценка

По его собственной проверке, 80% обнаружили ошибки в представленных статьях, поэтому в 80% случаев статья подверглась бы некоторым исправлениям или не была бы опубликована в том виде, в котором она была, и это до более строгого процесса проверки после публикации. Это означает, что в 80% этих случаев статья была бы улучшена в процессе подготовки к публикации. Это совсем другое, чем «отсутствие доказательств» улучшения. Имейте в виду, что обнаружение некоторых, но не всех ошибок — это улучшение.

Похоже, его утверждения не совпадают с его данными. Возможно, если бы он представил свою речь в виде статьи, она не была бы опубликована в рецензируемом журнале.

Я думаю, вы переосмысливаете, что такое «рецензирование». В обычном использовании термин не относится к оспариванию результатов после публикации. Это научный процесс (когда он работает), а не то, что мы обычно называем рецензированием.
Термин «рецензирование» может означать разные вещи в профессиональной академической среде в зависимости от контекста. Вот почему ваш собственный источник квалифицирует одну форму как экспертную оценку «до публикации». В других контекстах можно понять, что ваше сообщество коллег, критикующих работу, пытающихся воспроизвести результаты и публикующих свои последующие действия, также является формой экспертной оценки. Обратите внимание, что большинство ученых, с которыми я знаком, используют термин «референт» для обозначения рецензирования перед публикацией, чтобы лучше различать их.
Термин «рецензируемый» также подчеркивает правильные моменты из этого ответа - цель рецензирования перед публикацией не в том, чтобы обнаруживать мошенничество или даже гарантировать правильность. Это делается для того, чтобы исследование соответствовало некоторым минимальным стандартам — обычно обнаруживаются только очевидные недостатки. О правильности в конечном итоге судит большее сообщество.
@matt_black Я не думаю, что вы правильно прочитали ответ, я прочитал ответ PoloHoleSet, в котором говорилось, что проверка перед публикацией не должна выявлять ошибки, это цель проверки после публикации. В ответе также указывается, что собственное исследование редактора опровергает его утверждение, поскольку рецензенты заметили некоторые ошибки и, таким образом, улучшили статьи и/или обнаружили некоторые ошибки. В некоторых статьях ошибку невозможно надежно обнаружить без повторного исследования, на что у рецензента просто нет времени или ресурсов.
@KAI мой источник не делает различий в типах рецензирования. Он просто использует очень четкую терминологию. И именно об этом вопрос. Вы не можете использовать их язык, чтобы утверждать, что они согласны с тем, что большинство рецензий происходит после публикации. Кроме того, это различие не имеет значения, поскольку речь идет о рецензировании перед публикацией, а не о чем-либо еще, чем занимаются ученые.
@DikranMarsupial Я прочитал цитируемые доказательства совсем по-другому. Преднамеренно допущенные ошибки в статьях, которые должны были быть обнаружены при предварительном просмотре, обычно не обнаруживались. И хотя мы не ожидаем, что рецензирование повторит результаты, мы должны ожидать, что оно выявит очевидные ошибки в статистике и дизайне.
Вы делаете то, что делают многие статьи, когда говорите, что «80% нашли ошибки в представленной статье»: вы используете вводящую в заблуждение статистику. Это количество рецензентов, которые заметили какие -либо ошибки. В среднем были обнаружены только 2 из 8 ошибок, и даже лучший рецензент пропускал 3/8 ошибок. Это не очень позитивная картина эффективности обзора.
Научная экспертная оценка @matt_black не должна быть гарантией обнаружения всех ошибок в статье. Должны ли они быть выбраны или они очевидны , это вопрос мнения, однако экспертная оценка, которая выявляет любую ошибку, улучшит статью, и, следовательно, результаты опровергают выдвинутую гипотезу.
@matt_black «вы используете вводящую в заблуждение статистику». Нет, вовсе нет, первоначальное утверждение было «отсутствие доказательств того, что рецензирование перед публикацией улучшило документы или выявило ошибки или мошенничество». Если вы обнаружите хотя бы одну ошибку, вы улучшите статью, и в поставленном вопросе не говорится, что рецензирование перед публикацией выявляет все ошибки, а только «ошибки». Прежде чем обвинять других в использовании вводящей в заблуждение статистики, возможно, вам следует подумать, поняли ли вы, о чем идет речь.
@DikranMarsupial Я не обвинял вас в использовании вводящей в заблуждение статистики, я отвечал на ответ (так что PoloHoleSet). Кроме того, вы настаиваете на жесткой бинарной интерпретации аргумента Смита, а не на более разумной интерпретации, основанной на другой статистике. Если процесс, который мы использовали для утверждения лекарств, пропускал какие -либо проблемы в 20% случаев, а в остальное время пропускал большинство проблем, большинство людей не будут интерпретировать это как успешный процесс. Ваша бинарная логика будет.
Я думаю, также стоит отметить, что статьи обычно имеют более одного рецензента (обычно три в моей области), что говорит о том, что вместе они, скорее всего, поймают больше ошибок, чем каждый из них по отдельности.
@matt_black вам нужно извиниться перед PolpHoleSet, поскольку в их ответе нет ничего, что использовало бы вводящую в заблуждение статистику. Как я уже отмечал, исходное утверждение не требует, чтобы рецензирование выявляло все ошибки. Я не согласен с тем, что ваша интерпретация утверждения является более разумной, но не более экстремальной, поскольку вы, кажется, хотите, чтобы проверка обнаружила все ошибки, а не просто «обнаружила ошибки», что на самом деле написал Смит. Если бы ваше последнее замечание было разумным, нам не понадобился бы метаанализ, который очень часто используется в медицинских журналах.
Если у отдельного рецензента есть 80% шанс найти одну ошибку, а рецензенты независимы, то, если у вас есть три рецензента, вероятность того, что ни один из них не обнаружит ошибку, составляет (1-0,8) ^ 3 = 0,008 (т.е. 0,8%). . Конечно, процесс, используемый для одобрения лекарств, гораздо более тщательный, чем процесс, используемый для утверждения статей для публикации, но было бы нелепо, если бы это был какой-либо другой способ, поскольку потребовались бы огромные ресурсы для рассмотрения статей, совершенно непропорциональных. с последствиями неправильного понимания (в отличие от лекарств).
@matt_black - на самом деле это не «четкая часть терминологии», если она имеет много разных значений, в зависимости от контекста. Кроме того, нет ничего вводящего в заблуждение, поскольку я прямо указываю, что не утверждаю, что они отлавливают все ошибки. Было бы более ошибочным утверждать, что обнаружение некоторых ошибок «не является улучшением». Я ничего не переопределяю, я цитирую то, что говорят другие.

Хотя многие согласны с тем, что нынешняя система рецензирования не так эффективна, как хотелось бы людям, это неправда, что нет « доказательств того, что рецензирование перед публикацией улучшило работу или выявило ошибки или мошенничество ». Подавляющее большинство авторов говорят, что рецензирование улучшило качество их собственной последней опубликованной статьи.

В опросе ученых 2009 г. [1]

Девяносто один процент (±0,9%, p < 0,05, n = 4037) респондентов согласились с тем, что процесс рецензирования улучшил качество последней опубликованной ими статьи.

Они также указали, какие аспекты их последней статьи были улучшены рецензированием:введите описание изображения здесь

Точно так же в опросе ученых 2008 г. [2], проведенном при поддержке Консорциума издательских исследований, группы, представляющей издателей и общества, заинтересованные в исследованиях научной коммуникации,

Подавляющее большинство авторов (около 90%) были уверены, что рецензирование улучшило их собственную последнюю опубликованную статью, и такая же доля согласилась с более общим утверждением «рецензирование улучшает качество опубликованной статьи».

Этим респондентам также было предложено указать конкретную область улучшений в их собственной последней опубликованной статье благодаря рецензированию:

введите описание изображения здесь

(Примечательно, что 64% ​​заявили, что рецензирование их последней опубликованной статьи выявило научные ошибки.)

Это не доказательство, основанное на слепом контролируемом исследовании, поэтому не самый высокий стандарт доказательств, но, тем не менее, это доказательство.

Однако существует общее мнение, что рецензирование не так эффективно для выявления мошенничества и плагиата, как считают ученые.

В 1],

Восемьдесят один процент (±1,2%, n = 4037, p < 0,05) ожидают, что рецензирование выявит плагиат, но только 38% (±1,5%, p <0,05) считают, что существующая система способна это сделать. Точно так же 79 % (±1,3 %, p < 0,05, n = 4037) хотели бы, чтобы экспертная оценка выявляла мошенничество, по сравнению с 33 % (± 1,5 %, p < 0,05, n = 4037), которые считают, что в этом аспекте она успешна. .

А в [2] гораздо меньше опрошенных исследователей сказали, что рецензирование эффективно для выявления мошенничества и плагиата, чем сказали, что оно улучшает качество статьи:

введите описание изображения здесь

Является ли рецензирование «неудачным» и стоит ли оно затрат, связанных с ним, зависит от мнения. (Мнения исследователей по этому поводу также включены в два опроса, цитируемых ниже.)

использованная литература

[1] Маллиган, Адриан, Луиза Холл и Эллен Рафаэль. «Экспертная оценка в меняющемся мире: международное исследование, измеряющее отношение исследователей». Журнал Американского общества информационных наук и технологий 64, вып. 1 (2013): 132-161. DOI: 10.1002/asi.22798

[2] Уэр, Марк. «Экспертная оценка: преимущества, восприятие и альтернативы». Издательский исследовательский консорциум 4 (2008 г.). URL-адрес

То, нравится ли авторам рецензирование, не равнозначно тому, приносит ли рецензирование пользу науке в целом. Действительно, одна из основных критических замечаний заключается в том, что этот процесс является кумовским, позволяя публиковать плохие публикации от небольших сообществ коллег, которые согласны друг с другом, но часто отвергает интересную, но противоречивую, но хорошо выполненную работу посторонних. Но, кроме этого, полезный ответ.
@matt_black Вопрос не в том, полезна ли экспертная оценка для науки (это вопрос мнения), а в том, улучшает ли рецензирование качество статьи. «Восприятие автором качества бумаги» — действительная метрика качества (хотя, конечно, не единственная).
Нет ли доказательств того, что рецензирование перед публикацией улучшает документы или выявляет ошибки или мошенничество? [закрыто]
СпросиСетьПолитика конфиденциальности1y, 0v