Почему в рецензируемых публикациях существуют ошибки?

Люди делают ошибки.

Авторы рукописей, рецензенты и редакторы — люди, и люди несовершенны. Даже если каждый человек, участвующий в публикации рукописи, выловит 99% всех ошибок, все же есть вероятность, что некоторые ошибки останутся незамеченными. Эта вероятность, конечно, возрастает, когда авторы/рецензенты проявляют небрежность, но ее нельзя полностью исключить даже при очень тщательном рассмотрении.

Судя по моему опыту рецензирования документов, практически невозможно действительно просмотреть каждый аспект статьи. Это особенно актуально в некоторых областях, где дополнительные методы используются для сотен страниц, а код может состоять из десятков или тысяч строк. Маловероятно, что все рецензенты обладают глубокими знаниями в конкретных областях и огромным количеством времени, необходимым для правильной оценки всего в документе. Это особенно касается областей, которые являются относительно новыми и новаторскими — просто не существует пула способных рецензентов.

Например, недавно я рецензировал статью для ведущего журнала (Nature Genetics), в которой использовалось сложное и весьма специализированное программное обеспечение для генетического анализа. Я никак не мог оценить каждую строчку кода, который они написали, поэтому нельзя было ожидать, что рецензент обнаружит баги и ошибки в коде. Мы должны посмотреть на представленные результаты и их обоснование, чтобы затем предположить, что код работает так, как обещали авторы. Авторы довольно сильно верят в то, что их код делает именно то, о чем они говорят. Я мог бы провести целый месяц без перерыва, просматривая статью, и я все еще думаю, что незначительные вещи могли бы ускользнуть.

Эта проблема усугубляется тем, что: а) рецензенты не получают зарплату и б) рецензенты часто очень перегружены работой и в) не существует особой мотивации, кроме профессионализма и академических идеалов (хотя, конечно, они могут быть сильными мотивирующими факторами), чтобы тратить большое количество времени на тщательное рассмотрение документов.

тл; др. Рецензенты в основном делают все, что в их силах, но, учитывая ужасную структуру, созданную для проведения большинства рецензий, я, конечно, не стал бы доверять рецензированию железному сертификату того, что все в статье правильно, но, к счастью, подавляющее большинство людей в академических кругах честны и не пытаются обмануть читателей или рецензентов.

В идеале этого бы не произошло, но это почти неизбежно.

Например, если вы оцениваете доказательство, скорее всего, вы не будете читать его построчно. На самом деле, когда я могу только так прочитать математическое рассуждение, это потому, что я еще не понял его, и это действительно плохой способ проверки глобальной правильности, связности или оригинальности. Многое может быть потеряно, и даже если все верно, есть вероятность, что в конце трудно сказать с уверенностью, насколько гибок аргумент, действительно ли нужны все допущения, действительно ли некоторые шаги так сложны, как изображено. , или почему. Обычно мы читаем модульно, пытаясь уловить глобальную структуру аргумента, используя леммы и тому подобное как черные ящики. Только когда эта структура имеет смысл, мы переходим к леммам. Или мы можем даже не читать доказательства лемм, потому что сами видим, как их доказывать. Сейчас, если у одного из таких доказательств есть проблема, как написано в статье, есть шанс, что мы ее упустим, потому что мы все равно видим, как доказывать лемму. Некоторых судей не очень волнуют ошибки на этом уровне, так как их легко исправить, и что более важно, так это то, что общий аргумент веский.

В целом было бы намного лучше, если бы статьи включали расширенные обсуждения мотивации, интуиции, стратегий доказательства и так далее. Людям, читающим их, будет легче переваривать аргументы, а возможность пропустить ошибку уменьшится. Но начинать писать с технических тем сложно, некоторые журналы имеют ограничения по количеству страниц, а иногда и временные ограничения (например, связанные со сроками пребывания в должности или соображениями продвижения по службе), которые ограничивают способность авторов тратить время, которое потребовалось бы для этого включения. Конечно, отсутствие таких замечаний по всей статье может затруднить для рецензентов и других читателей понимание некоторых деталей, что может привести к пропуску ошибок.

В идеале мы, как рецензенты, должны прочитать статью несколько раз, по крайней мере, один раз построчно, но редко когда мы в состоянии посвятить столько времени процессу. Когда у меня есть время, я могу даже прокомментировать опечатки или стиль, хотя я предпочитаю, чтобы суть моих комментариев касалась математики статьи и ее потенциала для обобщений или расширений или связи с другими работами. Несколько раз мне удавалось улучшить некоторые из доказательств, представленных в статье, но я полагаю, что упустил и важные детали.

Конечно, вполне может быть, что в статье есть ошибка не на уровне опечатки или не вполне доказанной леммы. Ошибка может быть значительной, и мы все равно можем ее пропустить. Иногда мы находим аргумент, похожий на то, с чем мы знакомы, и пропускаем проверку деталей, которые, как мы думаем, будут рутинными, и в итоге упускаем что-то серьезное. Или мы неправильно понимаем. На самом деле это не так уж редко или удивительно.

Статьи не написаны на формальных языках, которые поддаются машинной проверке. Некоторые люди утверждают, что они должны быть. Как бы то ни было, в настоящее время большинство наших доказательств являются разговорными, и иногда технические детали могут быть опущены. Многие документы очень плотные, и многим людям требуются годы тщательного изучения, чтобы обнаружить изъяны, пробелы или настоящие ошибки. Экспертная оценка не означает полной гарантии правильности, и было бы ошибкой думать, что она преследует эту цель.

Вот цитата, касающаяся процесса судейства журнала Discrete Analysis , подчеркивающая именно этот последний пункт:

В некоторых случаях неразумно ожидать, что рецензент проверит правильность статьи до мельчайших деталей. В таких случаях редакторы могут быть удовлетворены косвенными доказательствами того, что статья, вероятно, верна. (Например, может случиться так, что общая схема аргумента убедительна, но технические детали, связанные с преобразованием схемы в полное доказательство, очень сложны.) Таким образом, публикация в Discrete Analysis не должна рассматриваться как абсолютная гарантия достоверности. правильность, как и на практике, не является гарантией для любого другого журнала.

Я инженер, и рецензирование статей в моей области на предмет полной правильности почти невозможно, поскольку в статьях обычно обобщаются результаты с новыми компьютерными кодами или экспериментами, к которым у меня нет прямого доступа. Я просматриваю статью, чтобы убедиться, что она свободна от очевидных ошибок, соответствует теме публикации и представляет работу достаточного качества и новизны, чтобы последующие исследователи могли счесть ее полезной. Если меня все устраивает по этим пунктам, я нажимаю «рекомендовать к публикации». Я оставлю комментарии по незначительным вопросам, если увижу их, но я не считаю своей работой вычитку или редактирование статей бесплатно.

Инженеры генерируют много данных и моделей на малоизвестные темы, поэтому я подозреваю, что эти стандарты немного отличаются от тех, что приведены в некоторых ведущих научных журналах. Тем не менее, я бы посоветовал всем, кто не имеет личного опыта рецензирования статей, рассматривать рецензирование как нечто большее, чем процесс проверки, чтобы отсеять мусор, а не убедиться, что то, что заставляет его печатать, абсолютно правильно.

Я считаю, что человеческая ошибка является наиболее распространенной причиной неточностей в рецензируемых научных статьях, но я должен со всем уважением добавить еще одну причину: академическая политика. Я работал рецензентом более 20 лет. Обычно я тратил 10-20 часов на каждый обзор, потому что целостность информации — это основа научного прогресса.

Чем дольше я работал рецензентом, тем чаще я получал статьи на спорные темы или от «громких имен» в своей области. Рецензии должны быть анонимными, но когда авторы ссылаются на «нашу предыдущую работу (xxx, 2012)», анонимность исчезает.

К сожалению, стало очевидным, что некоторые старшие редакторы были менее склонны требовать пересмотра от «громких имен», которые использовали некачественные методы, неправильно интерпретировали значение своих статистических результатов или плохо охарактеризовали результаты предшествующих исследований. Ошибки, которые прозвучали бы похоронным звоном для статьи, написанной новичком, игнорировались, отбрасывались и прощались. (Мое собственное исследование становилось все более трудным, поскольку я понял, что мне нужно проверить достоверность любой цитаты, с которой я столкнулся, прежде чем полагаться на нее.)

Я перестал рецензировать, потратив три недели на особенно критическую статью «громкого имени». Этот человек использовал тип анализа, с которым я был знаком, но который не был широко известен в моей области. Проще говоря, газета была крушение поезда. Среди других серьезных ошибок: Основные принципы теории, лежащие в основе анализа, были проигнорированы, искажены или неточно процитированы. Математические расчеты были просто начисто неверны. И вместо того, чтобы использовать стандартные измерительные инструменты, распространенные в этой области, автор использовал непроверенные, неопубликованные инструменты, разработанные в его/ее лаборатории.

Я не был «громким именем», и я хотел убедиться, что стою на очень твердой почве в своей критике. Я задокументировал каждую проблему в своем восьмистраничном обзоре со ссылками на опубликованные материалы; я никогда не оставлял старшего редактора просто «доверять моему суждению». Когда я знал, что у старшего редактора могут возникнуть трудности с отслеживанием источника, я отправлял ксерокопии материалов, которые использовал.

Статья принята к публикации без единого существенного изменения. Другие рецензенты, которые признались, что ничего не знают о довольно плотной теоретической основе анализа, ответили рецензиями на полстраницы, в которых упоминались только типографские ошибки и повторы предложений. Старший редактор не захотел обсуждать со мной это решение.

Как я сказал в своем вступительном заявлении, я не верю, что академическая политика является причиной большинства ошибок в рецензируемых исследованиях. Я думаю, что большинство из них проистекает из честной человеческой ошибки или из-за досадной небрежности. Я публикую этот ответ, чтобы завершить ответ на ОП и четко указать тот факт, что «громкие имена» не гарантируют «хорошую науку» или безошибочные публикации.

Рецензент не несет ответственности за содержание статьи. Он высказывает свое мнение о новизне и научной строгости и рекомендует принять или отвергнуть его на основе этого мнения. Он имеет право рекомендовать улучшения, и ожидается, что он укажет на то, что кажется ему ошибочным .

Автор не должен лгать (это наложило бы ответственность на его сторону), но, конечно, может ошибаться, как и все люди, почти каждую минуту бодрствования.

Однако читатель никогда не должен принимать что-либо на веру только потому , что это было написано в статье. Именно читатель должен все перепроверить и по-прежнему нести полную ответственность, если он потеряет время, деньги или конечность из-за заблуждения, которое было перенесено в какой-то научной статье.

Я бы сказал, что есть еще один источник ошибок в рецензируемых публикациях. Последние должны содержать что-то новое, поэтому они часто являются самыми современными, и их результаты сложно как производить, так и проверять, отсюда и ошибки.