Насколько точны опубликованные документы?

Нет. Издатель не гарантирует и не может гарантировать правильность статей. Кроме того, система рецензирования несовершенна.

При этом, даже несмотря на то, что в одной статье может быть некоторый шанс быть ошибочным, поскольку исследования повторяются, а последующие исследования подтверждают и расширяют выводы, научное сообщество может выдвигать более сильные утверждения.

В одной статье специально рассматривался вопрос «Почему большинство опубликованных результатов исследований ложны» , что вызвало бурную дискуссию по этой теме.

РЕДАКТИРОВАТЬ, чтобы предоставить больше контекста, как указано в комментариях.
В статье (опубликованной в PLOS Medicine , что определяет ее объем) используются статистические методы для изучения вероятности того, что определенные типы исследований в области биомедицинских исследований дадут важные результаты, которые в конечном итоге будут опубликованы.

Некоторые цитаты:

высокий уровень невоспроизведения (отсутствие подтверждения) научных открытий является следствием удобной, но необоснованной стратегии заявления об окончательных результатах исследования исключительно на основе одного исследования, оцениваемого по формальной статистической значимости, как правило, для p-значения менее 0,05.

---

большинство исследовательских вопросов решается многими командами, и было бы неправильно подчеркивать статистически значимые результаты какой-либо отдельной группы. Важна совокупность доказательств. Уменьшение предвзятости за счет повышения стандартов исследований и сокращения предубеждений также может помочь. Однако для этого может потребоваться изменение научного мышления, чего может быть трудно достичь.

---

Несмотря на обширную статистическую литературу по многочисленным поправкам при тестировании [37], обычно невозможно расшифровать, сколько данных, извлеченных авторами отчета или другими исследовательскими группами, предшествовало опубликованному исследованию. Даже если бы определить это было возможно, это не информировало бы нас о шансах до исследования.

Хотя некоторые детали методологии оспаривались, суть статьи — то, что повторение исследований имеет решающее значение для установления фактов, и что нынешняя система публикаций во многих отношениях предвзято относится к воспроизводимым исследованиям — получила широкое признание далеко за пределами биомедицины, и документ вызвал волну исследований, посвященных этому кругу системных проблем, которые были отмечены в документе.

Публикация в рецензируемом журнале — это только начало пути к принятию идеи исследовательским сообществом, а не последнее. Экспертную оценку следует рассматривать только как базовую проверку статьи на вменяемость, и на нее нельзя полагаться. Как только выводы статьи воспроизведены или использованы в качестве основы для дальнейшего исследования, мы можем быть более уверены в том, что статья верна, но читатели по-прежнему несут ответственность за то, чтобы убедиться, что они сами оценивают статью. Если статья цитировалась большое количество раз (при этом цитаты не являются опровержениями! ;о), то это говорит о том, что работа, вероятно, надежна. Некритическое доверие к статье из-за того, что она была рецензирована, по сути, является примером «аргумента авторитета».заблуждение (в данном случае авторитетом являются анонимные рецензенты). Хотя рецензируемые статьи с большей вероятностью будут правильными, чем, скажем, блоги, это не может быть гарантировано, и лучше сохранять скептическое отношение.

Точность опубликованных статей резко различается и не может быть принята. В частности, в случае с IEEE, это огромная организация с множеством конференций и журналов. Некоторые из них, как правило, более строго относятся к тому, что они принимают, чем другие. Некоторые статьи, которые я читал в IEEE, заставили меня задаться вопросом, проходили ли они вообще какой-либо процесс рецензирования, поскольку язык был даже непонятен. Однако даже в самых уважаемых журналах и на конференциях результаты не следует считать точными. Вы должны использовать свое собственное суждение, чтобы оценить логику и представленные аргументы (т.е. убедиться, что их выводы действительно следуют из их предпосылок/экспериментальных результатов и что их экспериментальные планы кажутся разумными) и, где это возможно, повторить эксперименты, чтобы проверить их результаты.

В любом случае, процесс рецензирования, через который статьи проходят перед публикацией, непроверка результатов даже в самых уважаемых журналах. Процесс рецензирования состоит в том, что другие авторы просматривают документ и указывают на любые предполагаемые недостатки в представленных аргументах, заметно неверные результаты (например, математические ошибки и т.п.) и/или ошибки форматирования и языка. В некоторых случаях (особенно для более общих конференций) рецензент даже не находится в той же области исследований, что и статья (например, инженер по радиочастотам может рецензировать статью об энергосистемах, или исследователь ИИ может рецензировать статью о компьютерных сетях). .) IEEE, публикующая статью, в основном говорит: «После беглого обзора один или несколько членов IEEE считают, что эта статья не выглядит полным мусором и, вероятно, имеет для кого-то некоторую академическую ценность», а не «

Процесс, который вы, кажется, имеете в виду — другие исследователи повторяют эксперименты для проверки результатов — полностью отличается от процесса рецензирования, необходимого для публикации. Обычно этот процесс не начинается до тех пор, пока статья не будет опубликована. Как правило, это верно для всех научных публикаций, а не только для IEEE. Математика является чем-то вроде исключения, поскольку они пытаются представить в своих статьях фактические доказательства, а не научные результаты. Это также часто имеет место в области алгоритмов и логики компьютерных наук. Тем не менее, даже в этих областях вы должны проверять доказательства самостоятельно, а не считать их точными только потому, что они были опубликованы.

Особенно там, где невозможно воспроизвести результаты статьи самостоятельно, вполне допустимо цитировать результаты этой статьи в своей статье в качестве сравнения. Вам просто нужно убедиться, что вы ссылаетесь на что-то вроде «<авторы другой статьи> обнаружили, что их система достигла уровня производительности X, в то время как наши эксперименты показывают, что наша система достигает уровня производительности Y». Таким образом, становится ясно, что вы не утверждаете, что подтвердили их результаты, а просто сравниваете то, что вы видели в своей системе, с тем, что они утверждают, что видели в своей. Конечно, если у вас действительно есть возможность протестировать другую систему самостоятельно и представить для нее свои собственные экспериментальные результаты, это лучше.

В дополнение к другим хорошим ответам / баллам, есть также явление, когда результат может показаться приблизительно правильным, и его не рассматривают слишком критично, потому что это, казалось, не имеет большого значения ... но соответствует основным критериям профессиональной компетентности и т. д. Если это окажется основой для другой невинной/скучной работы, вещи могут накапливаться на предположениях о правильности, которые вообще не были «подчеркнуты». Потом, если возникнет какое-то более серьезное/интересное развитие, зависящее от всего этого, люди пересмотрят все гораздо серьезнее. Очевидно! Но и до тех пор, пока не возникнет эта последняя степень «заинтересованности», я бы беспокоился о том, что шансы «выше, чем нам хотелось бы», что в данном результате есть проблемы. Возможно поправимопроблемы, особенно в «обычных» историях, но ремонт часто может потребовать более экспертной оценки ситуации.

Резюме: если результат был "подчеркнут", а не просто процитирован , можно быть уверенным. Но даже если часто цитируется, но только неинтересными/несущественными статьями, кто знает?

И, как уже отмечалось, многие журналы (по математике) специально сообщают рецензенту, что они не несут ответственности за проверку правильности, а более / только на «пригодность». (Вопрос статуса, среди прочего, ...)

Многие статьи по медицине, биологии, психологии, социальным наукам и т. д. полагаются на статистические уровни достоверности и поэтому сопровождаются явным заявлением о том, что они не могут считаться точными на 100%.

Типичный уровень достоверности составляет 95%, что, к сожалению, означает, что вы можете ожидать, что примерно 1 из 20 выводов будет неверным. Так что это поля, где важны дублированные или подкрепляющие результаты.

По крайней мере, мы обычно делаем предположения и — бессознательно — ищем их. Одним из конкретных проявлений является P-взлом. См. объяснение доктора Дерека Мюллера по этому поводу:

Самое опубликованное исследование ошибочно? https://www.youtube.com/watch?v=42QuXLucH3Q

Кроме того, неточностям может способствовать неправильное использование методов уменьшения дисперсии, генераторов случайных чисел и построения сетки.

Естественно, что воспроизводимость становится проблемой.

Когда аспирантка Алисса Уорд проходила стажировку по научной политике, она рассчитывала узнать о политике, а не обнаружить пробелы в своей биомедицинской подготовке.

Она составляла библиографию о воспроизводимости экспериментов, и одна из статей, метаанализ, обнаружила, что ученые обычно не могут объяснить, как они выбирают количество образцов для использования в исследовании. «Мое удивление было не из-за упущения, а из-за того, что я понятия не имел, как и когда рассчитать размер выборки», — говорит Уорд. Ей никогда не рассказывали об основных категориях экспериментального дизайна или ограничениях значений P. (Хотя они могут помочь оценить силу научных доказательств, P-значения, как многие думают, не оценивают вероятность того, что гипотеза верна.)

Воспроизводимость: ищите более сильные научные данные

Значение AP, равное 0,05, не означает, что существует 95-процентная вероятность того, что данная гипотеза верна. Наоборот, это означает, что если нулевая гипотеза верна и все остальные сделанные предположения верны, существует 5%-ная вероятность получения результата, по крайней мере столь же экстремального, как и наблюдаемый. И значение P не может указывать на важность открытия; например, лекарство может оказывать статистически значимое влияние на уровень глюкозы в крови пациентов, не оказывая терапевтического эффекта.

Статистики предупреждают о неправильном использовании значений P

Скажем так:

• Они, безусловно, недостаточно точны, чтобы быть действительными и точными, чтобы вы могли основывать свои парадигмы без большого количества дополнительных результатов и публикаций, но
• Они, безусловно, достаточно точны , чтобы вы могли принять противоположное утверждение, не предъявляя железных аргументов и/или экспериментальных результатов, чтобы опровергнуть их.