Можно ли не воспроизводить до 70% научных исследований?

В последнее время я много читал и слышал об Инициативе воспроизводимости , утверждая, что данные многих научных исследований не могут/не были/не могут быть воспроизведены .

«В прошлом году проблемы воспроизведения академических исследований привлекли большое внимание общественности, особенно в контексте преобразования исследований в медицинские достижения. Недавние исследования показывают, что до 70% исследований академических лабораторий невозможно воспроизвести, что представляет собой огромную трату денег и усилий », — сказала д-р Элизабет Айорнс, соучредитель и генеральный директор Science Exchange. «По моему опыту исследователя я обнаружил, что проблема заключается в первую очередь в отсутствии стимулов и возможностей для проверки — Инициатива воспроизводимости напрямую решает эти недостающие части».

К сожалению, мне не удалось найти те исследования (где они воспроизведены!?), подтверждающие это утверждение. Я хочу знать, где проводились эти исследования, медицина, биология, психология, но ничего не нашел. Я также как-то скептически отношусь к тому, что наука находится в таком плохом состоянии, учитывая, что исследования часто используются/обязательны здесь, на skeptics.se, для получения хороших ответов и получения лицензии на фармацевтические продукты. 70% мне кажется многовато.

Я действительно не нахожу все это шокирующим, никто не платит деньги за то, чтобы люди узнавали то, что уже известно. Нет славы в проверке фактов, никто не получает Нобелевскую премию за «лучшее воссоздание предыдущих исследований».
Райталь, хоть я и сочувствую твоей точке зрения, она не совсем верна. Когда итальянцы заявили, что нейтрино двигаются быстрее света, было проведено множество экспериментов, чтобы воспроизвести результаты. Подробности смотрите здесь: news.sciencemag.org/scienceinsider/2012/02/…
Обычно вы становитесь проверяющим фактов, если у вас есть веские основания утверждать, что результаты данного исследования либо ошибочны, либо неполны. Неудивительно, что все пытались воспроизвести эксперимент итальянцев, поскольку скорости выше скорости света считаются невозможными (дальнейшие испытания показали, что между скоростью света и нейтрино также нет существенных различий). Некоторые открытия настолько потенциально новаторские, что их немедленно проверят. Другие, не такие яркие, могут быть ожидаемы учеными и часто принимаются за чистую монету.
@thisfeller Ребята из OPERA никогда не верили этому числу, и они очень тщательно сформулировали статью (стоит прочитать, чтобы точно понять, в чем состоит претензия). Они сидели на нем, пока пытались разобраться, но он просочился, и тогда им пришлось что-то сказать. В любом случае, в физике элементарных частиц мы склонны воспроизводить результаты работы машины n-го поколения в рамках ввода в эксплуатацию n+1-го поколения, поэтому есть большая вероятность, что ваша работа будет проверена. С другой стороны, в нашей истории есть и аномальные результаты.
Мы занимаемся исследованиями тяжелых ионов, уровень 2 для получения последних данных с БАК.
Есть связанный с этим вопрос, skeptics.stackexchange.com/questions/1973/… , и ответы здесь имеют сильное влияние на ответы на другой вопрос.
@Dungarth Интересная история в этом контексте: en.wikipedia.org/wiki/Sch%C3%B6n_scandal салон.com /2002/09/16/физика
Название этого вопроса вводит в заблуждение / зловеще. Умозрительно основывать утверждение о том, что до 70% всех научных исследований невозможно воспроизвести, на утверждении, что 70% медицинских исследований невоспроизводимы.
Некоторые из приведенных ниже и другие ссылки перечислены в Википедии . См., в частности , почему большинство опубликованных результатов исследований ложны .
«До» — ласковая формулировка. Они говорят, что от 0% до 70% результатов невозможно воспроизвести. Это тривиально верно - и совершенно бессмысленно. Если вы ищете фактическое число, задайте этот вопрос.
Научное исследование показало, что результаты около 70% всех научных исследований невозможно воспроизвести. Последующие исследования не смогли воспроизвести этот процент.
Разве «отсутствие стимула или возможностей» как причина не будет означать, что 70% НЕ ЯВЛЯЮТСЯ, а не «не могут»?

Ответы (3)

Институт развития терапии БАС повторно протестировал более 70 препаратов из 221 независимого исследования:

  • 0 воспроизведено (1)
  • Миноциклин: эффективен в четырех отдельных исследованиях БАС на мышах, ухудшил симптомы в клиническом испытании с участием более 400 пациентов (2)

Национальный институт неврологических расстройств и инсульта (NINDS) провел спонсируемое повторение 12 исследований травм спинного мозга:

  • 2/12 успешно воспроизведено (3)

Компания Bayer провела внутренние исследования по проверке целей

  • 14/67 воспроизведено (4)

Amgen попыталась воспроизвести 53 «знаменательных» публикации по онкологии:

  • 6/53 воспроизведено (5)

использованная литература

  1. Скотт и др. Боковой амиотроф склеры. 9, 4-15 (2008).
  2. Гордон и др. Ланцет Нейрол. 6, 1045–1053 (2007).
  3. Стюарт и др. Экспериментальная неврология 233, 597–605 (2012).
  4. Принц и др. Nat Rev Drug Discov. 10, 712 (2011).
  5. Бегли и Эллис. Природа. 483, 531-3 (2012).
Спасибо доктору Айорнсу за быстрый и подробный ответ, это те ссылки, которых мне не хватало во многих блогах и новостных сайтах, объясняющих вашу инициативу в последнее время. Я бы поместил эти ссылки на ваш сайт, чтобы стало ясно, что это особ. крупная проблема медицинских наук.
Это также станет хорошим ответом на skeptics.stackexchange.com/questions/1973/…
Также вызывает вопросы о доказательной медицине, если доказательства были сфабрикованы: skeptics.stackexchange.com/questions/3111/…
@mmr: я не думаю, что кто-то утверждает о широко распространенной фальсификации или преднамеренном искажении доказательств (что, по-видимому, подразумевает термин «приготовление пищи»). Скорее проблема заключается в сочетании системных предубеждений в науке в целом; давление с целью получения положительных результатов, апостериорный анализ и плохое понимание статистики часто, кажется, сочетаются для получения «статистически значимых» результатов из шума, в то время как в то же время отрицательные результаты, как правило, остаются неопубликованными.

Есть несколько исследований, которые документируют проблемы воспроизводимости и тщательно рассматривают этот вопрос в показаниях медицины, онкологии и неврологии.

Две отдельные публикации ниже подробно описывают, как более 2/3 основных онкологических исследований оказались невоспроизводимыми.

Асадулла: http://www.nature.com/nrd/journal/v10/n9/full/nrd3439-c1.html

Гленн Бегли / Ли Эллис: http://www.nature.com/nature/journal/v483/n7391/full/483531a.html

Спасибо и вам, кто-то очень быстро проинформировал вас обоих ;)
Чтобы сделать этот ответ лучше, не могли бы вы обобщить содержание связанных документов?

Да, и проблема существует во многих областях науки.

Проблема воспроизводимости привлекает все больше внимания. В недавней статье Nature News обсуждаются возможные причины плохих результатов в литературе и множество примеров, когда они были выявлены. Заголовок резюмирует проблему:

Люди удивительно хороши в самообмане. Но растущая озабоченность по поводу воспроизводимости заставляет многих исследователей искать способы борьбы со своими худшими инстинктами.

Одна огромная проблема заключается в том, что результаты, которые кажутся правдоподобными, подвергаются гораздо меньшему анализу, чем необычные результаты, поэтому неправильные, но правдоподобные результаты слишком часто проходят проверку на наличие ошибок.

В статье обобщается ряд различных экспериментов по воспроизводимости, и результаты показывают, что большинство результатов во многих областях не воспроизводимы (стоит прочитать статью, чтобы найти все ссылки на эти исследования).

Неспособность понять наши собственные предубеждения помогла создать кризис уверенности в воспроизводимости опубликованных результатов, говорит статистик Джон Иоаннидис, содиректор Центра инноваций мета-исследований в Стэнфордском университете в Пало-Альто, Калифорния. Проблема выходит далеко за рамки случаев мошенничества. Ранее в этом году крупный проект, пытавшийся воспроизвести 100 психологических исследований, сумел воспроизвести немногим более одной трети. В 2012 году исследователи из биотехнологической фирмы Amgen в Таузенд-Оукс, штат Калифорния, сообщили, что им удалось воспроизвести только 6 из 53 знаковых исследований в области онкологии и гематологии. А в 2009 году Иоаннидис и его коллеги описали, как им удалось полностью воспроизвести только 2 из 18 исследований экспрессии генов на основе микрочипов.

В более позитивном плане статья рекомендует несколько способов устранения предвзятости научных ответов. Некоторые из них представлены на картинке ниже:

Изображение (с) Природа

Так что есть много известных причин, по которым публикуются плохие результаты, и их очень много. Но с этим могут бороться хорошие ученые.

Это на самом деле не отвечает на вопрос. Настоящая проблема, почему плохие результаты публикуются, заключается в том, что существует слишком много журналов для доступного пула компетентных рецензентов и слишком сильное давление на исследователей по принципу «опубликуй или умри». Когнитивная предвзятость не такая уж большая проблема, как ее изображают, и она отвлекает внимание от того, в чем на самом деле заключается проблема. Ученые уже обучены справляться с этими предубеждениями, и самые успешные ученые, как правило, умеют это делать.
@DikranMarsupial Вы правы в том, что распространение журналов является частью проблемы, но вы ошибаетесь в том, что ученые умеют избегать этих предубеждений. Из-за них лажают даже хорошие ученые (см. историю Эндрю Гельмана в статье в Nature). И факты говорят о том, что публикуется много дерьма. Кроме того, ученые заинтересованы в продвижении по карьерной лестнице за счет публикации, и это синергетично с некачественной рецензированием, что приводит к получению плохих опубликованных результатов.
«Даже хорошие ученые ошибаются из-за них», вы упускаете суть, да, у всех нас есть эти предубеждения, и никто из нас не совершенен. Однако ученые уже обучены избегать их и намного лучше избегают их, чем широкая публика (например, сравните общественную и научную реакцию на аргументы профессора Салби об углеродном цикле). Конечно, ведущие ученые все еще допускают ошибки, но отчасти они являются ведущими учеными потому, что лучше остальных справляются со своими предубеждениями.
@DikranMarsupial По этой самой теме защита оригинального исследования и некоторая более общая критика состояния научных данных в психологии.
Гельман всегда был интересным писателем, и здесь он делает хорошее замечание о том, почему p-значения не обязательно информативны. По иронии судьбы, способ предотвратить попадание плохих идей в журналы состоит в том, чтобы рассмотреть априорную правдоподобность гипотезы, которая, по сути, является своего рода когнитивной предвзятостью, которую вы критикуете в своем ответе! Другими словами, рецензенты должны проявлять ассиметричное внимание, чтобы отсеять ложные дурацкие утверждения. Конечно, ученые, как правило, знают, как сбалансировать эти вещи, хотя в некоторых науках это представляет меньшую проблему, чем в психологии.
«1. Много плохих материалов публикуется в ведущих журналах и рекламируется в СМИ». является его важной частью. Публикация — это только первый шаг к принятию идеи, но обычно это единственный момент, когда средства массовой информации проявляют к ней интерес, что объясняет, почему в средствах массовой информации так много историй о такого рода вещах. Многие проблемы вызваны интересом средств массовой информации, которые не исследуют уровень поддержки со стороны научного сообщества, например, отсутствие льда в Арктике к 201X году и т. д., которые попадают в средства массовой информации, но почти всегда отвергаются климатологами.
Можно ли не воспроизводить до 70% научных исследований?
СпросиСетьПолитика конфиденциальности1y, 0v