Что делать, когда теория, стоящая за кандидатской диссертацией, оказывается ошибочной?

У меня есть друг, который работает над докторской диссертацией более 3 лет, и он должен закончить ее. К сожалению, его диссертация включает в себя сложную модель и заполнение модели труднодоступными данными. Собрав, наконец, все данные и подключив их к модели, он обнаружил, что теория более или менее не предсказуема и не работает. Другими словами, у него была интересная теория, и после проверки данных оказалось, что теория неверна.

Итак, в этой ситуации, что бы вы сделали? Просто написать диссертацию, в которой говорится: «Четыре года исследований показывают, что эта теория ошибочна»?

В несколько похожей ситуации я начал сначала. Потребовалось несколько разрешений от декана.
Это их собственная модель или уже опубликованная?
@BryanKrause Это модель, полученная из уже существующей известной модели.
@TylerDurden Демонстрация того, что модель не работает или дает сбой в определенном случае, может быть намного интереснее, чем демонстрация работы известной модели.
Связанный, не совсем дубликат: academia.stackexchange.com/questions/30995/…
Все без исключения теории, лежащие в основе каждой докторской диссертации, ошибочны. Эйнштейн доказал, что Ньютаун ошибался во многих вещах, и, несомненно, какой-нибудь умный человек докажет, что Эйнштейн ошибался. Вопрос не в том, верна эта теория или нет, а в том, полезна ли она.
«В духе науки действительно не существует такого понятия, как «неудачный эксперимент». Любой тест, который дает достоверные данные, является допустимым тестом». - Адам Сэвидж
Название гласит: «...теория, лежащая в основе докторской диссертации...», но сам вопрос относится только к гипотезе, сформулированной аспирантом относительно некоторой модели и некоторых данных. Пожалуйста, не путайте "теорию" с "гипотезой". У вашего друга была гипотеза, которую его эксперимент не подтвердил. Теория, лежащая в основе его гипотезы, представляет собой нечто совершенно иное, гораздо более широкое, гораздо более общее, и ее гораздо труднее опровергнуть.
предвзятость публикации: отрицательные результаты не заслуживают публикации
Ваша докторская степень показывает, что вы можете заниматься наукой правильно. Ваш титул доктора философии , а не кандидата наук в области воздействия радиации на несколько тел в вакууме в контексте сферических коров . Иметь диссертацию, доказывающую, что что-то не так, как-то хреново, но с фактом получения звания доктора это не проблема.
В основном он облажался. Просто скажите ему, чтобы он жил с этой фразой: «Цель хорошего университета — дать основу для провала, а не основу для получения пятерки».
Если бы вы могли показать, что хорошо зарекомендовавшая себя гипотеза Римана на самом деле оказывается ошибочной, это вполне могло бы быть опубликовано и принести больше известности, чем «просто» докторская степень.

Ответы (9)

Почему теория была ошибочной? «Это не сработало» — это не конец — конец в том, чтобы узнать, почему это не сработало. Есть как минимум два возможных ответа:

  • В основе модели лежит какая-то фундаментальная очевидная ошибка, которую давно следовало бы обнаружить. В этом случае можно начать заново. Трудно подготовить статью/тезис, если история звучит так: «Я сделал дурацкую модель, и она не сработала».
  • Есть какая-то ранее неизвестная причина, по которой модель не сработала, несмотря на то, что умные люди думали, что она сработает. Вероятно, это интересный результат, который можно опубликовать. На самом деле, это может быть даже интереснее, чем документ, в котором просто говорится: «Мы использовали модель, и она работала, как ожидалось».

Похоже, данные тоже ценны. Даже если нужно начать сначала, похоже, что этот набор данных может привести к публикации или стать составной частью новой диссертации.

Практическая проблема, по моему опыту, заключается в том, что почти все проблемы выглядят очевидными задним числом :) это редко обсуждаемая причина, по которой можно указать на предыдущую литературу о вашей теории, или затрудняет для рецензента сказать: «Ну, каждый эксперт знал, что это не сработает».
Это разница между наблюдением за тем, как кто-то делает операцию, и тем, чтобы делать ее самому.

Исследование заключается не в том, чтобы взять утверждение и доказать, что оно верно . Это предполагает, что это на самом деле правда без проведения исследований. Исследование направлено на определение того, является ли что-то правдой или нет.

Но здесь есть две возможности. Один из них, который встречается в статистических исследованиях, представляет собой результат, который показывает недостаточно доказательств того, что теория верна. Другой, который может произойти там или, скажем, в математике, — это результат, показывающий, что теория явно ошибочна.

Первый из них — неудачный эксперимент. Это мало что может сказать о модели. Но последнее является определенным результатом. «Мы подумали, что это может быть правдой, но узнали, что это не так».

Обратите внимание, что при статистическом тестировании некоторая часть используемых выборок будет давать ложные результаты. Если исследование хорошо спланировано, то вы можете предсказать, какова будет эта доля, скажем, 0,01.

Но демонстрация того, что модель или теория явно неверна, приводит к хорошему тезису, и да, вы говорите: «Эта теория неверна!!!»

Однако несостоятельная статистическая теория может потребовать дополнительной работы, или советник и комитет могут принять ее, при условии, что дизайн был хорошим, а все остальное сделано тщательно и добросовестно.

Знание есть знание, и оно хорошо, будь то положительное или отрицательное.

На самом деле, многие опубликованные исследования позже оказываются ложными, потому что исследователи исходили из предвзятого представления об истине и делали все возможное, чтобы «сделать так». Это не исследование. Исследования делают шаг в неизвестное, чтобы попытаться сделать его известным.

«Вы не используете науку, чтобы показать, что вы правы, вы используете науку, чтобы стать правым». - Рэндалл Манро
Многие исследования определенно берут утверждение — назовите его, если хотите, «гипотезой» — и доказывают, что оно верно. Возможно, не в более прикладных областях, но в теоретических - точно.
@einpoklum-reinstateMonica, но с самого начала не известно, верна ли эта гипотеза. Оно может быть даже ложным. Исследования собирают доказательства того или другого. Окончательные доказательства лучше всего. Но отношение должно быть «Это правда?», а не «Это правда ». в начале. Слишком много исследователей привержены истине своей гипотезы и в конечном итоге совершают различные ошибки. Даже в математике и теоретической физике утверждение стоит на первом месте, но вам нужно доказательство.
В математике важен контрпример к какому-то предположению, таких примеров десятки. И доказательства «невозможности» имеют большую ценность после определения того, почему что-то не работает, известным примером может быть отрицательное решение проблемы Entscheidungsproblem и теорем Гёделя о неполноте.
В теоретических областях «Известно, что это правда» = «Доказано» (по существу).
Этот ответ неверен и опасно неверен! Исследования, которые показывают эффект, который не является статистически значимым, все еще действительны. Если исследования исключаются из публикации только на этом основании, то это сводит на нет возможность проведения метаанализа.
Вы неправильно истолковали мой ответ, @Ben. Такие исследования действительны, они просто не дают никаких доказательств гипотезы. Собственно, в этом и был смысл.
Насколько я понимаю, вы разделили возможные результаты научного эксперимента на три категории: 1. данные подтверждают гипотезу 2. данные опровергают гипотезу 3. недостаточно доказательств для подтверждения или опровержения гипотезы. С категориями согласен. Я также согласен с тем, что если данные опровергают гипотезу, то это все еще верный результат. С чем я не согласен, так это с утверждением, что категория 3 — это неудачный эксперимент. Такие исследования по-прежнему обеспечивают важный контекст для будущих исследований, особенно если трудно собрать данные в полевых условиях.

Вы говорите об этом со своим консультантом, а затем пишете документ, объясняющий вашу методологию и результаты.

Очевидно, что первый шаг — поговорить об этом со своим научным руководителем, чтобы убедиться, что все согласны друг с другом, и выяснить требования к кандидатской диссертации на вашем конкретном факультете. В некоторых случаях у вас может быть несколько уже опубликованных рецензируемых статей, которые вы можете использовать для компиляции вместе для создания своей докторской диссертации; в других случаях это может быть запрещено или невозможно, если вы еще ничего не опубликовали. Тем не менее, независимо от ситуации, они должны понимать требования, которые ваш отдел предъявляет к вам для успешной защиты докторской диссертации.

Однако, как бы вы ни структурировали свою дипломную работу, вы, вероятно, закончите объяснением методологий, которые вы использовали для создания модели, сбора данных, а затем анализа результатов модели с использованием данных, чтобы сделать вывод о том, что существует недостаточно доказательств, чтобы сделать вывод, что ваша гипотеза верна. В зависимости от норм вашего отдела вы можете или не можете публиковать код, который вы использовали для создания вашей модели с открытым исходным кодом.

Я бы не сказал «очевидно ...», иначе ОП не задал бы вопрос.

Ваш вопрос показывает, что предвзятость публикаций начинается в аспирантуре (или даже раньше). Цитирую статью из Википедии :

Предвзятость публикации — это тип предвзятости, который возникает в опубликованных научных исследованиях. Это происходит, когда результат эксперимента или исследования влияет на решение о публикации или ином распространении. Публикация только тех результатов, которые показывают важные выводы, нарушает баланс выводов и вносит смещение в пользу положительных результатов.

Если это исследование основано на известной ранее существовавшей модели, возможно, эта модель просуществовала до тех пор, пока существует, потому что предвзятость публикации защитила ее от опровержения. Мало того, что исследования, которые идут вразрез с моделью, подходят для получения степени доктора философии, их захоронение может нанести вред более широкому исследовательскому сообществу. Я, очевидно, не знаю подробностей дела, но, судя по тому, что вы сказали, это звучит как хорошая диссертация, которой можно гордиться, а не то, за что стоит извиняться.

ИМХО. Первое, что нужно сделать, это немедленно сообщить научному руководителю. Существует вопрос честности, который всегда должен быть на первом плане — у консультанта никогда не должно быть предлога сомневаться в правдивости вашего друга. Это важно для 2-го шага. Если советник лично поддерживает открытие чего-то, что не соответствует действительности, он поговорит со своими коллегами и почувствует поддержку формальной защиты. Если его поддержат коллеги, он пропустит защиту (конечно, с переписыванием). В конце концов, разве не в этом цель диссертации — открыть что-то, чего раньше не было известно? Помните, что у советника тоже есть «кожа в игре». Если он пускает защиту и его сбивают -- он теряет "лицо". Если он верит в вашего друга, у него есть хороший шанс.

Люди, их отношения и организационные аспекты процесса обычно более важны, чем окончательный результат, но нет фундаментальной причины, по которой отрицательный результат все еще не обнаруживает что-то, о чем стоит сообщить. Ведь препарат Силденафил провалил свои клинические испытания, пока кто-то не прочитал межведомственную записку и не посмотрел на отрицательные результаты по-другому.

ОБТВ. Я проработал 20 лет в компании из списка Fortune 500, часть из которых был менеджером. У меня нет докторской степени, но я знаю людей и процессы. Проблема вашего друга ничем не отличается. Скажите своему другу, что у него это есть, и поздравляю с окончанием исследования! Поощряйте его не быть ABD - ваш друг так близок!!!

Если бы вы знали ответ до начала, это не было бы настоящим исследованием.

Было много теорий, которые оказались ошибочными. Свежий пример — суперсимметрия . Эта идея физики элементарных частиц была действительно привлекательной по многим причинам, и многие физики посвятили свою карьеру работе над этой теорией. Тем не менее, БАК не обнаружил суперсимметричных частиц, что оказалось серьезной проблемой .

Ваш друг должен поговорить со своим консультантом по этому вопросу, но не должен слишком беспокоиться о том, чтобы сдать тезис, в котором говорится: «Ну, четыре года исследований показывают, что эта теория ошибочна». Он был бы в хорошей компании.

В самом деле, тот факт, что вы можете не получить докторскую степень (или написать крайне слабую диссертацию и оказаться в дерьмовом положении, чтобы продвинуться вперед в своей академической карьере), — это не то, из-за чего можно потерять сон? Можете ли вы уточнить, что именно вы имеете в виду? Эти расплывчатые метафоры о потере сна и хорошей компании на самом деле не отвечают на вопрос.
Часть суперсимметрии может быть спорной :-) Это правда, что большинство моделей SUSY предсказывали счастицы, которые были бы обнаружены к настоящему времени. Но это лишь поощряет более креативные модели (например, «строго натуральность»).
@Dan Romik: Во многих областях/учреждениях/культурах качество диссертации не измеряется тем, оказывается ли исследуемая теория положительной. Таким образом, проблема, описанная здесь, не приведет к тому, что вы не получите докторскую степень или получите очень слабую диссертацию (хотя диссертация, конечно, может быть слабой по другим причинам, поэтому всегда полезно беспокоиться и терять сон ;-). Однако это зависит от области/учреждения/культуры, поэтому обязательно обсудить это с руководителем.
Лично у меня в качестве научного руководителя были аспиранты, которые в жизни бы не признали, что идея, которую они исследуют, работает не так хорошо. Иногда это была моя идея, и они даже думали, что должны показать мне, что идея хороша, но иногда это было не так. Конечно, меня устраивает хорошо написанная хорошо обоснованная и понятная диссертация с (в основном) отрицательным результатом. Конечно, нужно уточнить, что поле может извлечь из этого. Но меня может приводить в уныние то, что студенты никак не могут заставить себя признать, что что-то работает не так, как надо.

Мой руководитель сказал в начале семинаров, что тезис, который оказался неверным, обычно характеризует лучшие диссертации.

Объяснение простое: если ваш тезис окажется верным, то вы на самом деле в большинстве случаев докажете правильность того, что считается правильным. В большинстве случаев это ничего не продвигает. С другой стороны, если ваш тезис оказался неверным, это гораздо интереснее. Вы наверняка обсуждали свой первоначальный тезис с вашим консультантом, он также соответствует вашему первоначальному уровню знаний, который вы получили из книг. Но затем вы нашли что-то, что не соответствует этому уровню знаний. Если вы сможете выяснить, почему ваш первоначальный тезис был неверным, у него есть большой потенциал, чтобы привнести что-то новое в науку.

Работа с тем, что есть:

  • Трудно получить данные
  • Теория, которую вы теперь точно знаете, ошибочна

Ошибся в чем? «Не может показать статистическую значимость» или «может показать обратное»? Если вы можете сказать что-то определенное, например, что верно обратное, то вы можете сформулировать новую модель, которая будет лучше вашей старой (поскольку она согласуется с фактами).

Если все, что у вас есть, это «не имеет значения», то это менее пикантно, но вы все равно сможете написать статью о том, что «модель X не работает в обстоятельствах Y, и вот мои аргументы, почему я думаю, что Z является причиной».

Труднодоступные данные представляют собой интересную перспективу. Если на получение этих данных ушли годы, то публикация их таким образом, чтобы кому-то еще не понадобились годы для сбора этих данных, может быть ценной с научной точки зрения. Если на получение этих данных ушли годы, вероятно, у других людей не было возможности изучить и проанализировать данные, и вы также можете написать об этом.

В общем, вам есть что написать, на что у умного человека ушло три года серьезной работы. И вы узнали о взлетах и ​​падениях исследований. Поработайте со своим научным руководителем, чтобы определить новое направление для диссертации. Но вы должны быть в состоянии написать сильную диссертацию, которая демонстрирует, что вы научились проводить исследования, и представляет результаты исследований, которые еще не были доступны научному сообществу (на удивление трудно получить данные и знания о том, какой подход к моделированию не работает).

Я искал этот ответ, +1. Труднодоступные данные трудно получить! Безусловно, его можно глубоко проанализировать, чтобы сделать какие-то выводы или, по крайней мере, подтвердить известные. Это будет не такой сильный тезис, как тот, который ожидал студент, но если сбор данных был трудным, возможно, это может быть в центре внимания, а не результат, который он надеялся получить от сложной модели.

Я бы структурировал документ под названием «О несостоятельности гипотезы о том, что…».

Этот документ может быть исследовательским отчетом, журнальной статьей, главой диссертации, чем угодно. Во время письма логика мыслей будет раскрываться сама собой; возможно, вы даже сможете обнаружить, что это неправда, что все неправильно. Все другие реакции, приведенные в этой теме, способствуют мотивации и разумным путям вперед.

Что касается саморефлексии, помимо множества часто встречающихся предубеждений в суждениях , пожалуйста, обратите внимание и на предвзятость самозванца : есть даже плейлист выступлений TED, из которого можно выбрать наиболее подходящий вариант.

Наконец, для вдохновения было бы интересно взглянуть на редакционные линии журналов, которые публикуют «исследования неудач» в отличие от «неудачных исследований». Я слышал о журнале Negative Results in Biomedicine в медицинском сообществе . Я полагаю, что важно собрать словарный запас, подходящий для объяснения «исследований неудач» , и заимствование из любого авторитетного источника может быть полезным.