Я провожу исследование для своей докторской диссертации, основанной на деликатной теме, связанной с биомедицинскими приложениями. Собственно, наш рабочий процесс таков:
Моя проблема - четвертый этап в этом рабочем процессе. Прежде всего, никто никогда раньше не выполнял четвертый этап этого рабочего процесса для этого конкретного приложения. В литературе есть несколько подобных моделей, в которых пытались исследовать результаты применения аналогичной модели для этого приложения, но их выводы настолько общие и расплывчатые, что нельзя сделать определенный вывод. Когда мы применяем эту разработанную и проверенную модель к этим данным, она дает некоторые результаты, которые, во-первых, могут показаться нелогичными, но в литературе есть несколько статей, которые фактически подтверждают аналогичные наблюдения. Эти результаты неплохи, но выглядят как отрицательный результат. Мы уверены в наших результатах, потому что эта модель подтверждена и проверена на основе нескольких независимых случаев.
К сожалению, в глазах моего научного руководителя эти результаты бесполезны, потому что они нежелательны, и он думает, что никто не купится на эти результаты, если наш вывод будет чем-то нелогичным (ну, по крайней мере, нелогичным, исходя из его мыслей...). Каждую неделю на наших групповых встречах он напоминает мне, что эти результаты ничего не стоят и я должен определенным образом изменить разработанную модель. Он не дает мне указаний относительно того, как мне следует изменить модель, но важно, чтобы мы получили интуитивно понятные результаты прямо сейчас.
Я чувствую, что он заставляет меня искать желаемые результаты. Я могу это сделать, но я считаю, что это мошенничество или можно назвать сокрытием правды. Мой вопрос: Должен ли я изменить свою модель, чтобы получить желаемые результаты? если нет, то как правильно убедить его, что эти нелогичные результаты, возможно, и есть правда, и нам следует с ними жить?
Значение неожиданных результатов
Важно скептически относиться к вашему вычислительному подходу. Однако в то же время вычислительные подходы (почти) совершенно бесполезны, если мы просто игнорируем их, когда результаты неожиданны (если только у вас уже нет доминирующих доказательств того, что результат не только неожиданный , но и просто неправильный ). Исключение будет, если ваш подход находится в области генеративных моделей, где экономная модель предполагает лежащий в основе механизм, который не является областью вашей модели: вы пытаетесь сделать прогноз для неизвестного случая (экстраполяция).
Искусство заключается в том, чтобы определить, неверна ли ваша исходная модель мира (т. е. ожидание) или ошибочна ваша вычислительная модель.
В долгом обсуждении в чате, я думаю, мы пришли к выводу, что в вашем конкретном случае это может быть вопрос экстраполяции на состояние, когда у вас нет действительно сопоставимых данных обучения.
Как перестать волноваться и научиться любить модель
Если вы хотите убедить своего консультанта, коллег, рецензентов или самого себя в том, что вашей модели следует доверять, вашими следующими шагами будет тестирование условий, которые приводят к вашему результату.
Выполните все соответствующие тесты на сходимость модели в исходном обучении. Проверьте входные параметры, которые находятся за пределами диапазона в обучающем наборе. Используйте графическое представление вашей модели, чтобы показать, как входные данные сопоставляются с выходными данными. Удалите или масштабируйте переменные, чтобы проверить чувствительность вашей модели к этим изменениям. Кроме того, как предлагает ваш консультант, выясните, что нужно, чтобы ваша модель соответствовала ожидаемому результату. Все эти подходы помогут вам обнаружить, что в модели что-то не так, или поддержат вас, если что-то не так в предыдущих ожиданиях.
Любая вычислительная модель, которая пытается смоделировать сценарий заболевания, имеет недостатки, поскольку все модели пытаются свести чрезвычайно сложную проблему к простой, как указала Баффи в своем ответе.
Кроме того, ваш вопрос наводит меня на мысль, что вы работаете в/с группой вычислительной/биоинформатики. Если результаты, которые вы представляете, противоречат интуиции, я должен присоединиться к вашему консультанту в заявлении о том, что исследование, в котором представлены противоречивые результаты, не будет хорошо воспринято. Любые нелогичные результаты, полученные с помощью вычислительных моделей, должны будут пройти тщательную проверку гипотез с помощью экспериментальных методов, чтобы быть хорошо принятыми сообществом.
Если вы все еще хотите представить такие выводы, вы можете
Избегайте любых упоминаний о причинно-следственных связях.
Вы можете представить результаты как вторичный вывод при сравнении вашей модели с другими подобными моделями, описанными в литературе.
Вы также можете разбить большую находку на более мелкие части, которые могут быть хорошо восприняты сами по себе, но не вместе (презентуйте их по отдельности).
Переходя к части о
измерить важный для клиницистов параметр, от которого будет зависеть жизнь людей
Исследуйте результат этого приложения на этих данных, а также его результат и актуальность для клиницистов.
Результаты отдельных академических исследований редко используются в качестве основы для более крупных клинических приложений. Любое академическое открытие, каким бы грандиозным оно ни было, будет подвергнуто контрольному анализу в нескольких раундах повторных исследований, а затем будет представлено как часть более крупной исторической обзорной статьи. Результаты, представленные в таком контексте, могут в конечном итоге попасть на стол врача. Даже в этом случае они дважды подумают, прежде чем применять эти результаты к своим пациентам.
Хотя здорово подумать об этическом контексте исследований в области фундаментальных исследований, я бы настоятельно посоветовал вам подумать о себе в более широкой схеме академических исследований, прежде чем придавать большое значение таким проблемам.
Есть много хороших ответов, которые обсуждают тему из «Что правильно делать в исследованиях?» точки зрения. Позвольте мне дать плохой с практической точки зрения.
Мой вопрос: Должен ли я изменить свою модель, чтобы получить желаемые результаты?
Да, так что вы можете закончить свою степень вовремя. Поскольку вы говорите о диссертации, я предполагаю, что вы находитесь на очень поздней стадии докторской степени. Слишком рискованно не закончить его. Если бы вы были на более ранней стадии, я бы порекомендовал вам быстро найти другого консультанта.
Я не в вашей области, поэтому я не могу судить. Вы можете быть тем, кто прав, но это не имеет значения. Из всех историй, которые я слышал и испытал на себе, я очень редко вижу пример того, как аспирант успешно меняет мнение консультанта. Чаще всего эти споры заканчиваются плохо, и все разваливается, единственный, кто страдает, - это аспирант.
Я учился в университете R1, занимаясь вычислительной химией, и столкнулся с очень похожей, но еще более серьезной дилеммой, чем та, которую вы описали. Люди в этой области регулярно публикуют переобученные вычислительные модели, которые не имеют другого применения, кроме подгонки нескольких хорошо известных чисел из экспериментальных данных. Я утверждал, что эти модели не могут давать полезных прогнозов, и предоставил свои собственные доказательства моделирования.
Затем несколько профессоров с этого факультета, в том числе мой тогдашний научный руководитель, решили меня выгнать, назвав меня «не подходящим для защиты докторской диссертации». (Хорошо, здесь гораздо больше подробностей, но это не важно для этого ответа, если вам действительно интересно, поищите другие мои сообщения)
Это было 5 лет назад, и сейчас я нахожусь на поздней стадии еще одного доктора философии. программа в другом направлении. Мои знакомые, у которых раньше дела шли намного хуже, чем у меня, сейчас в основном постдоки/профессора/на руководящих должностях в промышленности.
Теперь вернитесь и измените свою модель, чтобы получить желаемые результаты, чтобы вам не пришлось идти по моим стопам. Если вы чувствуете, что это неправильно, просто бросьте и займитесь чем-то другим, что вам нравится. Да, реальный мир, даже в академических кругах, несправедлив.
Думаю, мне придется поддержать вашего советника. Ваша характеристика кажется немного странной для ситуации, когда хотят дать клинические рекомендации, когда здоровью или безопасности людей может угрожать плохой совет.
Кажется, вы хотите намекнуть, что ваша модель является заменой реальности и даже превосходит ее, поскольку она была «подтверждена». Но на самом деле ни одна модель не идеальна. Ни одна модель не отражает реальность идеально. Это, конечно, абстракция от реальности и делает некоторые упрощающие предположения. Модели просты, а реальность чрезвычайно запутана.
Модель, которая «кажется» предсказывает реальность, конечно, полезна, хотя в некоторых случаях она может не сработать — в частности, в пограничных случаях. Но, возможно, «его желаемые» результаты просто означают «достаточно соответствующие действительности».
Проверка вашей модели не является доказательством того, что она дает хорошие советы во всех необходимых ситуациях. Если у вас есть какие-либо доказательства того, что он иногда дает сбой, то было бы крайне неразумно и даже неэтично применять его как есть в клинических ситуациях — по крайней мере, без других доказательств в пользу предлагаемого режима.
Модель с небольшими последствиями для здоровья и безопасности человека может иметь некоторые недостатки, но все же быть полезной. Но меня беспокоит эта ситуация. Возможно, все, что говорит ваш консультант, это то, что вы можете и должны работать лучше. По крайней мере, мне кажется, что это мудрый совет.
Опять же, модель, которая показывает какие-либо признаки отказа в некоторых ситуациях, вызывает подозрение. Если применение модели критично, то даже незначительное свидетельство может быть опасным.
эйканал