Публикация статьи с сомнительной статистикой

Я отправил статью в достаточно хороший журнал в своей области. Один из рецензентов поставил под сомнение статистические методы и рекомендовал внести существенные изменения. Не вдаваясь в подробности анализа, я обратился за помощью к эксперту по статистике, и, хотя они сказали, что мой анализ не был строго «неправильным», они предложили мне исправить мои p-значения для множественных сравнений, чтобы успокоить рецензентов. . Проблема в том, что когда я применил поправку, ни один из моих выводов не оказался значимым. Я согласен с этим, поскольку в большинстве статей мы все равно описываем общие тенденции, поэтому я думаю, что удаление упоминания о значимости не имеет большого значения, и все говорят о необходимости публиковать отрицательные результаты, так почему это может быть очень плохо?

Мой консультант, однако, не согласен, они считают, что корректировка слишком строгая, и мы излишне наказываем результаты (я использую коэффициент ложных обнаружений, так что это самое мягкое, что вы можете получить). Они также считают, что если мы удалим важные упоминания, статья, скорее всего, будет отклонена, потому что тогда у нас будет не так уж много информации, подтверждающей тенденции, которые мы представляем. Мой советник хочет, чтобы я снова отправил документ, внеся небольшие коррективы. Это будет первая статья, которую я опубликовал в качестве первого автора, и я изо всех сил пытаюсь попасть на борт, открыто игнорируя статистическую ошибку, которую я совершу ради ее публикации. Мой консультант дал согласие на исправление p-значений, которое будет применено и обсуждено в моей диссертации.

Моя дилемма заключается в том, буду ли я пытаться бороться с моим советником по этому поводу (я не думаю, что выиграю), или делаю, как они просят, и надеюсь, что статья будет отклонена, или, может быть, я преувеличиваю, и мой советник верно. Я обеспокоен тем, что буду сожалеть о публикации чего-то, что, как я знаю, сомнительно ради публикации.

Борьба с вашим советником редко заканчивается победой. Но редактор может быть не доволен публикацией без «основных правок».
Похоже, это не отрицательный результат, это плохо спланированное и слабое исследование, которое ничего не показывает. Это не синонимы.
Неаккуратность со статистикой невероятно распространена. Статистикой пользуются все, мало кто в ней правильно разбирается. Гордитесь тем, что сделали шаг, чтобы поговорить с экспертом. Отнеситесь серьезно к их советам и учитесь. Не могли бы вы улучшить свое исследование, собрав больше данных для надлежащей серьезной проверки? Возможно, вы сможете оценить, сколько еще данных вам потребуется, чтобы снова стать значимым.
@Snijderfrey Сбор большего количества данных для достижения значительного результата - одна из тех форм небрежности. Наверное, не хуже их, конечно.
@Bryan Krause: Возможно, вы правы, но я бы сказал, что это зависит от обстоятельств, трудно сказать, не зная деталей. К счастью, не основная тема вопроса.
Этот вопрос, по сути, А и Б расходятся во мнениях, кто прав? Мы не знаем, не видя ваших экспериментальных методов и статистических методов.
Похоже, вы независимо узнали то, о чем Даг Альтман и другие говорили в течение многих лет — если вы пойдете к статистику после того, как ваш эксперимент будет завершен, он может сделать вскрытие и сказать вам, что пошло не так, но, вероятно, уже слишком поздно, чтобы исправить это. правильно. Вы будете знать, что делать в следующий раз. Надеюсь, ваш «советник» тоже научится.

Ответы (1)

Ну, если у вас есть сомнения, это потому, что в глубине души у вас есть для этого веская причина. И, как вы сказали в своем тексте, статистическим данным не хватает дополнительной фоновой поддержки. Если возможно, добавьте больше данных к существующим данным и внесите соответствующие изменения в текст.

Часто встречается в исследовательских работах, некоторых ярлыках при представлении экспериментальных данных, которым не хватает какого-либо объяснения/поддержки. Например, изменение масштаба оси, представление данных в нормализованном масштабе оси, среди многих других. Эти методы представления данных заставят рецензентов тратить больше времени на анализ ваших данных в поисках признаков отсутствия достоверности. В таких случаях, даже если она будет опубликована, в дальнейшем это отразится на количестве цитирований (например). Проще говоря, я не рекомендую делать это в настоящее время.