Рецензент поставил под сомнение достоверность статьи и результатов после первой проверки, в результате чего мы обнаружили серьезную ошибку. Должны ли мы пересмотреть или отозвать?

Я и члены моей команды работали над документом по машинному обучению, чтобы предсказать успех и провал стандартного академического теста. Статья была отправлена ​​в авторитетный журнал. Первый обзор вернулся с большим количеством поддержки, но с несколькими предложениями, которые заставили нас изменить методологию нашей работы, особенно в отношении данных - предварительной обработки. Были внесены изменения, исправленная рукопись была представлена ​​повторно. Тем не менее, одна вещь, которую следовало обсудить перед отправкой, - это точность результатов, которая составляла 100% для нескольких показателей оценки в каждой из стратифицированных складок. Несмотря на то, что проблема была поднята внутри нашей команды, мы в конечном итоге отправили ее, не убедившись тщательно, все ли правильно или нет.

Теперь комментарии рецензента вернулись, и он поставил под сомнение достоверность нашей работы, особо указав, что 100% точность выглядит слишком хорошо, чтобы быть правдой. Мы повторно запустили модели, чтобы оценить, как они себя ведут, и обнаружили, что результаты совершенно разные и не близки к 100% процентам. Мы просмотрели весь код и шаги, которые мы предприняли для достижения результатов, но не смогли найти ни одного изъяна или ошибки, которые могли бы привести к 100% точности.

Текущие результаты, которые колеблются от 65 до 80% между сгибами, выглядят гораздо более достоверными. Тем не менее, я не уверен, как ответить рецензенту, особенно когда мы не можем найти нашу ошибку, которая привела к 100% точности. Мы хотим быть абсолютно честными и признаем, что совершили ошибку, предоставив 100% точность, и мы должны были более критично относиться к нашей работе.

В то время как как группа мы хотим быть абсолютно прозрачными со всеми файлами данных и результатами, которые мы получили, и делиться ими с рецензентом. Но меня немного беспокоит, как рецензент воспримет такую ​​большую разницу в результатах, которая изменит вывод или, по крайней мере, интерпретацию.

Должны ли мы представить наши ответы и пересмотреть рукопись или отозвать статью?

Любая помощь будет оценена по достоинству.

Можете ли вы воспроизвести результаты со 100% точностью? Или вы просто перезапустили код (без его модификации) и получили другую точность?
Нет, мы не можем воспроизвести 100% точность. Мы просто перезапускаем код (без его модификации).
Это прозвучит грубее, чем я имею в виду. Но это поможет четко выразить это: невозможно, чтобы вы делали одни и те же вещи и получали разные результаты. Что-то должно быть другим. Тот факт, что вы не поняли, что это такое, доказывает, что вы недостаточно поняли свой метод!
Я полностью понимаю, что вы имеете в виду. Честно говоря, я действительно не знаю, что пошло не так, и это, очевидно, вызывает беспокойство, полностью ли я понимаю методологию. Я думаю, что при регистрации показателей производительности произошел технический сбой, но да, я знаю, что это сложная ситуация, и мы делаем все возможное, чтобы увидеть, какие ответы мы можем придумать, а затем решить, отвечать или отозвать.

Ответы (4)

Я предлагаю вам отозвать свое представление, пока вы не разберетесь, что происходит. Хорошая наука должна быть воспроизводимой, а это не так. Вы должным образом не раскритиковали свои собственные результаты и представили результат, который казался «хорошим». Теперь вы изменили часть своей методологии моделирования и получили еще один набор результатов, которые «выглядят хорошо», даже если вы не можете сформулировать никаких теоретических или практических причин, по которым этот набор результатов более надежен, чем предыдущий. Первый результат не прошел «тест на запах» разумной производительности, и вы как бы выстрелили себе в ногу, не проведя расследование. Теперь у вас есть результат, который проходит «тест на запах», но рецензент знает, что вам несколько не хватает усердия в самокритике.

По сути, вы говорите рецензенту, что «последний результат был ошибкой, а этот — нет, хотя мы не можем объяснить никакой разницы между ними». Очень важно, чтобы рецензент был уверен в вашей обновленной методологии, если вы сами не можете объяснить, почему она более верна, чем то, что вы сделали в первый раз.

Результаты теперь воспроизводимы, единственное, о чем я беспокоюсь, это то, что пошло не так в прошлый раз. Мы не изменили ни один из наших методов, чтобы получить результаты. Мы просто перезапустили модели и посмотрели, сохраняется ли поведение 100% или нет. Значит, будет правильно отозвать статью, если мы не сможем найти веское объяснение того, что пошло не так в прошлый раз?
Я бы не стал отзывать представление, но в остальном этот ответ очень красиво изложен. Вы должны быть особенно усердны, чтобы убедиться, что результаты правильные на этот раз. Может быть, добавить еще один тестовый набор данных или альтернативную реализацию, чтобы посмотреть, получите ли вы похожие результаты? По сути, посмотрите, можете ли вы что-то добавить, чтобы убедить себя и рецензента в том, что эти результаты верны. Я понимаю, что сейчас может быть невозможно отследить, что пошло не так в первый раз; воспримите это как урок, чтобы сделать ваш код более воспроизводимым на каждом этапе, и двигайтесь дальше.
Чтобы быть адвокатом дьявола, первый результат может быть сбоем или может быть основан на ошибке кодирования, которую невозможно обнаружить.
@Titus, я думаю, что во время записи / регистрации показателей производительности произошел какой-то сбой, но предположения не сработают.
@juod Да, вы правы, нам нужно быть особенно усердными. Это урок.

Вам определенно следует либо отозвать рукопись, либо пересмотреть ее таким образом, чтобы объяснить, что вы сделали не так ранее, что вы изменили и каковы ваши новые результаты. Даже если вы пройдете рецензию и она будет опубликована, кто-то усомнится в ней, и это повлияет на ваш авторитет. 100% действительно довольно сомнительно, чтобы быть справедливым, что в значительной степени предполагает, что ваши обучающие и тестовые данные слишком похожи / переоснащены / что есть утечка данных и т. д., что является очень фундаментальной ошибкой. Никто не собирается ругать вас за то, что вы исправили свою ошибку, даже если вам может быть стыдно.

Однажды я был в группе, и мой коллега по лаборатории сказал, что они решили нашу проблему с переоснащением, не раскрывая подробно его правок, и наш руководитель лаборатории настоял на том, чтобы мы завершили эксперименты, написали статью и отправили ее, несмотря на мои подозрения и явную откровенность по этому поводу. . Он даже был груб со мной по этому поводу, когда я усомнился в волшебном растворе коллеги по лаборатории. Позже, наконец, случайно мы узнали, что лаборант изменил код, чтобы использовать данные обучения в качестве тестовых данных, поэтому он тренировался на тех же данных и тестировал их тоже (уже тогда мы получили точность 96%-98% - это объяснимо в нейронных сетях). Он уже ушел с работы, поскольку его контракт подходил к концу, и, очевидно, это не было ошибкой. Мы нашли это после того, как написали об этом целую статью, и я потратил на это так много времени, но я был РАД, что мы все-таки нашли это,

У вас есть документ, который вы сами описываете как ошибочный. Я предлагаю вам исправить это, прежде чем двигаться вперед. Возможно, есть время сделать это, не отказываясь от него, но если вы будете продвигать его вперед, вероятны только плохие результаты. Вероятно, недостаточно «ответа», а не исправления.

Журнал может отклонить его. Но если они опубликуют это, читатели могут, что ж, усомниться в ваших методах.

Если у вас есть время исправить это, оставаясь в процессе публикации, сделайте это, но в противном случае, вероятно, лучше отозвать его, пока вы не найдете ошибки.

Я не скажу, что вся газета испорчена. Однако результаты должны были быть тщательно обсуждены. Настоящая проблема заключается в том, почему на 100% в этот раз это может быть связано с техническим сбоем в записи метрик или чем-то еще, но я не могу найти ничего плохого в этом процессе. Мы провели повторные эксперименты и должны сообщить о результатах. Мы не собираемся продвигаться вперед с ошибочными результатами.
Хорошо, но если вы не знаете, почему вы получили такие результаты, у вас все еще есть проблема. Воспроизводима ли ваша работа, например? На кону, конечно же, ваша репутация.
Точно, так что, если мы не найдем веское обоснование того, что пошло не так в прошлый раз, мы должны отозвать документ?
Я не могу честно сказать. Но вы должны знать, прежде чем он будет опубликован. Если вы получаете противоречивые результаты, вам нужно решить эту проблему. Я бы предпочел усердно работать над этим и попытаться получить лучшую версию до того, как крайний срок потребует от вас решения об отказе. Если здесь задействовано программное обеспечение, возможно, у вас плохой запуск из-за неверных параметров. Если это чисто статистическая модель, то возможна аномалия. Редкие вещи действительно случаются - и должны в конце концов.
Теперь мы получаем стабильные результаты. Я не знаю, что пошло не так в прошлый раз. Возможно, это был технический сбой или что-то подобное.
Тогда вы можете идти.

Просто скажите, что вы повторно проводили эксперименты и допустили ошибку. Отклонение бумаги зависит от других частей бумаги. Ваша проблема или решение могут быть новыми, и, следовательно, ваше решение является лучшим результатом на данный момент. В этом случае 60%-80% в порядке. На самом деле, это может привести к многочисленным последующим работам, т. е. цитатам, если ваша проблема интересна. Впрочем, если есть лучшее решение, то и публиковать нечего.

Вы можете сделать это, только если вы действительно НАШЛИ ошибку.