Я и члены моей команды работали над документом по машинному обучению, чтобы предсказать успех и провал стандартного академического теста. Статья была отправлена в авторитетный журнал. Первый обзор вернулся с большим количеством поддержки, но с несколькими предложениями, которые заставили нас изменить методологию нашей работы, особенно в отношении данных - предварительной обработки. Были внесены изменения, исправленная рукопись была представлена повторно. Тем не менее, одна вещь, которую следовало обсудить перед отправкой, - это точность результатов, которая составляла 100% для нескольких показателей оценки в каждой из стратифицированных складок. Несмотря на то, что проблема была поднята внутри нашей команды, мы в конечном итоге отправили ее, не убедившись тщательно, все ли правильно или нет.
Теперь комментарии рецензента вернулись, и он поставил под сомнение достоверность нашей работы, особо указав, что 100% точность выглядит слишком хорошо, чтобы быть правдой. Мы повторно запустили модели, чтобы оценить, как они себя ведут, и обнаружили, что результаты совершенно разные и не близки к 100% процентам. Мы просмотрели весь код и шаги, которые мы предприняли для достижения результатов, но не смогли найти ни одного изъяна или ошибки, которые могли бы привести к 100% точности.
Текущие результаты, которые колеблются от 65 до 80% между сгибами, выглядят гораздо более достоверными. Тем не менее, я не уверен, как ответить рецензенту, особенно когда мы не можем найти нашу ошибку, которая привела к 100% точности. Мы хотим быть абсолютно честными и признаем, что совершили ошибку, предоставив 100% точность, и мы должны были более критично относиться к нашей работе.
В то время как как группа мы хотим быть абсолютно прозрачными со всеми файлами данных и результатами, которые мы получили, и делиться ими с рецензентом. Но меня немного беспокоит, как рецензент воспримет такую большую разницу в результатах, которая изменит вывод или, по крайней мере, интерпретацию.
Должны ли мы представить наши ответы и пересмотреть рукопись или отозвать статью?
Любая помощь будет оценена по достоинству.
Я предлагаю вам отозвать свое представление, пока вы не разберетесь, что происходит. Хорошая наука должна быть воспроизводимой, а это не так. Вы должным образом не раскритиковали свои собственные результаты и представили результат, который казался «хорошим». Теперь вы изменили часть своей методологии моделирования и получили еще один набор результатов, которые «выглядят хорошо», даже если вы не можете сформулировать никаких теоретических или практических причин, по которым этот набор результатов более надежен, чем предыдущий. Первый результат не прошел «тест на запах» разумной производительности, и вы как бы выстрелили себе в ногу, не проведя расследование. Теперь у вас есть результат, который проходит «тест на запах», но рецензент знает, что вам несколько не хватает усердия в самокритике.
По сути, вы говорите рецензенту, что «последний результат был ошибкой, а этот — нет, хотя мы не можем объяснить никакой разницы между ними». Очень важно, чтобы рецензент был уверен в вашей обновленной методологии, если вы сами не можете объяснить, почему она более верна, чем то, что вы сделали в первый раз.
Вам определенно следует либо отозвать рукопись, либо пересмотреть ее таким образом, чтобы объяснить, что вы сделали не так ранее, что вы изменили и каковы ваши новые результаты. Даже если вы пройдете рецензию и она будет опубликована, кто-то усомнится в ней, и это повлияет на ваш авторитет. 100% действительно довольно сомнительно, чтобы быть справедливым, что в значительной степени предполагает, что ваши обучающие и тестовые данные слишком похожи / переоснащены / что есть утечка данных и т. д., что является очень фундаментальной ошибкой. Никто не собирается ругать вас за то, что вы исправили свою ошибку, даже если вам может быть стыдно.
Однажды я был в группе, и мой коллега по лаборатории сказал, что они решили нашу проблему с переоснащением, не раскрывая подробно его правок, и наш руководитель лаборатории настоял на том, чтобы мы завершили эксперименты, написали статью и отправили ее, несмотря на мои подозрения и явную откровенность по этому поводу. . Он даже был груб со мной по этому поводу, когда я усомнился в волшебном растворе коллеги по лаборатории. Позже, наконец, случайно мы узнали, что лаборант изменил код, чтобы использовать данные обучения в качестве тестовых данных, поэтому он тренировался на тех же данных и тестировал их тоже (уже тогда мы получили точность 96%-98% - это объяснимо в нейронных сетях). Он уже ушел с работы, поскольку его контракт подходил к концу, и, очевидно, это не было ошибкой. Мы нашли это после того, как написали об этом целую статью, и я потратил на это так много времени, но я был РАД, что мы все-таки нашли это,
У вас есть документ, который вы сами описываете как ошибочный. Я предлагаю вам исправить это, прежде чем двигаться вперед. Возможно, есть время сделать это, не отказываясь от него, но если вы будете продвигать его вперед, вероятны только плохие результаты. Вероятно, недостаточно «ответа», а не исправления.
Журнал может отклонить его. Но если они опубликуют это, читатели могут, что ж, усомниться в ваших методах.
Если у вас есть время исправить это, оставаясь в процессе публикации, сделайте это, но в противном случае, вероятно, лучше отозвать его, пока вы не найдете ошибки.
Просто скажите, что вы повторно проводили эксперименты и допустили ошибку. Отклонение бумаги зависит от других частей бумаги. Ваша проблема или решение могут быть новыми, и, следовательно, ваше решение является лучшим результатом на данный момент. В этом случае 60%-80% в порядке. На самом деле, это может привести к многочисленным последующим работам, т. е. цитатам, если ваша проблема интересна. Впрочем, если есть лучшее решение, то и публиковать нечего.
Очарование
Саад
пользователь 2705196
Саад