В настоящее время я просматриваю статью и с подозрением отношусь к их числовым результатам. Я чувствую, что их результаты были немного изменены, чтобы продемонстрировать их превосходство по сравнению с другими сравнительными методами.
Я не могу назвать точную математическую причину, почему я думаю, что их численные результаты были изменены, но это так странно, что во всех 15 сценариях они были лучше. На самом деле, я почти уверен, что их метод лучше, чем его тесты, но не всегда. Возможно, они изменили некоторые сценарии.
Поскольку у меня нет математической причины, по которой я думаю, что некоторые из их номеров изменены, должен ли я запросить их компьютерный код и запустить их самостоятельно?
Дополняя другие ответы, либо в дополнение, либо помимо запроса кодов и запуска их самостоятельно, я не думаю, что это плохая идея - явно спросить авторов, что-то вроде этого:
Стандартные алгоритмы выполнения ( бла-бла-бла ), например, как в работах Refs. [1-3] ( подайте их в ), предполагают стандартную точность в типичных алгоритмах. Текущая работа, похоже, улучшила то же самое, что является сильным аргументом в пользу публикации. Тем не менее, авторы должны включить комментарий в рукопись, упомянув, какие изменения они внедрили в типичные алгоритмы, столь широко распространенные, что приводит к такой повышенной точности.
Мой жаргон, возможно, придется немного извратить здесь, но я думаю, что донес суть.
Поскольку это запрос в отчете рецензента, авторы обязаны сообщить подробности, и если есть какие-то манипуляции, они могут в конечном итоге быть раскрыты.
Надеюсь, это поможет :)
Вы говорите, что у вас нет математической причины для подозрений. Но есть какая-то причина. Вы должны как можно лучше сформулировать это как причину в своем отчете.
Более того, я считаю вполне разумным запросить код и данные для воспроизведения результатов. Вероятно, у журнала есть политика в отношении воспроизводимых исследований, и вы могли бы сослаться на нее.
Если есть какие-либо «стандартные» или широко используемые тестовые задачи для этого приложения, было бы разумно предложить их использовать (и дать ссылку на определения задач и другие документы, сообщающие о результатах, в ваших комментариях). Выборочный бенчмаркинг вряд ли является новым методом продаж и маркетинга, хотя можно надеяться, что академическая статья представит сбалансированную точку зрения.
Даже если вы можете позволить себе время и усилия, чтобы получить код и воспроизвести результаты, вы можете закончить дебаты «мои тестовые задачи сложнее, чем ваши тестовые задачи», которые могут быть неуместными, если только в статье не утверждается, что их метод всегда лучше . - и это было бы смелым заявлением в любой нетривиальной ситуации. Метод, который лучше «только» в некоторых обстоятельствах, вполне может быть достоин публикации.
Я думаю, что для науки обязательно иметь открытый исходный код и открытые данные. Иначе это не наука. Использовать результаты вычислений, не заглядывая в код, — все равно, что доверять теореме, не требуя доказательства. Так что обязательно спрашивайте код.
I think that it's mandatory for science to have open source code and opendata.Не обязательно, но должно быть.Вы заявляете, что у вас нет математических оснований полагать, что их числа изменены, но в большинстве случаев это не должно останавливать вас от рассмотрения применения закона Бенфорда для оценки цифр результатов (имейте в виду, что есть несколько случаев, когда это не подходит).
Редактировать: на http://benford.jplusplus.org/ есть быстрая бесплатная программа проверки, просто введите свои цифры.
Весь смысл публикации заключается в предоставлении информации для воспроизведения исследовательской работы. Поэтому отчет должен быть написан так, чтобы сделать работу достаточно ясной, чтобы оправдать улучшения. (Я бы хотел, чтобы это было именно так, чтобы поделиться им с общественностью). Вы можете обратиться к этому и запросить дополнительную информацию, чтобы ускорить процесс проверки, это может быть способ сделать код или сгенерировать/собрать данные. Все, что необходимо для его воспроизведения. очевидно, поделиться им гораздо проще, но тогда его следует прикрепить к газете или разместить в открытом доступе для читателей. рецензент и читатели должны быть на одной почве.
САХ
Врзлпрмфт