Могу ли я ссылаться на результат набора данных без какой-либо исследовательской работы этого автора как на современный уровень техники?

  1. Наилучший результат в заданном наборе данных не имеет следов в виде исследовательской работы или какого-либо анализа.

  2. Мы понятия не имеем, чьи это были результаты и какой метод был создан.

  3. Был проведен какой-то конкурс, участники выкладывали свои итоговые файлы в лидерборд.

  4. Когда соревнование закончилось, лучший участник не вышел вперед, чтобы поделиться своими методами.

  5. Организаторы написали обзорную статью, в которой упомянули этот неизвестный результат, но упомянули, что понятия не имеют, кто авторы, вероятно, в надежде, что они напишут статью в будущем.

  6. После конкурса этот участник так и не написал ни одной работы. Единственная доступная информация - это опросный лист организаторов с результатом в виде числа и ничего больше.

Можно ли на это ссылаться как на современный результат, или нужно выбрать лучшую запись, которая имеет статью в качестве доказательства ее автора?

Ответы (2)

Да. Вы можете сослаться на опросный лист в качестве доказательства в поддержку своего утверждения.

Но разве искусство не должно быть в форме исследовательской работы, где мы можем сравнить себя с этим методом? Как будто мы понятия не имеем об авторе или вообще каком-либо коде. Единственное существование - фиктивное имя и результат, который можно обмануть? Результат немного подозрительный.
Если вы думаете, что они обманули, вы должны были указать это в вопросе. Мой ответ предполагает, что конкурс был разработан для предотвращения мошенничества. Истина — это то, что имеет значение; то, что было опубликовано, имеет значение только в том случае, если оно дополняет эту истину.
Я перефразирую свой вопрос. Могу ли я использовать 2-й лучший результат с надлежащей исследовательской работой в качестве SOTA в своем письме, и могу ли я утверждать это, поскольку лучший результат не имеет доказательств в виде какой-либо исследовательской работы или кода, поэтому я могу пренебречь этим, поскольку я не найти много доказательств того, что они находятся на вершине?
Но у вас есть доказательства, что они наверху. Сразу скажем, что их методы не разглашаются.

Был ли рейтинг соревнований основан на слепом наборе тестов?

  • Если нет, то ни один из результатов конкурса не является очень веским доказательством.

  • Если да, то, если не имело место грубое нарушение правил*, ослепление конкурентами является убедительным доказательством в пользу лучшего результата в рейтинге.

Таким образом, приведите лучший результат с публикацией о конкурсе. Если вам неудобно, вы также можете привести, например, 3 лучших результата, известных на данный момент.


* Например, «лучший» результат был получен при неправильном знании эталонных меток тестового набора. Это, вероятно, снова поставит под сомнение конкурс надежности и, в свою очередь, его публикацию.
Я смотрю на соревнование как на что-то вроде ринга/круговой системы. Полученные доказательства в решающей степени зависят от доверия к организатору.