Должен ли я предоставлять код вместе с подачей бумаги?

Я представляю доклад на конференцию по машинному обучению/компьютерному зрению. Стоит ли включать исходный код моей реализации, чтобы рецензенты могли сами протестировать его или лучше понять мою идею? Потребуется время, чтобы очистить мой код и убедиться, что он анонимный.

Это обычная практика? Если да, обращают ли рецензенты внимание на код?

Стоит ли тратить время на подготовку анонимного и чистого кода?

Код будет включен в виде ZIP-архива через веб-сайт подачи документов. После того, как статья будет принята, я намерен выпустить ее с лицензией с открытым исходным кодом.

Не могли бы вы уточнить, должен ли исходный код быть в представленном документе/pdf или это ссылка на репозиторий, где он хранится, например, на github?
@user389823 user389823 Он должен быть добавлен в ZIP-архив на веб-сайте подачи статей.
связанный, но не обман academia.stackexchange.com/questions/10629/…
Что вы подразумеваете под анонимностью? Вы анонимизируете себя (и других авторов кода) или субъектов исследования?
@DavidRobinson Бывший.

Ответы (4)

Должен ли я предоставлять код в качестве дополнительного материала?

Да, но было бы лучше, если бы вы опубликовали его в открытом доступе.

Это обычная практика?

Нет.

Если да, обращают ли рецензенты внимание на код?

Зависит от рецензентов.

Стоит ли тратить время на подготовку анонимного и чистого кода?

Это зависит от того, не делайте больше, чем необходимо.

Также читайте:

Я планирую выпустить его под лицензией с открытым исходным кодом, как только статью где-нибудь примут.
@StephenTierney Возможно, я неправильно понял вопрос. В этом случае я предлагаю защитить вашу работу, опубликовав ее. В некоторых регионах принято отправлять статью на arxiv.org или в подобные репозитории перед тем, как отправить ее на рецензирование, я не знаю, насколько надежными могут быть рецензенты в вашем конкретном случае. ИМХО дизайн всего процесса рецензирования-публикации неверен, но это другой вопрос.
@StephenTierney, почему бы вам просто не опубликовать исходный код прямо сейчас , скажем, на Github.com, под лицензией с открытым исходным кодом? Вы защитите его перед отправкой, и он ускользнет от соглашений о передаче авторских прав.

Сделать код доступным — это всегда хорошая идея, если он работает. Вероятно, это хорошая идея, даже если это не так, поскольку даже неработающий код может помочь рецензентам и пользователям/читателям вашей работы понять детали вашей реализации, которые не рассматриваются в вашей статье. Однако, если код не работает, вы должны четко указать это в исходнике. В случае работающего и протестированного кода имейте в виду, что крайне желательно наличие достаточной документации для запуска кода. Вы упоминаете только рецензентов, но вы также должны думать и об обычных читателях вашей статьи.

Я думаю, что, вероятно, разумно предоставить текущую копию кода на бумаге в виде zip-архива (или аналогичного) для целей проверки, но почему бы просто не разместить его в Интернете непосредственно в виде репозитория Git или Mercurial на Bitbucket, Github или аналогичный , и сослаться на это на бумаге? Я также рекомендую сделать репозитории доступными более чем в одном месте в интересах избыточности. Например, я использовал Bitbucket и Google Code для своих репозиториев Mercurial. Это имеет различные преимущества по сравнению с файлом zip-архива; во-первых, вы можете отправить исправления и другие изменения в свой репозиторий, и все сразу же получат к ним доступ.

Если вы беспокоитесь о том, чтобы опубликовать свой код до того, как ваша статья будет опубликована, это может означать, что кто-то другой «зачерпнет» вас, что мне кажется маловероятным. По крайней мере, меня это никогда не беспокоило.

Меня интересует только то влияние, которое предоставление кода оказывает на процесс проверки. Я не могу предоставить код на внешнем веб-сайте, так как это может поставить под угрозу анонимность в процессе проверки.
@StephenTierney Я понимаю твою точку зрения. Однако вы, кажется, имеете в виду ситуацию, когда рецензенты не знают личность автора. Однако у меня сложилось впечатление, что на практике это происходит редко, потому что такое ограничение трудно обеспечить. Например, как поступить в случае, когда автор ссылается на свои предыдущие работы в библиографии?
Когда вы ссылаетесь на свою предыдущую работу, вы говорите «Тирни и др. предложили», а не «Мы ранее предлагали».
Верно, но если рассматриваемая статья зависит от более ранних публикаций автора, и эти более ранние публикации находятся в библиографии и не анонимизированы, то часто текущее авторство вполне ясно, хотя бы из соображений стиля/содержания. Впрочем, достаточно сказано.

Абсолютно да.

Если вы не выпускаете код, то ваша работа де-факто не воспроизводима; и если вы примете меня в качестве рецензента, я сделаю все, что в моих силах, чтобы либо заставить вас опубликовать код, либо получить отказ. Редкие исключения наоборот, когда реализация тривиальна. Но реализации редко бывают тривиальными; и часто отличное место, чтобы замести под ковер множество причуд, о которых удобно не упоминать в газете.

Конечно, нетрудно обойтись без кода; журналы особенно слабо относятся к обеспечению соблюдения или даже принятию стандартов, даже несмотря на то, что большинство людей в этой области будут осуждать отсутствие воспроизводимости опубликованных работ. Но никто не будет обижаться на вас и за предоставление кода. Написание кода, который вы действительно чувствуете себя комфортно, чтобы выпустить его в открытый доступ, конечно, требует работы. Время, которое вы могли бы потратить на другие дела. Если вам неудобно заархивировать свой код и предоставить его прямо сейчас, это, вероятно, хороший признак того, что какие-либо статьи, написанные об этом коде, еще не готовы к публикации.

К сожалению, здесь существует противоречие между тем, что правильно с научной точки зрения, и тем, что правильно для вашей карьеры. Но что касается меня как рецензента; нет кода == нет публикации.

Нравится, нравится все в нем! Хотя я бы все же сказал, что отвратительный код все еще может иметь огромное влияние. Так что, если это чистый код против ужасного кода .... тогда да, очистите код. Если это отвратительный код по сравнению с sans-кодом, не вопрос, все равно публиковать код.

Это во многом зависит от рецензентов и полевых обычаев. Некоторые рецензенты, особенно в журналах, могут запросить исходный код. Однако маловероятно, что на конференциях по компьютерным наукам рецензенты просят исходный код специально, когда статья хорошо написана.