Требовать код и/или данные как условие экспертной оценки?

Социологи все еще относительно редко делятся данными или кодом в рамках процесса рецензирования. Я чувствую, что эта практика противоречит понятиям повторяемости и воспроизводимости, и хочу выразить несогласие со случаями, когда рукописи представляются без данных и кода.

Где, однако, такая оппозиция надлежащим образом выражается?

Меня особенно интересует, уместно ли отказываться от рецензирования статьи при отсутствии кода или данных.

ОБНОВЛЯТЬ

Я собираюсь наблюдать за этим в течение нескольких дней, чтобы увидеть, какие поверхности. К вашему сведению, я отправил это сообщение Эндрю Гельману ( http://andrewgelman.com/2015/09/14/its-not-so-easy-to-share-data-and-code-and-there-are-lots- бюрократов, которые тратят свое время на то, чтобы еще больше усложнить задачу/ ) для тех, кто заинтересован в том, чтобы увидеть его реакцию и реакцию его последователей...

Какова редакционная политика издания в этом отношении? Что говорит редактор? Если вы не состоите в редколлегии, у вас нет права голоса, кроме как прекратить покупать/читать эту публикацию. Вы могли бы попробовать написать письмо в редакцию, но....
@keshlam: Если вы рецензент, вы, безусловно, имеете право отказаться от рецензирования статьи, если считаете, что у вас недостаточно информации для ее правильной оценки. Неважно, какова политика журнала.
Вы всегда можете отказаться от рецензирования или отклонить... но это может просто означать, что они найдут другого рецензента, если они не согласны с вами.
@NateEldredge Редакционная политика обычно указывает, что она считает хорошим способом представления данных, какие детали следует включать и т. д. Если рецензент полностью игнорирует эту политику, он довольно неэтичен и непрофессионален. Работа рецензента заключается в оценке достоинств рукописи НА ОСНОВЕ РЕДАКЦИОННЫХ РУКОВОДСТВ. Если ему не нравятся эти рекомендации, он может смело отклонить приглашение на рецензирование журнала, который он явно считает некачественным.
@keshlam, вы можете порекомендовать отказ из-за отсутствия доказательств или поддержки (конечно, редактор может вас проигнорировать).

Ответы (3)

Я бы посоветовал сначала потратить немного времени на то, чтобы подумать о том, почему вы хотите видеть совместное использование кода и данных, и каким кодом и данными вы хотели бы поделиться. Является ли она более идеологической по своей природе («информация хочет быть свободной») или в основе ее лежит вера в научную этику и эффективность?

Я почти уверен, что вы на самом деле не хотите, чтобы все данные и код были общими. Например, вы, вероятно, не хотите, чтобы идентифицирующая информация о субъектах была раскрыта. Точно так же вы, вероятно, не слишком заботитесь о небольших фрагментах служебного кода, которые не имеют ничего общего с наукой. Где вы проводите свои границы и почему?

Причина, по которой я бы предложил это сделать, заключается в том, что тогда вы как рецензент сможете убедительно аргументировать включение кода и/или данных по объективным причинам, с которыми редактор и автор, скорее всего, согласятся. даже если их личные предпочтения различны. Я не думаю, что вы добьетесь большого эффекта, отказавшись от рецензирования (если только вы не заставите многих коллег оказать давление вместе с вами), но я думаю, что вы можете добиться гораздо большего, отказавшись принять плохо обоснованные выводы в отсутствие информации о результатах и ​​методах, подтверждающих их.

Я бы также предположил, что требование какой-либо поддержки для указанного кода в худшем случае немедленно лишит слепого процесса рецензирования, а в лучшем случае превратит журнал в систему маршрутизации технической поддержки и значительно замедлит работу.
@Fomite Возможно, моя формулировка была неясной: я имел в виду «поддержку» не как «техподдержку», а как «доказательства, подтверждающие вывод».
Похоже, я был неясен - я добавлял причину. Например, где вы проводите границы, также включает «Должно ли это работать без каких-либо переговоров с авторами кода?» и т. д.

Стратегически вы могли бы подумать, что окажете гораздо большее влияние, если станете редактором журнала. Таким образом, вы будете участвовать в установлении редакционной политики и, что более важно, в ее соблюдении. Отказ от рецензирования статей не поможет вам стать редактором.

Это предполагает, что вы настолько заботитесь об этом вопросе, что хотите потратить время и усилия, связанные с работой редактором журнала. Но причин для того, чтобы стать редактором, больше, чем только этот выпуск, так что я бы, по крайней мере, рассмотрел его.

Это очень специфичный для Великобритании ответ.

Британские исследовательские советы придерживаются принципов открытых данных и политики открытого доступа . В самом последнем разъяснении это также относится к программному обеспечению . По сути, исследования, финансируемые RCUK, должны иметь данные и программное обеспечение, необходимые для воспроизводимости, до публикации.

Мой подход к этому заключается в том, что

  • при рассмотрении заявок на гранты в Великобритании я всегда проверяю, чтобы в гранте прямо упоминалось, что они следуют этим политикам, и если они явно не говорят, как , я поднимаю это как вопрос;
  • рецензируя документы, в которых упоминается поддержка грантов RCUK, я всегда спрашиваю, не могу ли я найти программное обеспечение/данные, которые позволяют им следовать этим политикам.

В обоих случаях я ожидаю, что влияние будет сильно зависеть от предпочтений панели/редактора (я не думаю, что еще многое видел).

Требовать код и/или данные как условие экспертной оценки?
СпросиСетьПолитика конфиденциальности1y, 0v