Это общий вопрос, навеянный интересным вопросом , когда исследователь исследовал эффективность продукта, произведенного компанией, и сделал неблагоприятные выводы относительно продукта. В этом вопросе компания узнала об исследовании до публикации, и некоторые из ее сотрудников стремились внести свой вклад в исследование (например, запросив данные, запросив документ перед публикацией), а исследователь хотел знать, как действовать. с этим.
Есть некоторые очевидные опасности, которые возникают, когда персонал такой компании пытается внести свой вклад в исследовательский процесс для независимого обзора одного из продуктов компании, поскольку это потенциально может нарушить независимость исследования. Однако есть и ряд потенциальных преимуществ: (1) персонал компании может поделиться экспертными знаниями по предмету, возможно, предоставить полезную информацию, интерпретацию, критику или данные; (2) исследователи потенциально получают выгоду от критических отзывов о своей работе (от потенциально враждебно настроенного рецензента) до публикации, что позволяет им усилить работу с исправлениями; и (3) процесс проверки потенциально мог бы избежать --- или уменьшить объем --- возможных ложных результатов исследования и связанных с ними судебных исков. Ввиду возможных преимуществ такого рода обзора,
Должны ли исследователи или редакторы академических журналов когда-либо запрашивать реферальные отчеты (или более неформальные отзывы) от сотрудников компаний, на которых негативно повлияло внешнее исследование их продуктов/услуг/и т. д., до публикации результатов? Если да, то при каких обстоятельствах это будет уместно?
Если такие отчеты рецензентов запрашиваются (и предоставляются) в рамках формального процесса рецензирования, как должен относиться к ним редактор? Должны ли они рассматриваться так же, как и любые другие отчеты рефери, или редактор должен воспринимать их «с долей скептицизма»?
Если такие отчеты рецензентов запрашиваются (и предоставляются) либо в ходе формального рецензирования, либо в неформальном общении с исследователями, что, если какое-либо раскрытие этого должно быть сделано в статье? Должен ли отчет рассматриваться как любой другой отчет рецензента и оставаться анонимным, или читатель должен знать о любых изменениях, внесенных в документ в ответ на рецензирование компанией?
Существует ли какая-либо четкая текущая практика для этого в университетах или академических журналах? Были ли случаи, которые вызвали споры или проблемы с неправомерным поведением? Есть ли «лучшая практика» в этом вопросе?
Это все просто полное нет-нет (т.е. отчеты не должны запрашиваться у заинтересованных компаний)?
Во-первых, компании не рецензируют документы. Люди рецензируют их, и как редактор вы должны убедиться, что знаете, кто на самом деле написал рецензию.
Во-вторых, общее правило таково: людей, у которых есть конфликт интересов, вообще следует избегать, и если вам нужно выбрать их (например, потому что в области просто недостаточно других людей, которые не конфликтуют), они должны чтобы раскрыть конфликт интересов, и когда вы принимаете решение о статье на основании противоречивого рецензента, вам необходимо принять во внимание конфликт.
Для этого конкретного случая:
Если это возможно, то как редактор я бы постарался не использовать рецензента из компании просто потому, что у него есть реальный или предполагаемый конфликт интересов. (Обратите внимание, что предполагаемая КИ так же плоха, как и реальная КИ.)
Если невозможно избежать использования кого-либо из этой компании или если вы хотите узнать мнение инсайдера, вы можете сделать это, но при принятии решения вы должны учитывать, какое значение вы хотите придать этому отзыву. Также представляется уместным указать в ответе авторам, что рецензент №4 работает в компании X (не раскрывая личности этого человека), и что вы учли этот факт при принятии решения. Лично, если бы мне пришлось это сделать, я бы, вероятно, написал длинное описание того, какие из пунктов рецензента № 4 я считаю обоснованными, а какие, по моему мнению, испорчены воспринимаемыми COI и, следовательно, могут быть проигнорированы. авторами (но, конечно, все еще могут быть рассмотрены, если они того пожелают). Я бы также изложил такую процедуру, когда спрашивал человека из компании X,
В конце концов, цель состоит в том, чтобы убедиться, что вы получите хорошие отзывы о работе, и иметь (задокументированную) процедуру, гарантирующую беспристрастность.
Это напоминает мне статью об AlphaZero . AlphaZero — это игровой ИИ от DeepMind, который научился играть в шахматы. Естественно, DeepMind сравнил AlphaZero со Stockfish, сильнейшим традиционным шахматным движком того времени. Однако их неопытность со Stockfish проявилась, и у их тестов были серьезные проблемы. Когда они опубликовали свой препринт, разработчик Stockfish написал:
Результаты матчей сами по себе не имеют особого значения из-за довольно странного выбора контроля времени и настроек параметров Stockfish: Партии игрались в фиксированное время 1 минута на ход, что означает, что Stockfish не использует свою эвристику тайм-менеджмента ( было приложено много усилий, чтобы заставить Stockfish определять критические точки в игре и решать, когда тратить дополнительное время на ход; при фиксированном времени на ход сила значительно пострадает). Используемой версии Stockfish исполнился один год, она работала с гораздо большим количеством поисковых потоков, чем когда-либо подвергалось сколько-нибудь значительному тестированию, и имела слишком маленькие хеш-таблицы для такого количества потоков.
К чести DeepMind, они исправили все эти недостатки в окончательной опубликованной статье.
Так что да, я бы сделал это. Другие части их обзора могут быть менее надежными (я, конечно, внимательно изучил бы их), но этот человек будет большим экспертом в том, правильно ли используется продукт компании.
Предупреждение: человек/компания могут быть более заинтересованы в принятии мер на основе неопубликованных результатов. Например, они могут попытаться улучшить свой продукт, используя методологию статьи, прежде чем она будет опубликована. Я не думаю, что есть хорошее решение для этого, потому что это может произойти независимо от того, кто является рецензентом; Поэтому я бы сделал это в любом случае.