Отклонить статью, основанную на релевантном, но бессмысленном направлении исследования

Как правило, вас как рецензента спрашивают о вашем мнении о правильности статьи и ее значимости (важность, уровень интереса и т. д.). Очевидно, в этом случае вы считаете, что результаты недостаточно значимы или интересны для публикации в этом журнале, поэтому вы должны указать это в своем обзоре. Если возможно, вы должны объяснить, почему вы так думаете: авторы не дают убедительных приложений, результаты являются лишь незначительным улучшением того, что известно, и т. д.

Это не повод отклонять отзыв. Думать, что газета неинтересна, не является «предубеждением».

Если редакция не согласна с вашей оценкой, она вправе ее не учитывать и все равно опубликовать статью. Но вы обязаны высказать свое честное мнение.

На самом деле, я бы посоветовал вам оценить интерес статьи, прежде чем вы начнете тщательно проверять ее правильность. Если вы считаете, что это недостаточно важно для публикации, даже если оно правильное, вы можете сообщить об этом редакторам и сэкономить время.

Есть некоторые исключения, когда редакторов может интересовать только то, считаете ли вы статью верной. Возможно, они уже убеждены, что это достаточно важно (по их собственному мнению или мнению других рецензентов), или, возможно, «важность» не является критерием для публикации в этом журнале (например, PLOS One). Если это так, то это должно быть четко указано в приглашении к проверке; в противном случае учитывайте важность статьи как части вашего обзора.

Вкратце: пусть газета попытается убедить вас, что это не бессмысленно; если это не так, вы можете судить его строго.

Ссылаясь на ваши три варианта:

Отклоните отзыв, потому что вы предубеждены и не можете дать объективный отзыв.

Вы не предвзято относитесь к конкретной статье или конкретному автору, у вас есть мнение относительно значимости таких статей. Но убедитесь, что вы не оцениваете конкретную статью заранее, потому что вам не нравятся существующие, которые находятся где-то между теорией и практикой.

Ну, бумага правильная, не так ли? Судите исключительно по содержанию.

Вы «портите» этот ответ, добавляя неуместный риторический вопрос. Мы говорим об уместности и значимости, а не о правильности. Всегда судите по содержанию; но - содержание должно включать аргумент значимости и релевантности, если они не очевидны сразу. Для этого важен контекст.

Редактор спросил ваше мнение, и вы считаете, что газету не следует публиковать. Скажите так: «Это правильно, но это направление исследований бессмысленно. Да, я знаю, что в этом направлении сотни статей, но это не мое дело, и я сейчас рецензирую эту статью».

Не говорите так, пока не прочтете газету и не убедитесь в обратном. Кроме того, опять же, «правильность» не является проблемой.

Суть резюмируется в tl;dr выше.

PS - В статье может быть очень интересный метод доказательства не очень полезного результата, и это может быть независимой причиной для принятия.

Я бы выбрал и выбрал вариант 3. Однако я формулирую его по-другому. Излагайте свою точку зрения, используя нейтральные термины, чтобы основное внимание было сосредоточено на ваших аргументах, а не на вашей оценке. Это полезно для редактора, независимо от того, согласен он(а) с вашими пунктами или нет. Профессиональные разногласия не являются причиной для внесения в черный список.

По вашим оценкам, около половины статей в одном из ведущих журналов попадают в этот класс «бессмысленных» статей. Честно говоря, для меня это говорит о том, что ваше мнение о том, что «бессмысленно», настолько далеко не соответствует тому, что думает сообщество в целом, что вам не следует давать рекомендации относительно статей на эту тему.

Как редактор, вариант 3 — это именно то, что я хотел бы, чтобы вы выразили. Как редактор и как член сообщества, я согласен с тем, что мы публикуем много статей, которые действительно либо (i) бесполезны, либо, по крайней мере, (ii) довольно плохо мотивируют, почему это должно кого-то волновать.

Таким образом, чтобы задать вопрос «Почему это должно кого-то волновать?» действительно одна из самых важных работ рецензента. Если вы считаете, что нас это должно волновать, вы можете проверить техническую правильность, но я полностью согласен с тем, что бессмысленная статья, технически правильная или нет, не должна публиковаться. В обязанности редактора также входит спрашивать рецензентов по этому вопросу.

(Я добавлю, что мне трудно понять, в чем суть многих статей, которые я нахожу. Но я также узнал, что не все статьи особенно хорошо объясняют, в чем суть, и что это не эквивалентно Это особенно верно для многих статей по чистой математике, которые практически не содержат введения, помещающего результат в контекст. Это не означает, что нет контекста, в котором результат не имеет значения — это просто означает, что нужно быть экспертом в этой области, чтобы увидеть это Я подозреваю, что многие статьи по прикладной математике и другим областям попадают в ту же категорию: вы поймете, когда будете достаточно знать о проблеме, чего большинство из нас не знает. конечно, это не отменяет того факта, что есть много работ, действительно бесполезных .)

Это правильно, но это направление исследований бессмысленно.

Теория чисел. Я согласен, что то, как вы описали это, звучит как действительно незначительные результаты. Но, с другой стороны, я считаю, что второстепенные результаты почти всегда были ступеньками в математике. И если вы думаете, что «направление исследований» само по себе бессмысленно, я не могу не думать о теории чисел. До криптографии считался бессмысленным с игрушечными проблемами.

Итак, я говорю, что вы не можете на самом деле судить, всегда ли направление исследований будет оставаться бессмысленным, или же игрушечные проблемы станут интересными проблемами в будущем, потому что мы не можем знать будущее.

Я задавал очень похожий вопрос здесь:

Что хорошего в инженерных исследованиях, не имеющих практического значения?

Однако большинство ответивших отчитали меня за то, что я не увидел полезности «бесцельного исследования» (по вашим словам). Если бы только эти ответчики видели документы, которые я видел!! Я слишком вежлив, чтобы публиковать эти исследовательские работы здесь, но когда вы используете генетический алгоритм для распределения удобрений (в 2017 году, когда существуют чрезвычайно надежные методы оптимизации), вы можете делать что-то не так. Когда вы заново открываете для себя марковский процесс принятия решений, вы делаете что-то не так. Когда вы моделируете покупательское поведение реальных людей как динамическую систему (с нулевой стохастичностью) и предлагаете функцию Ляпунова для «демонстрации конвергенции», вы делаете что-то не так. Речь идет не о математике, а о предположениях и практической значимости.

Лучшее, что мы можем сделать для проведения хороших исследований, защищаясь от собственных предубеждений, — это подчеркнуть и подвергнуть сомнению (и неоднократно) практическую значимость этих «бессмысленных исследований».

Мы не должны бояться спрашивать что-то вроде: «Как вы можете расширить свои результаты? Как это можно реализовать? Какие преимущества это дает по сравнению с, казалось бы, лучшими и более широко используемыми альтернативами? Почему применение вашей статьи так ограничено? Можно ли как-то использовать предложенный вами алгоритм для решения не игрушечной задачи?

или

«Почему это должно кого-то волновать?»

Только так мы можем конкурировать с исследованиями в промышленности и сохранить престиж звания «академик», если не качество исследований в конкретном университете или даже в целой стране.

Известно, что некоторые страны проводят огромное количество бессмысленных исследований, и я думаю, что это очень сильно повредило репутации исследователей из этих стран.

На ваш вопрос, если вы обнаружите, что приложение слишком специфично или что алгоритм слишком ограничен, я бы порекомендовал вам не сдерживаться при принятии решения, нажимать кнопку отказа или нет. Но обязательно сначала обсудите это с несколькими коллегами, так как консенсус должен быть быстро достигнут, если рассматриваемый документ действительно бесполезен.

Это единственный способ, которым академия может вводить новшества. Я видел, как люди делали то же самое, что и 20 лет назад, только с небольшими изменениями в настройке, так что алгоритм выглядел немного иначе, чем когда он был впервые предложен более 20 лет назад. Настало время серьезных перемен.

Когда я прочитал ваш вопрос и дошел до пассажа "страницы и страницы уравнений, увенчанные... или Критерий устойчивости по Ляпунову", моя реакция была такой, что если это точное описание статьи, то вы должны точно сказать в редакцию что.

Я признаю здесь свою предвзятость: однажды рецензент отклонил мою статью как «решение в поисках проблемы» (по сути, то же самое, что и «это бессмысленно»), когда:

1. Этот документ был неотъемлемым компонентом более крупного проекта.
2. Эта статья была процитирована 33 раза, и это намного выше моего личного индекса Хирша.

Так что я немного скептически отношусь к способности людей оценивать то, что полезно.

Лично я, как правило, рассматриваю документы, исходя из их технических достоинств: чтобы я что-то отверг, это должно быть сделано плохо, совершенно неправильно, «Здесь написано не то, что вы думаете» и т. д., а не просто «Я не мне это нравится». Однако я могу оставить авторам комментарий о том, что результаты нуждаются в более жесткой привязке к какому-либо практическому результату (я работаю в области, где практические результаты имеют значение, и фраза «интересна сама по себе» редко принимается).

В комментариях к разделу редактора я хотел бы отметить, что я не думаю, что статья окажет большое влияние, и является одним из многих примеров того, как область проваливается в бесполезную кроличью нору. Но я бы предоставил их редакционным суждениям определить, считают ли они это основанием для того, чтобы что-то не принимать.

Назначение рецензента предлагается в контексте того, что вы знаете, что приемлемо и уместно для этого журнала. Если кто-то считает, что половина того, что опубликовано в этом журнале, не подходит из-за области, в которой находится работа, то такой человек не является подходящим рецензентом в этой области для этого журнала. ОП должен отказаться рассматривать такие документы.

Я хотел бы предложить немного противоположный ответ, возможно, спорный, но подумайте.

Вы имеете полное право на оценку рукописи; в конце концов, с вами бы не связались, если бы у вас не было соответствующих учетных данных. Вы также правы, говоря, что это ваша работа, а не другие подобные бумаги. Я призываю вас сделать еще один шаг и подумать о последствиях вашего решения.

Как ответственный академик , может быть полезно подумать, может ли решение об «отклонении» изменить количество публикуемых статей об «изменении параметров». Маловероятно — редактор, скорее всего, отнесется к этому как к единичному случаю. Это, безусловно, повышает один голос, но если, как вы говорите, 50% опубликованных статей одинаковы, этот голос будет заглушен.

Теперь рассмотрим влияние на автора (авторов) — они видели много похожих статей, опубликованных в одном и том же журнале. Возможно даже, что именно по этой причине они выбрали этот журнал. Им это показалось бы несправедливым и предвзятым решением. Это не способствует их моральному духу, а для молодого исследователя может быть демотивирующим. Немного несправедливо, что их выделяют. (Да, процесс рецензирования является вероятностным, и неравенства неизбежны, но, возможно, мы могли бы внести свою лепту, чтобы уменьшить их, когда сможем.) но бессмысленно) и воспринимайте их в правильном духе. Статья, вероятно, будет подвергнута небольшим изменениям и отправлена ​​в аналогичный журнал, где она вполне может быть опубликована. Вы, как рецензент, мало шансов изменить исследовательские тенденции автора по отдельности. В конце концов, вы получите удовлетворение от того, что изложили свою точку зрения (очень важную в науке!), но помимо этого, кому или чему она служила?

На мой взгляд, альтернативой может быть либо пересмотр этой статьи (тщательно) на основе ее актуальности и правильности (оставляя релевантность в стороне), либо отказ от рецензирования. Конечно, интересность статьи должна учитываться при регулярном обзоре, но, учитывая ваше сильное отношение к этому журналу/типу статьи, это не совсем обычный обзор. Я повторяю - я не считаю, что каждый обзор должен делаться так, это особый случай.

Если вы серьезно возражаете против типа публикуемых статей, вместо этого вам следует использовать свое академическое положение, чтобы написать в редакционную коллегию, поднять этот вопрос на конференциях или выступить на общественных форумах. По крайней мере, разговор выйдет за рамки вас, одного редактора и одного автора. Вы можете обнаружить, что многие другие согласны с вами, и это может стать шагом к тому, чтобы внести действительно значимый вклад. Даже если это не произойдет сразу/видимо, вы будете знать, что атаковали первопричину, а не симптом.

Это большой вопрос. Я был на «другом конце» ситуации - я представил свою статью, которая «могла бы» решить проблему реального мира, но в статье была только симуляция игрушечной / надуманной проблемы.

Постановка проблемы : выполнение всех регрессионных тестов может занять очень много времени для команды/организации/компании. Если бы мы могли планировать тесты с точки зрения теории игр , рассматривая тестируемость как соревнование между тестировщиками и разработчиками, мы могли бы получить превосходное планирование по сравнению с «любой» схемой расстановки приоритетов, которую можно было бы придумать.

Это действительно очень сложно сделать на реальной системе с реальными людьми с реальными тестами. На самом деле у нас даже нет данных об «успехе» тестов, даже если мы используем программное обеспечение с открытым исходным кодом (т.е. какие тесты были наиболее успешными в выявлении проблем/ошибок).

Лучшее , что мы могли бы сделать в этой ситуации, это абстрагироваться от всего, что касается «реального мира», и сосредоточиться только на имеющемся алгоритме . Мы попытались смоделировать все известные алгоритмы расстановки приоритетов аналогичным образом, чтобы симуляция могла дать нам некоторое представление об их эффективности.

Мы получили комментарии к строкам, которые вы предлагаете:

...Меня (рецензента) устраивает любое направление исследований, но это настолько надумано, что авторы воображают эту проблему в своей голове, когда ее нет. Никаких доказательств конкуренции между тестировщиками и разработчиками в реальности нет, и это даже не применимо в дикой природе.

Это застало нас врасплох - видимо, рецензент(ы) больше сосредоточился на "формулировке" проблемы, чем на том, что мы предлагали. Предпосылкой нашей статьи было предложить лучший способ расстановки приоритетов и планирования регрессионных тестов, чтобы оптимизировать вероятность обнаружения ошибок путем рандомизации тестов по теоретико-игровым моделям. То есть, если мы можем запустить только 10% тестов, которые будут выполняться (случайно), это максимизирует наши шансы найти ошибки с некоторым уровнем достоверности X%.

Я пытаюсь сказать, что было бы очень хорошо, если бы некоторые из рецензентов просто сделали шаг назад и оценили статью с точки зрения проблемы, а не со всего остального. Некоторые рецензенты сочли это бессмысленным — мы подумали, что это отличный новый POV, которого раньше никогда не было, и поэтому мы написали статью, чтобы изложить эту идею. Немногим нашлось немало людей, которым понравилась идея, но многие просто не поняли ее (или поддались предрассудкам).

Поэтому я настоятельно призываю вас посмотреть, как решается реальная проблема — интересная ли это проблема? Можно ли решить ее каким-то другим способом? Чем лучше "их" способ? Можете ли вы, рецензент, хотя бы представить себе возможное применение? Бумага называет это? Каковы достоинства такого подхода?

Если статья соответствует поставленному выше вопросу, то она может быть кандидатом на принятие, а не бессмысленным направлением исследования. Обратите внимание, что люди, пишущие статью, более глубоко погружены в проблему и имеют некоторое представление о ее применимости (или вообще не имеют, и рецензент должен помочь с этим).