Незрелые статьи на arXiv

Я из компьютерных наук, и мы обычно отправляем на конференции и реже в журналы. Публикация препринтов в arXiv становится все более популярной в моей области. Из обсуждения здесь, на AS, у меня сложилось впечатление, что arXiv — это больше, чем просто размещение чего-то на личном веб-сайте.

Например, из статьи Что делать, если вы заметили статью на arXiv с тем же важным материалом, что и ваша? Я понимаю, что должен обсуждать документы arXiv, если они связаны с вашей работой.

Теперь статья для конференции CS часто содержит около 75% теории + 25% экспериментального раздела. Экспериментальный раздел занимает много времени, поэтому я задаюсь вопросом (и опасаюсь), есть ли тенденция загружать в arXiv только самый минимум, чтобы получить признание за идею.

Это проблема? Может быть, как патентные тролли, просто загружающие смутные идеи в надежде получить цитаты?

Редактировать : для уточнения: я работаю в области интеллектуального анализа данных, где обычно проводятся эксперименты, чтобы показать, что ваша идея работает не только в теории. Этот вопрос/проблема возник, когда мы обсуждали плюсы и минусы загрузки нашей работы в arXiv, поскольку мы никогда не делали этого раньше, но, похоже, это становится более распространенным в нашей области.

Редактировать 2 : кажется, что больше людей обеспокоены этой проблемой, особенно в машинном обучении:

Йоав Голдберг:

Этот пост также является идеологической акцией в отношении публикации arxiv: хотя я согласен с тем, что короткие циклы публикации на arxiv могут быть лучше, чем длительный процесс рецензирования, который у нас сейчас есть, также наблюдается растущая тенденция людей, использующих arxiv для установки флагов, и чтобы обойти процесс рецензирования. Особенно это касается работ, исходящих от «сильных» групп. В настоящее время практически нет недостатков размещения вашей (часто очень предварительной, часто неполной) работы в arxiv, только потенциальные преимущества.

Йоав Голдберг:

Я не против быстро разместить статьи на arxiv. Я признаю очевидные преимущества публикации в формате arxiv и быстрого выполнения заказов. Но следует признать и его недостатки. В частности, меня беспокоит смешение науки и PR, которому способствует arxiv; эффекты «богатые становятся еще богаче» и злоупотребление властью; и некоторые из текущих публикаций arxiv в сообществе DL. Можно публиковать раньше на arxiv.

НЕ ПРАВИЛЬНО представлять в ложном свете и преувеличивать то, что вы сделали. Неряшливые статьи с широкими названиями типа «Состязательная генерация естественного языка» вредны. В этом и заключается разница между патентной системой (что в целом является разумной идеей) и патентным троллингом (что является вредным злоупотреблением).

[...]

Большинство людей не читают статьи подробно, а читают только заголовок, иногда аннотацию, а иногда и введение. А когда документы исходят от авторитетных групп, люди склонны доверять заявлениям без проверки. «Серьезные исследователи» могут и не попасться на эту удочку, но население в целом точно будет введено в заблуждение. И под населением в целом я подразумеваю людей, которые не работают активно в этой конкретной области. Сюда входят специалисты-практики в отрасли, коллеги, будущие студенты, потенциальные рецензенты статей и грантов. За то короткое время, что вышла эта статья, я уже несколько раз слышал: « О, вас интересует генерация? Вы пробовали использовать GAN? Я видел эту недавнюю статью, в которой они получают классные результаты с состязательным обучением для NLG.». Это будет чрезвычайно вредным и раздражающим для исследователей NLG, которые будут подавать заявки на гранты в следующем году (помните, что многие гранты рассматриваются группой способных, но неспециализированных экспертов), поскольку им придется либо тратить драгоценное пространство и усилия на решение с этой статьей и с Ху и др. и объясняя, почему они неуместны, или будут отклонены как работа над этой «уже решенной проблемой», несмотря на тот факт, что ни рассматриваемая статья, ни Ху и др. на самом деле не сделали очень много, и несмотря на то, что что обе газеты имеют ужасные оценки.

И последующее обсуждение на Reddit

Люди не глупы --- если вы производите много полусырых бумаг, они это замечают. Это похоже на обычные конференции/журналы, где вы можете создавать наименее публикуемые единицы, если хотите, но будете наказаны за это.
@BorisBukh - Не могли бы вы подробнее рассказать о штрафах? Как именно?
@BorisBukh Спасибо. Допустим, вы отправляете наполовину подготовленный или черновой документ (чтобы быть первым с идеей) и обновляете его позже на arXiv. Это отличается от журналов с низким рейтингом, где после отправки вы не сможете улучшить статью позже.
@TheDarkSide У вас плохая репутация, поэтому люди меньше заинтересованы в том, чтобы с вами работать или нанимать вас.
Я знаю, что это не актуальный вопрос, но эта разбивка 75% + 25% далеко не универсальна для CS. Доклады на конференциях, которые я обычно посещаю, содержат 99-100% теории. Что касается фактического вопроса, вы можете быть уверены, что тот, кто первым разработает идею и продемонстрирует ее полезность, получит не меньше признания.
@ManuelSchmidt Во-первых, если люди думают, что вы не выполнили работу, они не оценят вас. Во-вторых, большинство полусырых идей никуда не годятся — велика вероятность того, что, если вы на самом деле не сделаете работу, вы будете генерировать множество бесполезных идей. Даже если там будет одна-две дельные идеи, вас никто не воспримет всерьез.
К сожалению, люди выкладывают на Arxiv неотшлифованную бумагу, а потом заявляют, что кто-то занимается плагиатом.

Ответы (4)

Мне кажется, что этот вопрос не столько об архиве как таковом , сколько о том, как проводить исследования в очень быстро развивающейся академической области.

У меня сложилось впечатление, что arXiv — это больше, чем просто размещение чего-то на личном веб-сайте.

Это конечно другое . Основные отличия:

(i) Вашу газету увидит намного больше людей.
(ii) Ваша статья действительно будет заархивирована, практически навсегда. (Изъятие статьи из arxiv приводит к загрузке новой, пустой версии. Старые версии все еще там!) На своем собственном веб-сайте вы можете удалить что-либо так же быстро и легко, как и разместить.
(iii) Некоторые (очень неприятные) журналы могут рассматривать публикацию в arxiv как «предварительную публикацию». (Это совершенно неслыханно в моей области, математике. Я предполагаю, что CS достаточно близка к математике, так что это, по крайней мере, очень редко встречается в вашей.)
(iv) К архиву применяются минимальные стандарты полноты и профессионализма. Они перечислены на самом сайте, но суть в том, что они ищут рукописи на последнем этапе перед подачей на конференцию/журнал или позже. Они не ищут ранние проекты.

Из этих пунктов, вероятно, последний наиболее актуален для вас. Если в вашей подобласти стандартно включать 25% экспериментальных данных [вы говорите, что это стандартно для «CS», но это, конечно, не так для всей области], то статья, загруженная в архив без этого, вероятно, посмотрит на многих в вашей области быть неполным, что противоречит духу и, возможно, правилам arxiv. Так что я бы не рекомендовал его.

Но ситуация принципиально не меняется для статей, которые вы или другие размещаете на своем сайте. Фраза в вашем вопросе предполагает, что вы чувствуете, что вам, возможно, не нужно «отвечать» в академическом смысле на статьи, которые вы найдете на веб-страницах людей (только). Это не правда. Как ученый, вы должны реагировать на работу других, где бы вы ее ни нашли .

С точки зрения перспективы людей, загружающих «минимум на arXiv, чтобы получить признание за идею»: это реальная проблема для вас или просто то, что вам интересно, может быть проблемой? Я никогда не сталкивался с этой проблемой в своей работе. То, что вы задаетесь вопросом, может ли это быть проблемой, наводит меня на мысль, что вы, возможно, совсем новый исследователь и еще не полностью поняли, как работает академическое сообщество. (Что хорошо, и вам нужно только надеяться на лучшее понимание этого. Но вы должны поговорить с другими, в том числе с советниками и наставниками, чтобы попытаться получить лучшее представление.) Академия придает большое значение завершенной работе .именно по этой причине. Если вы опубликуете рукопись, которая, скажем, изменяет алгоритм и намекает, что в некоторых ситуациях он может быть быстрее, наиболее вероятная реакция, которую вы получите, будет «Давай…».

Этот вопрос, возможно, наконец-то помог мне понять, что люди на этом сайте имеют в виду, когда говорят что-то вроде «Идея ничего не стоит». Идея, конечно, не бесполезна, но расплывчатая и нереализованная идея имеет крайне неопределенную ценность, до такой степени, что спешить с публикацией «только смутной идеи» было бы очень плохой, гм, идеей.

Кстати, не обязательно сразу что-то бросать, потому что у кого-то возникла "та же идея" и выложили бумагу раньше вас. Многое — возможно, самое важное — важная академическая работа пересекается с другой работой, и еще больше она уточняет и расширяет идеи других. Как отреагировать, увидев «вашу идею» в другой статье, — тема для другого ответа.

Напоследок позвольте мне сказать: если то, что вы сделали, делаете или хотите сделать, имеет реальную ценность, то вряд ли оно будет встречено бурными аплодисментами на этой неделе и полностью проигнорировано на следующей неделе. Если вы живете в страхе, что кто-то другой скажет то, что вы хотите сказать, возможно, замедлитесь и найдите, что сказать.

Это отличный ответ, который позволяет избежать уничижительных выражений, обзывания и слишком большого количества приписывания мотивов ОП, которые могут быть или не быть. +1

Если есть тенденция загружать в arXiv только самый минимум, чтобы получить признание за идею.

Нет, нет. Ни один уважаемый автор не глуп, чтобы публично выкладывать мусор (в arxiv или где-либо еще) и ставить на нем свое имя. Возможно, есть некоторые люди, которые делают то, что вы предлагаете (хотя я не могу подтвердить), но вам не о чем беспокоиться об этих посредственных или плохих публикациях.

Нет никаких доказательств того, что OP говорил о загрузке полусырых или некачественных вещей в arXiv. Я прочитал это так: «У меня есть теоретический раздел статьи, в основном готовый, но я не провел все эксперименты, необходимые для полной статьи журнала/конференции, если я загружу первую половину статьи, чтобы сделать ставку». мой иск? Другие делают это так, что я должен беспокоиться о том, что меня украдут, если я не сделаю ставку?
@БиллБарт. В некоторых дисциплинах CS (например, экспериментальных алгоритмах) загрузка идеи и фраза: «Это сработает, потому что я так сказал, без реальных экспериментов, подтверждающих это» считается мусором. Итак, а) ОП не должен делать это для своей работы или б) беспокоиться о том, что это делает кто-то другой, потому что никто не обращает внимания на такие претензии без экспериментов.
Я бы подумал, что доказательством вычислительной сложности нового алгоритма, например, будет не мусорная половина статьи, которая затем может потребовать, чтобы некоторые эксперименты вошли в полную статью. Я нигде не вижу, чтобы ОП просил нас доверять им. Я думаю, что ваш комментарий здесь слишком резок и слишком категоричен. Вы можете существенно смягчить этот ответ и одновременно заметно улучшить его.
@Bill: Я согласен с вами в том, что суть вопроса, по-видимому, заключается в следующем: «Должен ли я срезать углы в своей работе, чтобы получить ее первым и заявить о себе?» Это вопрос к ОП, который следует задать наставникам с опытом работы в своей области. Однако в качестве общего ответа я бы сказал: «Нет. Наоборот, вы должны потратить время на то, чтобы сделать свою работу как можно более сильной. Выпуск работы, о которой вы знаете, что она серьезно незавершена , имеет все риски ослабить или разрушить влияние вашей работы. и ваша собственная репутация».
Я бы подумал, что доказательством вычислительной сложности нового алгоритма, например, будет половина статьи без мусора — Конечно. Но OP специально предложил «загрузить [ing] только самый минимум в arXiv, чтобы получить признание за идею». Предложение и анализ алгоритма — это далеко не самый минимум; на самом деле, большинство моих статей не делают ничего другого.

Я задаюсь вопросом (и опасаюсь), существует ли тенденция загружать в arXiv только самый минимум, чтобы получить признание за идею.

Вы позволяете неприятным мирским подробностям гонки за академическим кредитом, престижем, деньгами и работой затмить ваше суждение об академической деятельности.

Если у кого-то есть хорошая идея, которая была достаточно развита, чтобы составить 75% статьи, но у него не было времени или ресурсов для ее эмпирической проверки - для науки лучше, чтобы этот человек опубликовал какую-то заметку / мини- статья/сообщение в блоге об идее для прочтения другими.

Затем другие заинтересованные люди могли бы сотрудничать с этим человеком, который, возможно, решил проблему, с которой они столкнулись, и теперь не должны решать сами. Или даже просто взять на себя экспериментальную работу. Это также несомненно, по большому счету, приведет к некоторым изменениям в деталях или взглядах на чисто теоретическую часть, а также к идеям для будущих исследований.

К сожалению, научная коммуникация действительно в течение некоторого времени находится в состоянии обращения с ней как с интеллектуальной собственностью, иначе известной как «опубликуй или умри». Это имеет несколько следствий, наиболее заметным из которых является то, что все это действительно в значительной степени ведет себя как патенты.

Однако, если 5 человек опубликуют примерно одну и ту же идею, не факт, что первый из них получит все кредиты и количество ссылок, которые приходят с ней. Если это станет очень, очень большим — а мало что происходит — да, их имена, вероятно, будут где-то там. Но для более приземленных вещей, таких как метрики, выигрывают те, которые лучше связаны и более заметны. Это делает зрелые исследования по-прежнему ценными, и все, что происходит на самом деле, это то, что люди пытаются сделать свои идеи более заметными, часто публикуя и публикуя много. И, пожалуй, это хорошо.

Лично я много лет был против публикации незрелых работ, пока не наткнулся на книгу Ричарда Хэмминга «Ты и твои исследования». Один из выводов заключался в том, что статьи, которые пишет человек, не являются памятниками их трудам — они могут оказаться таковыми, и можно изложить всю работу целиком, и в этом все же есть существенные преимущества... Но в конечном счете, это в основном общение. И это имеет тенденцию ускоряться. Для отливки большей части работы в камне (или, в данном случае, в бумаге) существуют книги.

Незрелые статьи на arXiv
СпросиСетьПолитика конфиденциальности1y, 0v