На пути к системе комментариев/репутации, подобной Stackexchange, для исследовательских работ

Точно так же, почему авторитетные журналы не создают пространство для комментариев к своим опубликованным статьям, где коллеги-исследователи могли бы оценить/покритиковать/запросить работы?

Им не нужно создавать такое пространство, так как эти комментарии уже могут появляться где-то в Интернете. Тем не менее, некоторые журналы пытались, но обычно они собирают очень мало комментариев , и никто не знает, как таким образом создать жизнеспособное сообщество. См. эту ссылку (и в блоге публикуются ссылки на нее) для дальнейшего обсуждения.

Что мешает нам иметь систему репутации для опубликованных статей — что-то, где зарегистрированные пользователи могли бы голосовать на основе их предполагаемой полезности?

Одним из основных препятствий является то, что недостаточно людей хотят использовать такую ​​систему. Было много попыток установить его, но ни одна из них не прижилась.

Однако есть более глубокое препятствие. Для того, чтобы вообще получить какие-либо значимые результаты, вам нужно решить как минимум три проблемы: обеспечить, чтобы голоса исходили только от компетентных исследователей, гарантировать, что никто не сможет преднамеренно манипулировать системой или обмануть, и обеспечить, чтобы избиратели имели правильные стимулы, даже если они не пытаются быть нечестным. В принципе, эти проблемы можно решить, но для этого потребуется нетривиальная инфраструктура. Однако чем сложнее становится система, тем сложнее будет привлечь большое количество пользователей. Подавляющее большинство исследователей не обратят никакого внимания на подобную систему, а некоторые из тех, кому это небезразлично, будут категорически против, так что широкое распространение будет непростой задачей.

В продолжение ответа Anonymous Mathematician я думаю, что ответ лежит в Arxiv: многие люди уже используют его, это не приносит прибыли, и даже если статья перемещается в данный журнал, главная страница статьи остается онлайн со всеми обсуждения В нем (разве что PDF заменен на ссылку). Таким образом, он может создать надежную систему голосования вверх / вниз.

Что касается репутации, все могут начать одинаково, но анализ цитирования Web of Science, например, может быть использован для получения более высокой стартовой репутации для продвижения дела.

Идя дальше, это также может заменить процесс рецензирования: статья загружается, каждый может ее прочитать, а тот, кто считает ее интересной, может затем подать заявку в качестве кандидата на рецензирование. Это позволит избежать рецензентов, которые на самом деле не понимают вашу работу (что, конечно, не редкость).

Это прыжок веры — доверять системе репутации, а не иерархии факультетов. Тем не менее, обратите внимание, что нынешняя система рецензирования уже забальзамирована таким доверием: даже старшеклассник может опубликовать статью, если рецензия на нее интересна; и наоборот, если вы публикуете хорошие статьи, вас приглашают рецензировать хорошие статьи.

В некотором смысле это смещает акцент с самих периодических изданий.

Для обновления вы можете взглянуть на, вероятно, самую крупную организованную группу, обсуждающую этот и подобные вопросы — FORCE http://www.force11.org/ — означает «Будущее исследовательской коммуникации и электронной стипендии».

В Манифесте говорится, что требуются новые модели репутации и т.д. Однако готовая к использованию система еще не разработана

Когда я отправляю рукопись, я очень ценю работу рецензентов. Проверка работы в большинстве случаев является отличным упражнением, которое позволяет вам подвергать сомнению свою работу и улучшать ее. В некотором смысле, принятие моей статьи в уважаемом журнале является одним из немногих признаков того, что то, что я делаю, имеет определенное качество (или нет, если оно будет отклонено). Таким образом, рецензирование — это система, в которой люди «голосуют» за вашу работу и предлагают правки, аналогично SO Q&A. Когда люди цитируют мою работу, это эквивалентно отзывам на SO. Конечно, точно так же, как и в SO, чем популярнее ваш домен (ваш академический «тег»), тем легче получить голоса. Но люди, о которых вы заботитесь, обычно достаточно умны, чтобы понять это.

Итак, является ли рецензирование идеальной системой? Нет. Но и система голосования SO тоже. В конце концов, что нужно делать, так это использовать свой мозг при чтении чего-либо: вы , вероятно, не так уж плохо оцениваете качество работы, опубликованной в вашей области.

При этом я считаю хорошей идеей иметь альтернативную систему оценки исследований. Я считаю, что обсуждение статей на pubpeer.com — хороший способ анонимно критиковать опубликованную литературу.

Я должен добавить, что у меня есть шанс (или это был выбор?..) работать в сфере, где мало политического участия. Так что я мог представить, что комментарии читателей будут по большей части конструктивными и в худшем случае неактуальными. Но так бывает не у всех...

Также дополняет ответ Анонимного математика: одним из основных применений «системы рецензирования» является «распределение ограниченного ресурса», а именно академических должностей и грантов. В этом отношении не совсем правильно говорить о «рецензировании» в этом отношении, потому что, как правило, не коллеги, а «старшие» или «конкуренты» отвергают чью-то статью, независимо от того, есть ли уважительные причины. Но приятнее говорить о «рецензировании», чем о «привратнике».

Другое развращающее влияние заключается в том, что сами журналы соревнуются за «репутацию», что приводит к странной борьбе за положение между авторами и редакторами, в которой каждый пытается получить как можно более высокий статус, подключаясь к «другим» с более высоким статусом ... Давайте спросим себя, не испортит ли тот же импульс почти любую структуру публикации для статуса. Я понятия не имею, как спроектировать против или спроектировать вокруг этого.

Если награды за статус уменьшится до определенного предела, мы действительно можем оказаться с «привратниками-отшельниками», которым просто нечем заняться... как упоминалось в комментарии Джона Мёлльнера. Учитывая человеческую природу, кажется, что широкая модель требует стимулов, которые не являются полностью идеалистическими.

На самом деле, мы можем легко увидеть, что на Math Overflow, MathStackExchange и многих подобных платформах самые популярные вопросы являются приблизительными повторениями вопросов, которые задавались ранее много раз. В течение года или около того такой сайт будет иметь ощущение свежести и новизны, но мне непонятно, что происходит через несколько лет, когда ограниченный репертуар основных вопросов (мотивированных курсами бакалавриата или магистратуры и т. д.) практически полностью исчерпан. задокументировано, так что больше не задают вопрос, а сначала тщательно просматривают архивы.

Я бы рекомендовал, чтобы академики, которые уже признаны, имеют постоянный стаж и т. д., больше думали с точки зрения самого предмета и размещали полезные вещи в сети, а не продолжали занимать так много места в игре, в которую должны играть новички. получить должность, получить постоянный срок и т. д. Правда, каждый год нельзя максимизировать повышение заработной платы, не продолжая играть в одну и ту же игру вечно, но академические отделы могли бы действительно усерднее работать над тем, чтобы выяснить, как оценивать людей после пребывания в должности, что никоим образом не нарушать критерии пребывания в должности. «Уйди с дороги молодежи».

Редактировать: в ответ на «комментарий»: я думаю, что смысл, в котором эти пункты касаются исходного вопроса, заключается в том, что, если бы не было презумпции того, что нынешняя система «экспертной проверки» должна быть вытеснена, то зачем вообще задавать вопрос? Просто используйте «обмен стеками» или подобное программное обеспечение, и каждый, кто хочет разместить на нем статьи или обзоры статей, а также проголосовать или проголосовать против, может сделать это. Препятствий к этому нет, так зачем задавать вопрос... кромепредложить также, чтобы был переход. Мои замечания выше и некоторые другие комментарии указывают, почему я думаю, что могут возникнуть проблемы. Например, многие из тех, кто хотел бы участвовать, не стали бы участвовать по целому ряду причин, что, безусловно, привело бы к невозможности присвоить какой-либо статус, который в настоящее время необходим для профессионального выживания на юниорском уровне.

То есть, помещая вопрос в контекст, в котором имеет смысл его задать (а не в более формальном смысле, несколько оторванном от этого контекста), другие части контекста оказываются значимыми при ответе на оригинал. Если кто-то предполагает, что проблема заключается в замене «рецензируемой традиционной журнальной публикации» (бумажной или электронной) другой структурой, то разумно понять, почему могут возникнуть проблемы.

Во-первых, я полагаюсь на ответы других здесь относительно нюансов комментариев. Насколько я понимаю, они говорят, что если мы облегчим оценку, критику и запросы в журнале, а даже если мы этого не сделаем, такого рода ответы будут процветать в основном за пределами журнала.

Во-вторых, это заметное препятствие для системы оценки репутации опубликованных статей. То, как вы реагируете на это препятствие, определяет то, как вы проектируете или отказываетесь проектировать такую ​​систему.

Система голосования — это систематическое решение о ранжировании нескольких вариантов, основанное на рекомендациях нескольких лиц по ранжированию этих вариантов.

Вопрос с подвохом: принимаем ли мы это определение? Потому что если это так, то проблема в том, что не может существовать удовлетворительной системы голосования.

Теорема Эрроу о невозможности утверждает, что любое систематическое ранжирование, основанное на ранжировании каждой группы рекомендателей, неудовлетворительно по крайней мере в одном из следующих аспектов:

• Рейтинг группы полностью контролируется одним единственным рекомендателем. Комментарий: мы могли бы назвать этого человека «диктатором», «главным редактором» или, как сказал выше @JohnMoeller, «привратником-отшельником».
• Рейтинг группы иногда упорядочивает два варианта иначе, чем порядок, выбранный каждым из рекомендателей.
• Ранжирование группы иногда упорядочивает два варианта по-разному, скажем, A и B, потому что рекомендатели изменили свои рекомендуемые ранжирования в целом, хотя каждый из рекомендателей оставил неизменным свой собственный порядок A и B.