Легитимность экспертной оценки

Многие вопросы в академических кругах, например, кто получает финансирование, что публикуется и кто нанимается, решаются относительно небольшой группой людей. Это применимо довольно широко, от искусства до науки.

В случае финансирования, когда государственные деньги тратятся на проекты, небольшая группа людей принимает решение от имени населения в целом. Полномочия принимать эти решения предоставляются народом очень косвенным образом, выборные представители выбирают органы, которые затем используют довольно сложную систему коллегий для принятия решений. Конечно, есть проверки и противовесы.

Но достаточно ли этого невероятно косвенного представления населения, чтобы сделать эти панели законными? Есть ли другие факторы, на которых основывается легитимность?

Возможно, институты, ответственные за принятие этих решений, и используемые ими системы обеспечивают источник легитимности. Возможно, это только в том случае, когда их процедуры находятся в открытом доступе.

В любом случае, я немного борюсь с этим, любые предложения будут приветствоваться.

Хорошо, я только что заметил это, но первая строка предполагает, что это правильно по деньгам относительно вашего вопроса: «Предвзятость в экспертной оценке» (PDF) .

Ответы (1)

Так что есть проблемы с рецензированием, но это не так плохо, как вы здесь делаете.

Разговор о том, как публикация становится опубликованной, поможет объяснить.

Сначала автор отправляет статью в журнал на рассмотрение. На данном этапе статья готовится к слепому рецензированию, поэтому в рукописи нет идентифицирующей информации.

Во-вторых, редактор журнала решит, стоит ли реферировать статью. Если нет, то статья считается отклоненной. Многие журналы получают несколько сотен материалов в год, и просто не хватает людей, чтобы адекватно оценить их все. Таким образом, редактор должен решить, на какие статьи стоит потратить ценные ресурсы, необходимые для доведения статьи до качества публикации.

Если редактор считает, что статья может быть опубликована, он или она отправит статью рецензентам для комментариев. Обычно бумага направляется от одного до трех рецензентов.

Различные журналы можно ранжировать по тому, кто кого знает в этом процессе.

Единственный слепой журнал — это журнал, в котором рецензенты не знают авторов статей, которые они рецензируют.

Двойной слепой журнал — это журнал, в котором ни рецензенты, ни авторы не знают друг друга.

Тройной слепой журнал — это журнал, в котором ни рецензенты, ни авторы, ни даже редакторы не знают личности авторов и рецензентов. (Таким журналам требуются помощники редактора, которые обрабатывают электронные письма и т. Д., Чтобы сохранить целостность процесса.)

Теперь даже тройные слепые журналы подвержены сбоям в процессе рецензирования. Может так случиться, что вас попросят просмотреть статью друга или статью, которую вы услышали на конференции. В идеале судья в таком положении должен взять самоотвод, но я считаю, что это случается нечасто, просто потому, что зачастую действительно трудно найти квалифицированных судей, готовых добровольно пожертвовать своим временем, поэтому самоотвод может быть эквивалентен получению статья автоматически отклонена из-за отсутствия квалифицированных рецензентов.

Конечно, есть проблемы с фактической реализацией, но в целом я думаю, что процесс в журналах, прошедших тройное слепое рецензирование, налажен.

Хм. «[В] опросе почти 1500 редакторов по химии множество респондентов заявили, что двойной слепой метод «бессмыслен, потому что содержание и ссылки выдают личность» (из pdf в моем комментарии к вопросу). Тройной слепой (даже) не упоминается, но это не должно иметь большого значения. Кстати: я не знаю, что здесь подразумевается под «множеством»??
Я предполагаю, что они, вероятно, имеют в виду, что наибольшее число, но менее 50% согласны с этим утверждением. Я немного удивлен этой находкой, если честно.
Вы правы насчет множественности. Я проверил. Также: «Это предположение было проверено в ряде эмпирических исследований, которые показали, что рецензенты могут успешно идентифицировать авторов в 25–40% случаев [.]»
Это действительно интересно. Хотя это показывает, что рецензент знает не чаще, чем он или она. Лично я думаю, что большая проблема с рецензированием находится на стороне редактора, а не рецензента. Слишком много судей, чтобы успешно обыграть их всех. Редакторов важных журналов гораздо меньше, поэтому их личные особенности потенциально гораздо более важны.
Я больше пытался спросить о том, что является основанием для наделения небольшого числа людей властью принимать эти решения, что делает это справедливым. Это особенно сомнительно, когда общественное благо является фактором. Вы можете подумать, что процесс здоров, я не особо возражаю. Можно утверждать, что соглашение об этом среди населения — это, по сути, то, к чему сводится легитимность — но опять же, это упирается в проблему экспертизы.
@shane 1) Скорее всего, это показывает, что некоторые рецензенты хорошо разбираются в идентификации, а другие не так хороши в этом. 2) Вот почему я упомянул, что в документе не упоминается тройной слепой. Это обычное дело?
Что делает его справедливым, так это то, что вряд ли кто-то может или хочет это сделать. Чтобы действительно быть честным редактором, вы должны знать очень много и быть готовым пожертвовать огромным количеством своего времени, чтобы просеивать сотни и сотни материалов, которые вы получаете, и делать эти звонки о том, что передать рецензентам, а что. не к. Это сложная, трудоемкая и не особенно хорошо оплачиваемая работа.
@ Уотсон, по философии, я так понимаю, это становится все более распространенным в ведущих журналах. Двумя известными журналами, практикующими тройной слепой метод, являются Nous и Mind. Меньшие журналы не могут позволить себе помощников редактора и т. д. Я не знаю, что может сломать статистика, и я не хотел бы рисковать на основе неосведомленных предположений.
Я не понимаю, как поверхностный альтруизм означает, что это справедливо или, в случае решений о финансировании, что они принимаются в интересах населения, которое в конечном итоге предоставляет эти полномочия.
@shane Я подумываю довольно сильно пересмотреть этот вопрос, возможно, это сделает этот ответ немного странным. У меня есть выбор: спросить еще раз или отредактировать. Я подумал, что позволю тебе высказаться.
Просто продолжайте и пересмотрите его. При необходимости мы можем пересмотреть мой ответ или надеяться, что кто-то другой предложит лучший ответ.
@shane Я не видел этого до того, как опубликовал исправленный вопрос.
@shanephilosophy.stackexchange.com/questions/11437/ …
Легитимность экспертной оценки
СпросиСетьПолитика конфиденциальности1y, 0v