Какие еще модели используются для оценки кандидатов в преподаватели?

В недавнем вопросе упоминалась важность подсчета цитирования и импакт-фактора при оценке кандидатов на факультеты. Есть несколько хороших ответов, объясняющих, почему сегодня эта модель является доминирующей.

Мне любопытно, получили ли сегодня разумное применение какие-либо другие модели, даже если они далеко не самые распространенные. То есть существуют ли модели, которые либо не учитывают количество цитирований и импакт-фактор, либо где они являются относительно второстепенными факторами? Например, что-то вроде этого может соответствовать:

Добро пожаловать в Слегка Северо-Западный Юго-Западный Университет Центрально-Восточной Руритании. Когда вы закончите работу над докторской диссертацией, обратите внимание, что если вы хотите продолжить работу в качестве преподавателя, ваше количество цитирований и импакт-фактор составляют менее 5% от оценки. Никто здесь о них не беспокоится. Если вы хотите записаться на прием, вам нужно потратить не менее 75% своего времени на подготовку к экзамену на грамотность нового факультета, а не на исследования, которые не требуются для вашей степени! Если надо, напишите одну халтуру в третьеразрядный журнал, а потом приступайте к изучению! Экзамен действительно сложный! Вот программа экзамена для начала.

Чтобы было ясно, я не спрашиваю об альтернативных путях к получению степеней (например, степень за экзаменом, степень за предыдущую публикацию и т. д.), и я не прошу список университетов , которые игнорируют количество цитирований и т. д. в пользу другие факторы. Я просто спрашиваю, так ли это на самом деле в академических кругах 21-го века.

Проблема в том, что заниматься исследованиями и хорошо сдавать экзамены — две пары обуви. Переход от хорошего экзаменатора к исследователю — это то, что должно быть достигнуто во время получения докторской степени.
Кажется актуальным: academia.meta.stackexchange.com/questions/4471/…

Ответы (7)

Вот что сделает мой отдел, прежде чем предложить вам постоянную или постоянную должность: Наш кадровый комитет получит неофициальные мнения о вас от коллег в вашем районе или рядом с ним. Вам будет предложено выступить с докладом на коллоквиуме и, возможно, также с более специализированным докладом, а также встретиться здесь с преподавателями (обычно включая председателя кадрового комитета и заведующего кафедрой). Всем нашим преподавателям будет предложено высказать свое мнение после вашего выступления. После получения вашего разрешения мы запросим письма от экспертов в вашей области о ваших исследованиях; это будут не только те, кого вы указали в качестве рефералов. После получения этих писем кадровая комиссия проголосует за то, делать ли вам предложение. Комитет также подготовит отчет о вашем послужном списке и отчеты по двум вашим (более важным) документам. Затем будет голосовать избранный исполнительный комитет департамента, и, наконец, будет голосовать весь штатный преподавательский состав департамента.

Предыдущее - это то, что будет делать отдел. Если решение состоит в том, чтобы сделать предложение, оно все равно должно быть одобрено исполнительным комитетом колледжа, а в случае постоянной должности - ректором.

Хотя общий смысл этого верен, я думаю, что это требует больше усилий, чем большинство отделов приложит к найму кандидата с постоянным сроком службы, хотя, вероятно, точно для постоянного кандидата.
«проголосовать за то, чтобы сделать вам предложение» или «проголосовать за того, кому из N кандидатов, включенных в короткий список, сделать предложение»?
@avid Мы голосуем «да» или «нет» по каждому отдельному кандидату, предложенному персоналом и исполнительными комитетами. (Часто есть только один такой кандидат, но в обсуждении могут всплыть и другие имена.)
Вот это да! Это действительно золотой стандарт, но я никогда не был связан с каким-либо отделом, который прилагал бы столько усилий (или обладал бы такой демократией).
Я согласен. Это похоже на то, как мы поступаем в университете, в котором я работаю (Канада).

В моем учебном заведении (канадском университете, активно занимающемся исследованиями) компонент «доказательства стипендии» при оценке пребывания в должности и продвижения по службе не основан на количественных сводках количества цитирований и импакт-фактора. Он более целостный/субъективный (что можно назвать плохим, поскольку он менее прозрачен и дает больше возможностей для предвзятости, но лично я считаю, что это хорошо). Для компонента «публикации» рассматриваются следующие критерии:

  • объем (количество статей и согласованность вывода)
  • авторство (первый или последний/старший? из общего числа авторов? мы также ценим соавторство со стажерами кандидата, но это относится к «наставничеству», а не к «стипендии»)
  • качество места проведения: обычно мы не смотрим напрямую на импакт-факторы, а полагаемся на мнение кого-то, кто разбирается в данной области (референт или член комитета) о том, являются ли журналы высококачественными/высокоимпактными журналами для конкретной области. . К добру или к худу, "бульварные" публикации ( Science / Nature / PNAS /и т.д.) имеют некоторый вес...
  • оценка рекомендательных писем о качестве и влиянии работы, как отдельных статей, так и в целом

Мы не просим кандидатов включать информацию об импакт-факторе, общем количестве цитирований или h-индексах в свои папки, хотя эта информация иногда предоставляется кандидатами или авторами ссылок — мы стараемся воспринимать эту информацию с долей скептицизма.

Можно сказать, что перечисленные выше критерии в основном такие же, как «количество цитирований» и «импакт-факторы», но субъективны.

Есть и другие критерии, помимо публикаций (выступления на встречах, приглашенные доклады).

Аналогичные критерии используются для принятия решений о найме (особенно на этапе подготовки короткого списка кандидатов, которых следует пригласить на собеседование, до того, как произойдет процесс, описанный в ответе @AndreasBlass).

См. также этот ответ .

Что вы делаете, когда в комитете недостаточно людей, которые разбираются в этой области. Я сомневаюсь, что кто-либо в комитете знал что-либо о моей области,
@IanSudbery: больше полагайтесь на рекомендательные письма (которые по определению исходят от людей, хорошо разбирающихся в данной области)
Отделы кадров ненавидят рекомендации, поскольку это открывает перед ними всевозможные проблемы с обвинениями в дискриминации.

Повторяю другие ответы: по крайней мере, в математике в США оценка кандидатов на преподавательские должности гораздо более целостна, чем просто набор цифр. Во всяком случае, различные кандидаты обычно имеют очень разные траектории, что делает любое простое «скалярное» сравнение нелепым и бессмысленным. (Ну, конечно, если только мы не сдадимся и не «объявим» какой-нибудь номер, созданный корпоративным издателем, тем, что нам небезразлично!)

В математике индексы цитирования — очень и очень изменчивая мера. Во-первых, после прорывной статьи, на которую какое-то время ссылаются, мириады «вторичных» статей будут содержать более важные технические детали... а оригинал больше не цитируется.

Кроме того, в настоящее время многие люди осознали, что, например, «хороший математик» — это больше, чем «просто хороший доказатель теорем». Кроме того, зачем нанимать кого-то, платить зарплату, давать ему офис и терпеть неприятности, если мы можем просто читать препринты и статьи бесплатно? :)

Да, некоторые люди (не только администраторы) чрезмерно упрощают, используя номера грантов в качестве итоговой строки. В математике это никогда не имело особого смысла, поскольку нам на самом деле не нужны гигантские машины и т. д. Тем не менее, некоторым математикам нравится «количество долларов» в качестве меры, потому что это скаляр , и числа в долларах можно сравнивать. .. и контекст игнорируется "для простоты". :)

Если на то пошло, даже сейчас, а тем более 30-40 лет назад, вклад, который мог бы внести математик, было очень трудно оценить. Некоторые вещи вообще никогда не были «опубликованы», но имели огромное влияние. Иногда люди произносили незаписанные доклады, которые свидетельствовали о потрясающих идеях, и эксперты слышали их выступления и могли настоятельно рекомендовать человека для работы. Я думаю, что основным критерием по-прежнему является "мнение эксперта", а не количество бумаг или воздействие...

(Да, «экспертное мнение» также может стать карикатурным/пародийным, настаивая на том, что имеют значение только мнения далеких больших шишек… Неважно.)

Большинство университетов в Соединенных Штатах считают преподавание своей основной задачей и соответственно нанимают профессоров. В то время как степень доктора философии требуется (или де-факто требуется) для большинства должностей, а наличие одной или двух публикаций является преимуществом, люди, нанимающие людей, нанимают в первую очередь исходя из того, насколько хорошим инструктором вы будете для их студентов. Это основано на некоторых или всех:

  • Педагогический стаж у вас есть.
  • Что вы пишете в заявлениях с вашим заявлением о том, как вы учите и почему вы учите именно так.
  • Учебные материалы, которые вас могут попросить предоставить вместе с вашим заявлением.
  • Что ваши рекомендательные письма говорят о вашем обучении.
  • Как вы отвечаете на вопросы интервью о преподавании.
  • Учебная демонстрация, то есть урок, который вы даете настоящему или воображаемому классу во время интервью.
  • Презентация для широкой аудитории, которую вы делаете во время интервью.

Обратите внимание, что студенты в разных учреждениях разные, и, следовательно, кто-то может быть хорошим или отличным учителем в одном университете и просто посредственным в другом. Это означает, что оценка учителей локализована; комитет по найму попытается определить из приведенной выше информации, будете ли вы хорошим преподавателем в их университете.

Да, это абсолютно правильно, для большинства предметов! Конечно для математики. С инженерными программами немного сложнее, учитывая огромные затраты на оборудование.

Это справедливый вопрос, однако он основан на неправильном предположении, как я объяснил в упомянутом исходном вопросе.

Повторюсь: НИ ОДИН из известных мне заслуживающих доверия университетов в глобальном масштабе не рассматривает факторы прямого воздействия журналов как меру, по которой оцениваются преподаватели.

Все университеты оценивают преподавательский состав по взаимосвязанным, многомерным, различным показателям:

  • рекомендательные письма и экспертная оценка
  • места публикаций: престижные или нет
  • знакомство действующих преподавателей с кандидатом (при приеме на работу)
  • количество публикаций в избранных местах (не количество цитирований)
  • обслуживание и обучение
  • охват
  • международное признание, основанное на приглашенных переговорах, редакционном членстве и т. д.
Должен признаться, я не совсем понимаю. Вы утверждаете, с одной стороны, что ни одна организация не учитывает непосредственно импакт-факторы журналов, но разве ваш второй пункт в основном не об этом, за исключением того, что вы не ставите числовой показатель «престижный или нет»?
«НЕТ ни одного известного мне авторитетного университета в глобальном масштабе, учитывающего непосредственно воздействующие факторы» следует читать «НИ ОДНОГО известного мне авторитетного университета в глобальном масштабе, который признает, что учитывает непосредственно воздействующие факторы».
@ZeroTheHero, нет. Престиж — это заранее определенный набор журналов и конференций. Это не имеет ничего общего с опубликованными импакт-факторами (которые часто фальшивые). Всем известно, что «Природа» и «Анналы математики» престижны. Никто не проверяет их ЕСЛИ. То же самое происходит и с престижем журнала.
@AnonymousPhysicist, нет, я вообще-то думаю, что опубликованные импакт-факторы журналов почти никто не проверяет. Это недостоверные цифры.
Что ж, вы правы в том, что у них плохая надежность (по крайней мере, как показатель качества), но вы ошибаетесь в том, что их никто не проверяет. В моей сфере сложно просматривать сайт журнала, не видя импакт-фактора, поэтому все проверяют их невольно.
ну... я не знаю (и не волнуюсь), каково численное значение импакт-фактора Nature или Ann.Math, но я уверен, что оно велико, что бы это ни значило. Я согласен с тем, что фактическое число вызывает изрядную долю истерии, и что IF используются неправильно, и присоединяюсь к вам в осуждении такого сокращения до простых цифр как вредного. Простите, если я искажаю вашу позицию, но мне все же кажется, что вы имплицитно присваиваете журналам ИФ путем огрубления мест публикаций на "престижные" с одной стороны и "непрестижные" с другой, несомненно, с другими в середине.
@ZeroTheHero, я не против рейтингов и линейных порядков журналов и университетов. Мое утверждение другое и конкретное: импакт-факторы не используются и не считаются важным рейтингом. Важны и другие меры, но не те ЕСЛИ, которыми обычно пренебрегают.
Спасибо за разъяснения.

Другие охватили большинство очевидных моментов.

В дополнение к этому мы пытаемся найти кого-то, с кем мы можем поладить и кто, скорее всего, преуспеет сам по себе. Таким образом, помимо того, что мы «подходим друг другу», мы ищем совместимые личности и свидетельства независимой работы.

Мы делаем это через сопроводительные письма, прося кандидатов предоставить образцы своих работ, читая рекомендательные письма, читая другие недавние работы кандидатов.

С точки зрения исследования, является ли кандидат винтиком в большой машине или он или она принимали активное участие в работе? Мы часто просим кандидатов описать свою роль в этих публикациях, чтобы четко понимать атрибуцию. С точки зрения преподавания, насколько хорошо кандидат взаимодействует со студентами на «пробной лекции»?

У нас были кандидаты с очень сильным исследовательским резюме, но явно не заинтересованные в преподавании и студенческой стороне бизнеса. С другой стороны, мы видели чрезвычайно харизматичных кандидатов с солидными резюме, опережающих кандидатов, которые выглядели лучше на бумаге.

Я не думаю, что ваш пример имеет большой смысл. Ваш вопрос, кажется, спрашивает, как университеты могут оценивать исследования с помощью методов, отличных от грубого подсчета цитирования и т. д., тогда как ваш пример, похоже, вообще не оценивает свои исследования.

Конечно, если вы не заботитесь об исследованиях, есть много способов оценить кандидатов без использования подсчета цитирований, ограничиваясь только тем, что именно вас волнует (и любыми применимыми законами о вещах, которые вам не разрешено волновать). ).

Если вы хотите оценить исследование более тщательно, чем просто использовать эти показатели, то это потребует более подробного изучения послужного списка кандидатов, принимая во внимание, например, репутацию журнала, а не только цифры, рассматривая цифры и диапазон сопоставительных показателей. авторы, получение мнений от людей, знакомых с исследованиями кандидата (включая, помимо прочего, авторов их писем) и, в крайнем случае, фактическое изучение самих статей. На самом деле университеты уже делают все это, но это требует гораздо больше времени, чем просмотр грубых показателей, поэтому они, вероятно, делают это на более позднем этапе, после того как многие кандидаты уже отсеяны (будь то из-за плохой работы с грубыми, но быстрыми показателями или по другим причинам).