Существует довольно много метаанализов взаимосвязи между личностью и производительностью труда (обзор см. в Barrick & Mount, 2012; и конкретные метаанализы: Barrick & Mount, 1991; Murray R Barrick, Michael K Mount, & Timothy A Judge, 2001; Hurtz & Donovan, 2000; J. Salgado, 1997; Tett, Jackson, & Rothstein, 1991).
Они часто дают необработанные метааналитические средние корреляции между добросовестностью и производительностью труда около r = 0,15.
Однако в настоящее время в целом ведется много дискуссий о воспроизводимости и предвзятости публикации. В частности, если бы статьи, показывающие корреляцию между личностью и производительностью труда, были бы опубликованы с большей вероятностью, то это завысило бы метааналитическую оценку.
В качестве альтернативы, было проведено довольно много исследований личности и производительности с огромным размером выборки (10 000+), и они, вполне вероятно, будут опубликованы независимо от точных результатов, и они также будут иметь достаточную статистическую мощность, чтобы обнаружить даже небольшие эффекты. И для большинства метаанализов исследования с большим размером выборки получают больший вес в процессе оценки.
Кажется, я помню, как несколько месяцев назад читал статью, в которой рассматривался этот вопрос. Насколько я помню, авторы пришли к выводу, что метааналитическая оценка взаимосвязи между добросовестностью и производительностью может быть несколько завышена. Однако я не могу вспомнить, что было ссылкой.
Я публикую резюме здесь (спасибо @DJ Sims за то, что он направил меня к интересующему документу). Kepes and McDaniel (2015) повторно проанализировали данные существующего метаанализа. Существующий метаанализ изучал различные модераторы взаимосвязи между личностью большой пятерки и производительностью труда. Кепес и Макдэниел провели ряд анализов чувствительности.
Они резюмируют свои результаты следующим образом:
Анализ предвзятости публикаций показал, что достоверность добросовестности умеренно завышена (примерно на 30%; корреляционная разница около 0,06). Неправильная оценка достоверности, по-видимому, связана в первую очередь с подавлением малых размеров эффектов в журнальной литературе.
В качестве доказательства предвзятости публикации они показывают, что средняя достоверность добросовестности ниже в неопубликованных выборках:
Результаты распределения по подгруппам выборок из журнальных статей (k = 67) и нежурнальных источников (k = 46) [указывают, что] выборки, опубликованные в журнальных статьях, показали более высокие оценки средней величины эффекта ( = 0,19), чем выборки из нежурнальных источников ( = 0,12.
При публикации результатов, показывающих взаимосвязь между личностью «большой пятерки» и производительностью, представлены пять корреляций. Предполагая, что систематическая ошибка публикации иногда приводила к требованию иметь хотя бы одну значимую корреляцию, тогда систематическая ошибка публикации должна быть меньше.
В исследовании не цитируются и не обсуждаются другие распространенные метаанализы Большой пятерки и производительности труда, которые, что интересно, часто получали метааналитические оценки, аналогичные тому, что они называют правильным значением. Например, известный ранний метаанализ, проведенный Барриком и Маунтом (1991) с использованием 12 893 случаев и 92 корреляций, позволил получить среднюю необработанную корреляцию между добросовестностью и профессиональной квалификацией. = 0,13. В метаанализе, проведенном Хертцем и Донованом, в котором использовались корреляции исключительно для показателей с использованием большой пятерки, они получили общую достоверность добросовестности = 0,14. Это также очень близко к тому, что можно было бы ожидать.
Эти традиционные оценки достоверности из предыдущих метаанализов являются взвешенными по выборке средними значениями. Таким образом, они, естественно, больше взвешивают большие выборки. Так, например, одно исследование с 2000 участниками будет иметь такой же вес, как и 20 исследований со 100 участниками в каждом.
Есть веские основания предполагать, что предвзятость публикации окажет меньшее влияние на исследования с большой выборкой (например, n > 1000). Во-первых, когда размер выборки достаточно велик, результаты становятся по-настоящему интересными. Рецензенты не могут утверждать, что это было просто отсутствие статистической мощности. Во-вторых, такие исследования обычно имеют достаточную мощность для обнаружения корреляций в области r = 0,10. Например, при корреляции населения 0,10, альфа 0,05 и двустороннем тесте, чтобы иметь мощность не менее 90% для обнаружения значимой корреляции, вам потребуется не менее 1046 участников.
Мой вывод из бумаги:
диджей симс
Джероми Энглим