Я хотел бы затронуть важные вопросы, поднятые Джероми Энглимом в разделе «Личные мысли» своего ответа, а именно то, что параметры корреляции (т. - неоднородность исследований\межисследований подразумевает неоднородность параметров исследований для модели структурных уравнений (SEM). Я опишу метод, который я предложил для учета этой неоднородности при оценке и создании статистических выводов о SEM, такой как одномерная или многомерная регрессионная модель, факторная модель, модель пути или модель структурных отношений между скрытыми переменными, или конкретные величины, основанные на такой модели (например,$R^2$, эффект косвенного\опосредования, индекс соответствия). Основная идея этого подхода проста:

1. Используйте метаанализ случайных эффектов (RE) для оценки атрибутов распределения между исследованиями параметров корреляционной матрицы (например, ее среднего значения и ковариационной матрицы).

2. Преобразуйте эти результаты, чтобы оценить атрибуты распределения параметров SEM между исследованиями.

Многие широко используемые методы MASEM основаны на моделях с фиксированными эффектами (FE), и хотя метаанализ разнородных корреляционных матриц с использованием определенных методов FE в некоторых ситуациях работает достаточно хорошо, вероятно, не рекомендуется делать безусловные выводы о более широком наборе исследований. Хафдал, 2008а).

Здесь я просто дам обзор проблемы и трехэтапную версию предложенного мной метааналитического метода SEM (MASEM) — на самом деле это набор методов, основанных на различных вариантах выбора критических задач на каждом этапе. Чтобы сделать изложение относительно доступным, я умолчу о некоторых важных технических деталях. Хотя это активная область моих методологических исследований, методы, которые я опишу здесь, в основном основаны на неопубликованных работах (я приведу ссылки). Поскольку некоторые аспекты этого подхода были бы непомерно трудны для реализации многими прикладными исследователями, одной из целей моей работы в этой области является разработка удобного для пользователя программного обеспечения. Пока это не доступно, не стесняйтесь обращаться ко мне за помощью с этими методами; такие просьбы могут побудить меня уделять больше времени и других ресурсов этой работе.

Обзор проблемы

В этом разделе я опишу свое видение проблем, для решения которых обычно используется MASEM. Предположим, что мы имеем от каждого из$k$независимые исследования выборочной корреляционной матрицы Пирсона- r или Фишера- z среди$p$представляющие интерес переменные (например,$X_1, X_2, \ldots, X_p$), и предположим, что нас интересует конкретная SEM для этих переменных или связанная величина, которая может быть выражена как функция матрицы корреляции (например, 1 или более [стандартизированных] коэффициентов пути, косвенный или общий эффект, квадрат множественной корреляции , индекс соответствия). Полезно различать параметр корреляционной матрицы каждого исследования и оценку корреляционной матрицы этого исследования для конкретной выборки субъектов. Метааналитики обычно заинтересованы в использовании оценок нескольких исследований, чтобы понять их соответствующие параметры или их распределения.

В этом обзоре я в основном буду игнорировать несколько интересных, но неприятных осложнений, возникающих на практике. Например, в исследованиях могут использоваться разные версии одной или нескольких переменных (например, разные показатели, аналогичные$X_1$), некоторые исследования могут не вносить вклад во все$d = p( p - 1) / 2$отдельные элементы корреляционной матрицы (например, из-за отсутствия переменных или незарегистрированных элементов), некоторые корреляции исследования могут быть основаны на разных подмножествах его выборки (например, если у некоторых субъектов отсутствуют некоторые переменные), исследование может внести два или более вклада независимые или зависимые корреляционные матрицы (например, из разных групп или одной и той же группы в разных условиях или в разное время), на корреляции исследований могут влиять так называемые артефакты (например, [не]надежность, ограничение диапазона, дихотомия) и ковариаты\модераторы на уровне исследования могут частично объяснять неоднородность между исследованиями.

Теперь, если мы примем точку зрения RE, согласно которой параметры корреляционной матрицы различаются в разных исследованиях, то есть наши исследования относятся к множеству исследований, параметры корреляционной матрицы которых следуют некоторому многомерному распределению, то большинство функций этого параметра корреляционной матрицы будут также различаются между исследованиями . В частности, параметры коэффициента пути SEM и другие величины (например, косвенные эффекты) будут иметь распределение по исследованиям. Чтобы было ясно, (ко)изменчивость этих распределений между исследованиями неиз-за (ко)изменчивости внутриисследованной выборки, вызванной конечными выборками субъектов; вместо этого это можно рассматривать как результат различных наборов характеристик исследований, которые дают разные значения для их параметров корреляционной матрицы и, следовательно, большинства функций этих параметров. (В качестве более простого примера рассмотрим один параметр корреляции Пирсона- r из каждого из нескольких исследований: если он различается в разных исследованиях, то также будут меняться и различные его функции — его квадрат, коэффициент отчуждения, z -преобразование Фишера , размер общеязыкового эффекта . , и т.д.)

По аналогии с типичными задачами в обычных мета-анализах RE, нас может заинтересовать следующее для нашего SEM: оценки среднего значения между исследованиями и дисперсии каждого коэффициента траектории SEM или другой связанной величины (например, косвенного эффекта) и выводы о каждую такую ​​величину (например, доверительный интервал [CI], интервал предсказания [PrI], тест гипотезы). Когда нас интересуют две или более величины из SEM, мы можем захотеть получить двумерные или многомерные обобщения этих оценок или выводов (например, доверительные или прогнозируемые области\наборы); они могут включать количественные показатели, основанные на двух или более различных SEM, которые мы хотели бы сравнить, например индексы соответствия двух или более SEM. Нас также может интересовать полное распределение между исследованиями одной или нескольких величин SEM (т. е. не только его среднее значение и [ко]вариационная [матрица]),

Наиболее часто используемые подходы MASEM пренебрегают неоднородностью параметров SEM между исследованиями, что особенно трудно обосновать при наличии неоднородных параметров корреляции (матрицы). Некоторые аспекты (ко) дисперсии параметров SEM между исследованиями могут быть существенно важными, например, если нас интересует, насколько коэффициенты пути, косвенные или общие эффекты, квадраты множественных корреляций или индексы соответствия (ко) различаются между исследованиями. исследования. Например, если мы используем RMSEA в качестве индекса соответствия, мы можем захотеть узнать, насколько RMSEA варьируется между исследованиями, вероятный диапазон значений RMSEA (например, интервал прогнозирования) или какая часть исследований имеет значения RMSEA в пределах некоторого «приемлемого» значения. интервал (например, ниже 0,05).

Более того, есть причина осторожно относиться к неоднородности, даже если нас интересует только среднее значение параметров SEM: поскольку параметры SEM обычно являются нелинейными функциями корреляционной матрицы, неясно, что оценивается путем применения SEM непосредственно к средней корреляционной матрице, поскольку в большинстве подходов MASEM; это может плохо оценить средний параметр SEM. В качестве более простого примера предположим, что для неоднородного параметра размера эффекта$Y$мы знаем его среднее значение и дисперсию по исследованиям,$\mathrm{E}(Y)$и$\mathrm{Var}(Y)$, но хотите знать среднее значение для$Y$'s Square: потому что для большинства дистрибутивов$Y$это факт, что$\mathrm{E}(Y^2) = [\mathrm{E}(Y)]^2 + \mathrm{Var}(Y)$, просто возведение в квадрат$\mathrm{E}(Y)$дает значение ниже желаемого$\mathrm{E}(Y^2)$, особенно если$\mathrm{Var}(Y)$большой. Эта основная проблема с применением нелинейного преобразования к среднему значению разнородных эффектов была решена для случая одномерной корреляции — с акцентом на преобразование z -to- r — Hafdahl (2009) и Hafdahl and Williams (2009); аналогичная ситуация была рассмотрена для корреляционных матриц Хафдалем (2008b, 2009b), для общей одномерной величины эффекта Хафдалем (2011) и для общей многомерной величины эффекта Хафдалем (2009c).

Обзор предлагаемого метода

В первом абзаце выше я упомянул суть предложенного мною двухэтапного метода MASEM. Для облегчения объяснения полезно разделить второй этап — преобразование результатов — на отдельные шаги для оценки и вывода. Например, если мы начнем с$k$оценок корреляционной матрицы Фишера- z , первый шаг может включать в себя оценку среднего значения параметров корреляционной матрицы между исследованиями и ковариационной матрицы, а второй и третий шаги могут включать в себя преобразование этих результатов для получения оценок и выводов о среднее между исследованиями и ковариационная матрица коэффициентов пути SEM. Ниже я немного остановлюсь на этих трех шагах.

Для удобства воспользуемся следующими обозначениями корреляционных матриц из Study$i, i = 1, 2, \ldots, k$:

• $\theta_i$: вектор$d$различные параметры в корреляционной матрице для$p$переменные либо в метрике Пирсона- r , либо в метрике Фишера- z

• $y_i$: вектор$d$различные оценки в выборочной корреляционной матрице (т.е.$y_i$является оценкой$\theta_i$)

Например, если нас интересует корреляционная матрица для$p = 5$переменные, то оба$\theta_i$и$y_i$содержать$d = 5(5 - 1) / 2 = 10$корреляции. В метаанализе RE мы обычно предполагаем, что$y_i$имеет внутриисследованное (выборочное\условное) распределение, среднее значение которого приблизительно равно$\theta_i$, и что$\theta_i$(или просто$\theta$) имеет одинаковое распределение между исследованиями для всех исследований со средним$\mu_\theta = \mathrm{E}(\theta)$и ковариационная матрица$\Sigma_\theta = \mathrm{Cov}(\theta)$. (Для простоты я немного буду злоупотреблять обозначениями случайных параметров корреляции и оценок — вместо того, чтобы использовать$\Theta_i$и$Y_i$-- и я буду игнорировать другие величины, используемые в некоторых метааналитических процедурах, такие как размер выборки каждого исследования и матрица условной ковариации, обратная сторона которой [то есть матрица точности] по существу используется в качестве матрицы весов.)

С точки зрения обозначения SEM, давайте аналогичным образом обозначим параметры SEM, представляющие интерес для исследования.$i$к$\gamma_i = g(\theta_i)$, где функция$g$преобразует параметр корреляционной матрицы в параметры SEM. Этот$g$может быть довольно сложной функцией, например, для параметров SEM по отношению к конкретному критерию цели\потери (например, ML, WLS, ADF) или индексом соответствия для этого SEM. Также,$\gamma_i$может быть только одним числом (например, 1 коэффициент пути, косвенный эффект, индекс соответствия) или вектором (например, 2 или более коэффициентов пути). Во всяком случае, наша цель MASEM может состоять в том, чтобы оценить$\gamma$среднее между исследованиями или (ко) дисперсия (матрица),$\mu_\gamma = \mathrm{E}(\gamma)$и$\Sigma_\gamma = \mathrm{Cov}(\gamma)$и сделать выводы о любом атрибуте распределения; мы могли бы также пожелать оценить$\gamma$весь дистрибутив.

Ниже приведены три шага предлагаемого мной метода; Шаги 2 и 3 предполагают, что мы имеем в виду конкретную SEM или связанную с ней величину, которую можно выразить как$\gamma_i = g(\theta_i)$. Это похоже на одномерные методы Хафдала (2009a, 2011) и многомерные методы Хафдала (2008b, 2009b, 2009c), но характерны для MASEM.

1. Метаанализ для$\theta$: применить многомерный метаанализ RE к$y_i$получить оценки не менее$\mu_\theta$и$\Sigma_\theta$, который я обозначу$\hat\mu_\theta$и$\hat\Sigma_\theta$, и, возможно$\theta$полное распределение между исследованиями; возможно также получить ковариационную матрицу только для$\hat\mu_\theta$или оба$\hat\mu_\theta$и$\hat\Sigma_\theta$, в зависимости от того, как обрабатывается вывод на шаге 3. Среди нескольких предложенных методов оценки$\mu_\theta$и$\Sigma_\theta$, лишь немногие принципиально работают с неполными матрицами корреляции — почти неизбежными в наборах данных MASEM (например, Hafdahl & Wu, 2011; Kalaian, & Raudenbush, 1996; White, 2011). В частности, расширение Хафдала и Ву алгоритма EM Беккера и Шрама (1994) допускает любой один или несколько из$y_i$корреляции отсутствуют, не требует вменения значений для отсутствующих корреляций и дает апостериорное распределение для всего исследования$\theta_i$(учитывая, что он может быть неполным$y_i$); это также дает оценку$\theta$полное распределение между исследованиями как смесь апостериорных распределений исследований. В зависимости от метода оценки ковариационная матрица для$\hat\mu_\theta$могут быть получены с помощью обобщенных методов наименьших квадратов (GLS) или других методов (например, основанных на матрице Гессе для оценок максимального правдоподобия), некоторые из которых также предоставляют ковариационную матрицу для$\hat\Sigma_\theta$. Hafdahl (2004) продемонстрировал существенные различия в производительности различных методов многомерного метаанализа RE, применяемого к корреляционным матрицам.

2. Оценка для$\gamma$: используйте соответствующий метод преобразования -- на основе функции$g$- получить оценки не менее$\mu_\gamma$и$\Sigma_\gamma$, который я обозначу$\hat\mu_\gamma$и$\hat\Sigma_\gamma$, и, возможно$\gamma$полное распределение между исследованиями. Одна из стратегий заключается в использовании аппроксимации ряда Тейлора первого или второго порядка , что по существу влечет за собой аппроксимацию$\gamma = g(\theta)$более простой линейной или квадратичной функцией$\theta$; оценки среднего значения и ковариации этой аппроксимирующей функции затем могут быть вычислены из шага 1.$\hat\mu_\theta$и$\hat\Sigma_\theta$. Другая стратегия связана с моделированием : выборочные значения$\theta$из его распределения, оцененного на шаге 1, преобразовать их в значения$\gamma$и оценить$\mu_\gamma$и$\Sigma_\gamma$из этого смоделированного распределения; мы могли бы лечить$\theta$распределение как многомерное нормальное, такое как$\theta \sim \mathcal{N}_d(\hat\mu_\theta, \hat\Sigma_\theta)$-- или разрешить ему принимать какую-либо другую форму, оцениваемую по данным (например, смесь апостериорных значений из алгоритма EM). Любая стратегия также может быть использована для оценки других атрибутов$\gamma$распределение , такое как хвостовые или центральные области (например, вероятность того, что 1 или более коэффициентов пути или другие величины близки к 0, положительны, велики и т. д.) или$\gamma$значения, ограничивающие области интереса (например, квартили, средние 95%). (Мы могли бы в принципе преобразовать$\hat\mu_\theta$и$\hat\Sigma_\theta$к$\hat\mu_\gamma$и$\hat\Sigma_\gamma$интегрированием, используя определения$\mu_\gamma$и$\Sigma_\gamma$, но это часто будет неразрешимо аналитически и невыполнимо вычислительно.)

3. Вывод для$\gamma$: Делайте выводы о$\mu_\gamma$и$\Sigma_\gamma$, такие как CI, PrI или проверки гипотез для однозначных параметров или их многомерные обобщения для векторнозначных параметров (например, области достоверности или предсказания). Одна из стратегий заключается в использовании (многомерного) дельта-метода , который по существу влечет за собой использование производных для преобразования ковариационной матрицы для$\hat\mu_\theta$один или оба$\hat\mu_\theta$и$\hat\Sigma_\theta$к ковариационной матрице для$\hat\mu_\gamma$или же$\hat\Sigma_\gamma$; последняя ковариационная матрица может использоваться для построения доверительных интервалов или PrI или проверки гипотез. Другая стратегия, по крайней мере, для доверительных интервалов или доверительных областей, заключается в использовании метода начальной загрузки для построения эмпирического выборочного распределения$\hat\mu_\gamma$или же$\hat\Sigma_\gamma$; доступны многочисленные варианты начальной загрузки, в значительной степени зависящие от того, как воспроизводится образец начальной загрузки -$\hat\mu_\gamma$или же$\hat\Sigma_\gamma$для каждой повторной выборки из данных -- создается (например, параметрическая или непараметрическая) и как она используется для построения доверительных интервалов или областей (например, стандартное отклонение\ошибка в сравнении с процентилем, коррекция смещения или нет).

Поскольку это уже довольно длинный обзор, я закончу несколькими замечаниями. Во-первых, несмотря на свои преимущества перед некоторыми другими методами MASEM, предложенный мной метод также имеет недостатки и ограничения; Я не буду подробно останавливаться на этих плюсах и минусах, за исключением того, что предупрежу, что предложенный мной метод может работать неприемлемо в определенных обстоятельствах. Во-вторых, предлагаемый мной метод выиграет от значительно большего количества работы, такой как уточнение аспектов каждого шага и изучение его эффективности в реальных ситуациях, определяемых характеристиками исследований MASEM (например, количество первичных исследований, распределение размеров выборки, распределение корреляционной матрицы). параметры, шаблон и механизм отсутствующих данных, выбор функции g). На сегодняшний день было проведено мало оценок многомерного метаанализа RE аналитически или с помощью моделирования. либо для корреляционных матриц (см. Hafdahl, 2004, 2008b), либо для других многомерных величин эффекта (см. Riley, 2009; Riley, Abrams, Sutton, Lambert, & Thompson, 2007), а также исследования методом Монте-Карло Hafdahl (2009c) мета- анализ функций многомерных размеров эффекта не включал корреляционные матрицы. В-третьих, байесовские подходы к метаанализу, такие как метод, предложенный Прево, Мейсоном, Гриффином, Кинмонтом, Саттоном и Шпигельхальтером (2007) для корреляционных матриц, могут особенно хорошо подходить для MASEM из-за их естественных, хотя и сложных с точки зрения вычислений, - стратегии построения апостериорных распределений функций параметров исследования. s (2009c) Исследования метаанализа методом Монте-Карло для функций многомерных размеров эффекта не включали корреляционные матрицы. В-третьих, байесовские подходы к метаанализу, такие как метод, предложенный Прево, Мейсоном, Гриффином, Кинмонтом, Саттоном и Шпигельхальтером (2007) для корреляционных матриц, могут особенно хорошо подходить для MASEM из-за их естественных, хотя и сложных с точки зрения вычислений, - стратегии построения апостериорных распределений функций параметров исследования. s (2009c) Исследования метаанализа методом Монте-Карло для функций многомерных размеров эффекта не включали корреляционные матрицы. В-третьих, байесовские подходы к метаанализу, такие как метод, предложенный Прево, Мейсоном, Гриффином, Кинмонтом, Саттоном и Шпигельхальтером (2007) для корреляционных матриц, могут особенно хорошо подходить для MASEM из-за их естественных, хотя и сложных с точки зрения вычислений, - стратегии построения апостериорных распределений функций параметров исследования.

использованная литература

Беккер, Б.Дж., и Шрам, К.М. (1994). Изучение объяснительных моделей посредством синтеза исследований. В H. Cooper & LV Hedges (Eds.), Справочник по синтезу исследований (стр. 357-381). Нью-Йорк: Фонд Рассела Сейджа.

Хафдал, АР (2004 г., июнь). Уточнения для метаанализа корреляционных матриц со случайными эффектами. Документ представлен на собрании Психометрического общества, Монтерей, Калифорния.

Хафдал, Арканзас (2008a). Объединение разнородных корреляционных матриц: имитационный анализ методов с фиксированными эффектами. Журнал образовательной и поведенческой статистики, 33, 507-533. дои: 10.3102/1076998607309472

Хафдал, АР (2008b, июль). Метаанализ функций гетерогенных корреляционных матриц. Документ, представленный на собрании Психометрического общества, Дарем, Нью-Хэмпшир.

Хафдал, Арканзас (2009a). Улучшенные z -оценки Фишера для одномерного метаанализа корреляций со случайными эффектами. Британский журнал математической и статистической психологии, 62, 233–261. дои: 10.1348/000711008X281633

Хафдал, АР (2009b, май). Метаанализ функций зависимых корреляций. В А.Р. Хафдале (председатель), достижения в области метаанализа многомерных линейных моделей. Приглашенный симпозиум представлен на собрании Ассоциации психологических наук, Сан-Франциско, Калифорния.

Хафдал, АР (2009c). Метаанализ функций неоднородных многомерных размеров эффекта. Неопубликованная магистерская диссертация, Вашингтонский университет в Сент-Луисе, Сент-Луис, Миссури. http://openscholarship.wustl.edu/etd/439/

Хафдал, Арканзас (2011). Преобразование результатов метаанализа: методы выражения оценок случайных эффектов в других показателях. Готовится рукопись, Вашингтонский университет в Сент-Луисе.

Хафдал, А.Р., и Уильямс, Массачусетс (2009). Возвращение к метаанализу корреляций: попытка воспроизведения и расширения исследований моделирования Филда (2001). Психологические методы, 14, 24-42. дои: 10.1037/a0014697

Хафдал, А. Р., и Ву, В. (2012 г., февраль). Алгоритм EM для многомерного метаанализа случайных эффектов с неполными оценками эффекта. Рукопись в подготовке, ООО «АРЧ Статистический Консалтинг».

Калайан, Х.А., и Рауденбуш, С.В. (1996). Многомерная смешанная линейная модель для метаанализа. Психологические методы, 1, 227-235. дои: 10.1037/1082-989X.1.3.227

Прево А. Т., Мейсон Д., Гриффин С., Кинмонт А.-Л., Саттон С. и Шпигельхальтер Д. (2007). Учет корреляций между корреляциями в метаанализе случайных эффектов корреляционных матриц. Психологические методы, 12, 434-450. дои: 10.1037/1082-989X.12.4.434

Райли, Р. Д. (2009). Многофакторный метаанализ: эффект игнорирования корреляции внутри исследования. Журнал Королевского статистического общества - серия A, 172, 789–811. doi:10.1111/j.1467-985X.2008.00593.x

Райли, Р.Д., Абрамс, К.Р., Саттон, А.Дж., Ламберт, ПК, и Томпсон, младший (2007). Двумерный метаанализ случайных эффектов и оценка корреляции между исследованиями. BMC Medical Research Methodology, 7, 3. doi:10.1186/1471-2288-7-3

Уайт, ИК (2011). Многомерная метарегрессия со случайными эффектами: обновления mvmeta. Статистический журнал, 11, 255-270.

Ниже приведены обзоры некоторых статей, которые я нашел, в которых обсуждались и применялись метаанализы SEM для изучения посредничества.

Ченг и Чан (2005)

Авторы различают три подхода метааналитического моделирования структурными уравнениями (MASEM).

• Одномерный двухэтапный MASEM: включает набор двухэтапных подходов (обратите внимание, что Ченг и Чан называют его просто одномерным , но другие авторы описывают его как двухэтапный подход). Этап 1 включает в себя сначала создание объединенной корреляционной матрицы и размера выборки. Этап 2 включает анализ этой корреляционной матрицы и размера выборки в стандартном программном обеспечении SEM.
• GLS (обобщенный метод наименьших квадратов для MASEM)
• Двухэтапный MASEM Ченга и Чана: этот подход использует SEM как для синтеза корреляционных матриц, так и для подбора предлагаемых моделей.

Авторы заявляют, что если исследования имеют разнородные корреляционные матрицы, «они не могут быть законно агрегированы» (стр. 46).

Шадиш (1996)

Shadish (1996) представляет ранний обзор сочетания подходов метаанализа и SEM. Он обсуждает несколько вопросов и призывает к дальнейшей статистической работе по этой теме. Он также резюмирует четыре ранних исследования, в которых применялся метаанализ для выяснения причинно-следственных связей.

1. Харрис и Розенталь (1985): в этом раннем исследовании сообщалось об использовании метаанализа для получения восьми усредненных корреляций по ряду исследований. Четыре корреляции были между независимой переменной и предполагаемыми медиаторами, а четыре — между медиаторами и зависимой переменной. Наличие корреляций между всеми переменными использовалось в качестве подтверждения посредничества.
2. Премак и Хантер (1988): В этом исследовании усреднялись корреляции для ряда исследований и выполнялся анализ траекторий на полученной корреляционной матрице.
3. Shadish & Sweeney (1991): В этом исследовании изучались корреляции между исследованиями.
4. Becker's (1992): В этом исследовании для моделирования вариаций корреляций между исследованиями и внутри них использовались обобщенные методы наименьших квадратов.

Другие исследования

Stajkovic et al (2009) сообщают о мета-анализе SEM, в котором, по-видимому, использовался однофакторный подход. Были рассчитаны объединенные корреляции, а затем введены в программное обеспечение SEM для анализа. Авторы также исследовали неизменность параметров в модели посредничества SEM при заданных значениях указанных модераторов.

Colquitt et al (2007) провели метаанализ SEM, рассматривая три предиктора и четыре последствия доверия (т. е. «посредник»). По-видимому, авторы использовали однофакторный подход. Авторы сообщают, что изучали, менялись ли корреляции модераторами:

Поскольку два модератора, которые мы исследовали, тип меры и референт доверия, не оказали существенного влияния на корреляции доверия, мы использовали общую корреляцию.

Однако они также показывают, что корреляции различаются между исследованиями, предполагая, что даже если модераторы не объясняют различия в корреляциях, предположительно, различия в корреляциях существовали по другим причинам.

Fried et al (2008) использовали однофакторный подход для изучения посреднических эффектов между рабочим стрессом, психологическими медиаторами и производительностью труда. Авторы использовали модель случайных эффектов для расчета объединенных коэффициентов корреляции и сообщили об использовании среднего гармонического размера выборки клеток для размера выборки в SEM.

Данст и Триветт (2009) использовали одномерный подход в исследованиях, связанных с уходом, ориентированным на семью. Авторы сообщают об объединении корреляций на основе средневзвешенного значения, «придавая больший вес исследованиям с большими размерами выборки и принимая во внимание другие статистические артефакты». Неясно, какой размер выборки использовался в последующем SEM.

Они решили проблему однородности корреляционных матриц, написав:

3.1. Однородность корреляционных матриц. Это проверка того, можно ли предположить, что корреляционные матрицы в 15 различных исследованиях получены из одной и той же совокупности. CFI был 0,91, а RMSEA был 0,09. Результаты показывают, что различные корреляционные матрицы были достаточно схожими для получения объединенной корреляционной матрицы.

Однако среднеквадратичное значение 0,09 на самом деле кажется довольно большим. Я видел рекомендации для RMSEA менее 0,05 для очень хорошей подгонки. Я не сомневаюсь, что корреляционные матрицы не были похожи. Но в целом мы ожидаем некоторой реальной дисперсии результатов, и, на мой взгляд, такие результаты согласуются с некоторой вариацией. Отсутствие простых вариантов анализа для обработки неоднородности препятствует исследованию того, как будут отличаться результаты, если данные будут считаться неоднородными.

Бамберг и Мозер (2007) использовали одномерный подход для проверки модели теории запланированного поведения, применяемой к поведению в окружающей среде. Поскольку корреляции значительно различались между исследованиями в соответствии с Q-тестом, авторы использовали оценку случайных эффектов объединенной истинной корреляции (но они также сообщают объединенные оценки, основанные на модели фиксированных эффектов) и сообщают среднее значение и 95% доверительные интервалы. для истинных корреляций. Среднее гармоническое размеров выборки клеток якобы использовалось при расчете размеров выборки клеток.

Bauer et al (2007) использовали однофакторный подход для проверки модели приспособления новичков. Мне было неясно, были ли объединенные корреляции основаны на предположениях о фиксированных или случайных эффектах. Обоснование размера выборки не указано явно, но выглядит в целом согласующимся с чем-то вроде среднего гармонического размера выборки ячеек.

Джозеф и др. (2007) использовали одномерный подход для проверки модели текучести кадров. Объединенные корреляции были сформированы путем взвешивания выборочных корреляций по размеру выборки и поправки на ошибку измерения. Было использовано среднее гармоническое размеров выборки клеток.

Чанг и др. (2009) использовали одномерный подход к организационной политике.

Haeussler-Keyton (2012) представляет собой докторскую диссертацию, в которой используется однофакторный подход, в котором был проведен метааналитический анализ путей исследований, связанных с успехом грудного вскармливания. Используемый размер рассчитывался следующим образом: рассчитывался средний размер выборки N в исследованиях для каждой клетки, и наименьший из них использовался для анализа. Обратите внимание, что это приводит к гораздо меньшему размеру выборки, чем простое взятие среднего общего размера выборки ячеек. Автор подбирает модели, используя объединенные корреляции, основанные на расчетах как фиксированных, так и случайных эффектов.

Чжан (2011) написал докторскую диссертацию с обзором подхода GLS и многомерного двухэтапного подхода Ченга и Чана (2005).

Висвесваран и те (1995)

Viswesvaran and Ones (1995) предоставляют руководство в стиле учебника для одномерного MASEM. Они цитируют несколько исследований, в которых использовался этот подход, в том числе Hunter (1983), Hom, Caranikas-Walker, Prussia и Griffeth (1992), Peters, Hartke и Pohlmann (1985), Brown and Peterson (1993), Ones (1993). и Вишвесваран (1993). Общий подход заключается в вычислении корреляций истинных показателей с использованием различных стандартных метааналитических методов и использовании этой корреляционной матрицы в качестве входных данных для SEM.

Viswesvaran и Ones (1995) обсуждают проблему отсутствия ячеек в корреляционной матрице . Они упоминают несколько вариантов решения этой проблемы:

(a) спланировать первичное исследование для сбора данных с достаточно большим размером выборки, чтобы уменьшить влияние ошибки выборки, чтобы получить стабильные оценки корреляций, о которых не сообщается в литературе; (б) использовать среднюю (по всем корреляциям) корреляцию в пустых ячейках; (в) искать закономерности корреляций и подставлять значения в отсутствующие ячейки матрицы; и (d) изменить тест теории, чтобы включить только те конструкции, для которых полная матрица оценочных истинных корреляций баллов доступна в литературе. Последний вариант, предложенный анонимным рецензентом, заключается в использовании экспертов по предметным вопросам для оценки недостающей корреляции (например, Schmidt et al., 1983).

Viswesvaran и Ones (1995) также обсуждают проблему изменения размера выборки на ячейку в корреляционной матрице. Они упоминают несколько вариантов: (а) использовать среднее гармоническое размеров выборки по ячейкам; (b) включать только исследования, включающие все переменные; (c) предположить, что выборка является генеральной совокупностью, и игнорировать стандартную ошибку и доверительные интервалы.

Viswesvaran и Ones (1995) также признают, что истинные корреляции могут систематически различаться между исследованиями . Они предлагают несколько подходов: (а) включать модераторов до тех пор, пока истинная дисперсия оценок не снизится до нуля, и включать этих модераторов в анализ пути; (b) вычислить три SEM, один с использованием нижних 90% доверительных интервалов метаанализированных корреляций, другой с использованием верхних 90% доверительных интервалов метаанализированных корреляций, а третий с использованием среднего значения.

Вышеупомянутая проблема изменения истинных корреляций является одной из самых больших проблем, которые меня беспокоят. Большинство метаанализов, которые я читал, показывают вариации в истинных корреляциях (отсюда различные рекомендации предпочесть метаанализ случайных эффектов). Кроме того, маловероятно, что доступные модераторы будут учитывать все истинные варианты. Во многих контекстах я сомневаюсь, что доступные модераторы даже объяснят большую часть истинных вариаций. Таким образом, хотя я вижу, что включение значимых модераторов было бы полезно, я предсказываю, что в большинстве приложений это не решит проблему изменчивости истинных корреляций.

Второй вариант вычисления корреляций нижней, средней и верхней границы также не кажется мне решением проблемы. Прежде всего, даже если корреляции различаются между исследованиями, маловероятно, что такие различия приведут к равномерному увеличению и уменьшению всех корреляций. Например, в некоторых исследованиях истинная корреляция может быть выше среднего для одной пары переменных и ниже для другой. Тем не менее, идея выборки диапазона дистрибутивов звучит многообещающе.

Ченг и Чан (2009)

Cheung and Chan (2009) предоставляют технический обзор с соответствующими формулами, моделированием и примером выполнения двухэтапного подхода к метаанализу SEM. Они признают, что разнородные корреляционные матрицы проблематичны. Они предлагают следующие варианты: (а) кластеризация корреляционных матриц; (b) снять некоторые межгрупповые ограничения (например, на основе модераторов) в SEM.

Беккер (2009)

Беккер (2009) описывает, как проводить тестирование модели на основе подхода GLS.

Личные мысли

Объединение и случайные эффекты

В целом модель случайных эффектов представляется более разумной. Если метаанализ не состоит из точных повторений, исследования обычно различаются по широкому спектру направлений. И это проявляется в различных соотношениях. Использование модели случайных эффектов включает в себя взвешивание выборочных корреляций по-разному за счет включения дисперсии между исследованиями. Следствием этого является то, что исследования с меньшими размерами выборки имеют больший вес, чем в случае использования модели с фиксированными эффектами.

Изменение корреляций не обязательно может быть нормальным. В исследованиях могут быть выпадающие корреляции. Наблюдаемые модераторы могут объяснить некоторую дисперсию корреляций между исследованиями. Точно так же артефакты, такие как надежность, ограничения диапазона и т. д., могут объяснить дополнительную дисперсию в размерах эффекта.

Если истинная дисперсия отсутствует, то двухэтапный подход кажется разумным. Кроме того, если после включения модераторов учитывается истинная дисперсия оценок, двухэтапный подход кажется разумным. Аналогичным образом, идея кластеризации корреляционных матриц для устранения дисперсии истинной оценки может быть многообещающей.

Использование модели случайных эффектов для взвешивания корреляций является разумным способом получить оценку средней истинной корреляции. Однако использование таких объединенных оценок в SEM вызывает несколько проблем. Во-первых, такая процедура не отражает истинную вариацию величины эффекта. Оценки параметров и соответствие SEM будут систематически различаться в разных исследованиях; только анализ средних истинных корреляций игнорирует эту систематическую вариацию между исследованиями. Во-вторых, использование оценок размера выборки, основанных на среднем, минимальном или среднем гармоническом размерах выборки клеток, по-видимому, предполагает модель точности с фиксированными эффектами при оценке истинных коэффициентов корреляции.

Другие подходы

Другой стратегией может быть выполнение SEM для каждой выборки и обработка параметров и статистики соответствия как значений, которые варьируются между выборками. Распределение (например, среднее значение и стандартное отклонение) этих параметров SEM и статистических данных соответствия можно суммировать. Это было бы похоже на то, как корреляции и другие размеры эффектов обычно моделируются как случайные эффекты. Так, например, можно было бы изучить вариацию косвенного эффекта в разных выборках. Задача состояла бы в том, чтобы отделить то, что является истинным изменением результатов, и тем, что вызвано случайной выборкой.

Это кажется хорошей идеей, хотя часто значимые различия в эффектах остаются даже после контроля модератора, и часто количество исследований для данного значения модератора может быть минимальным.

использованная литература

• Бамберг, С. и Мозер, Г. (2007). Двадцать лет спустя после Хайнса, Хангерфорда и Томеры: новый метаанализ психосоциальных детерминант проэкологического поведения. Журнал экологической психологии, 27, 14-25.
• Бауэр, Т.Н., Боднер, Т., Эрдоган, Б., Трухильо, Д.М. и Такер, Дж.С. (2007). Адаптация новичка во время организационной социализации: метааналитический обзор предшественников, результатов и методов. Журнал прикладной психологии, 92, 707. PDF
• Беккер, Б.Дж. (1992). Модели научных достижений: силы, влияющие на успеваемость мужчин и женщин в школьной науке. В TD Cook, HM Cooper, DS Cordray, H. Hartmann, LV Hedges, RJ Light, TA Louis и F. Mosteller (Eds.), Мета-анализ для объяснения: Сборник дел (стр. 209-281). Нью-Йорк: Фонд Рассела Сейджа.

• Беккер, Б. Дж. (2009) Метаанализ на основе моделей, глава 20, в Справочнике по синтезу и метаанализу исследований, редакторы: Купер, Х. М. и Хеджес, Л. В. и Валентайн, Дж. К., Публикации Фонда Рассела Сейджа.

• Браун С.П., Петерсон Р.А. (1993). Предпосылки и последствия удовлетворенности работой продавца: метаанализ и оценка причинно-следственных связей. Журнал маркетинговых исследований, 30,63-77.

• Чеунг, М.В.Л. и Чан, В. (2005). Метааналитическое моделирование структурными уравнениями: двухэтапный подход. Психологические методы, 10, 40. PDF
• Ченг, М.В.Л. и Чан, В. (2009). Двухэтапный подход к синтезу ковариационных матриц в метааналитическом моделировании структурных уравнений. Моделирование структурными уравнениями, 16, 28-53.
• Колкитт, Дж. А., Скотт, Б. А. и Лепин, Дж. А. (2007). Доверие, надежность и склонность к доверию: метааналитический тест их уникальных отношений с принятием риска и производительностью труда. Журнал прикладной психологии, 92, 909.
• Данст, Си Джей и Триветт, КМ (2009). Метааналитическое моделирование структурных уравнений влияния семейно-ориентированной заботы на психологическое здоровье родителей и детей. Международный педиатрический журнал, 2009. PDF
• Фрид Ю., Широм А., Гилбоа С. и Купер С.Л. (2008). Опосредующие эффекты удовлетворенности работой и склонности к отказу от ролевых отношений между стрессом и производительностью труда: сочетание метаанализа и моделирования структурных уравнений. Международный журнал управления стрессом, 15, 305.
• Джозеф, Д., Нг, К.Ю., Кох, К. и Анг, С. (2007). Текучесть специалистов по информационным технологиям: описательный обзор, метааналитическое моделирование структурных уравнений и разработка моделей. MIS Quarterly, 31, 547-577.
• Харрис, М.Дж., и Розенталь, Р. (1985). Опосредование эффектов межличностного ожидания: 31 метаанализ. Психологический бюллетень, 97, 363-386. Хёсслер-Кейтон, К. (2012). Психологические и социальные факторы, связанные с успехом грудного вскармливания: метааналитический анализ пути. Докторская диссертация в Техасском технологическом университете. PDF
• Хантер Дж. Э. (1983). Причинно-следственный анализ когнитивных способностей, знаний о работе, производительности труда и оценок руководителя. В Landy FJ, Zedeck S, Cleveland J (Eds.), Измерение производительности и теория (стр. 257-266). Нью-Джерси: Эрибаум.
• Одни ДС. (1993). Конструктивная валидность тестов целостности. Неопубликованная докторская диссертация. Университет Айовы, Айова-Сити.
• Петерс Л.Х., Хартке Д.Д., Полманн Дж.Т. (1985). Теория непредвиденных обстоятельств лидерства Фидлера: применение процедур миета-анализа Шмидта и Хантера. Психологический вестник, 97, 274-285.
• Премак, С.Л., и Хантер, Дж.Е. (1988). Индивидуальные решения по объединению в профсоюзы. Психологический бюллетень, 103, 223-234.
• Шадиш, WR (1996). Метаанализ и исследование причинно-посреднических процессов: учебник по примерам, методам и проблемам. Психологические методы, 1, 47.
• Шадиш, В. Р., и Суини, Р. (1991). Посредники и модераторы в мета-анализе: есть причина, по которой мы не позволяем дронтам говорить нам, какие психотерапевтические методы должны быть отмечены призами. Журнал консалтинга и клинической психологии, 59, 883-893.
• Стайкович, А.Д., Ли, Д. и Найберг, А.Дж. (2009). Коллективная эффективность, групповая эффективность и групповая производительность: метаанализ их отношений и проверка модели посредничества. Журнал прикладной психологии, 94, 814.
• Висвесваран, К. и Онс, Д.С. (1995). ПРОВЕРКА ТЕОРИИ: КОМБИНИРОВАНИЕ ПСИХОМЕТРИЧЕСКОГО МЕТААНАЛИЗА И МОДЕЛИРОВАНИЯ СТРУКТУРНЫМИ УРАВНЕНИЯМИ. Психология персонала, 48, 865-885.
• Висвесваран К. (1993). Моделирование производительности труда: есть ли общий фактор? Неопубликованная докторская диссертация, Университет Айовы, Айова-Сити.
• Чжан, Ю. (2011). Метааналитическое моделирование структурными уравнениями (MASEM): сравнение многомерных методов. Докторская диссертация в Университете штата Флорида. PDF