Включены ли в большинство метаанализов исследования, основанные на узком круге участников?

Этот вопрос в основном цитируется из «Новой психологии женщин» (2017) Липса, стр. 63:

Наконец, что, возможно, наиболее важно, исследования, включенные в большинство мета-анализов, основаны на узком круге участников (обычно молодые студенты из Северной Америки) и не отражают населения в целом, хотя это ограничение, как правило, затемняется объединение многих исследований в единый анализ (Halpern, 1995).

Я имею в виду, что этому утверждению более 20 лет. Это правда сегодня? Есть ли исследование, в котором изучается демография мета-исследований в целом или что-то связанное? Если это правда, относится ли это к большинству исследований в области психологии, различий между мужчинами и женщинами или ко всем исследованиям в области социальных наук?

Большая часть (большинство?) исследований в области психологии проводится профессорами психологии (вероятно, в Северной Америке или Европе, где доступно больше всего финансирования), которые, естественно, набирают студентов-психологов в качестве предметов (для получения дополнительных баллов, а в некоторых случаях даже в обязательном порядке). Эта практика подтверждается многолетними свидетельствами того, что студенты являются репрезентативными для населения в целом, а также их удобно набирать. Конкретно о гендерных различиях см., например: cogsci.stackexchange.com/questions/8583/…

Ответы (2)

Хантер и Шмидт предлагают набор процедур для исправления ограничения диапазона, они включены во многие пакеты на основе их метааналитической методологии, вот некоторые соответствующие ссылки:

https://pdfs.semanticscholar.org/75e8/97a797dc876b785042dfd8ac4023a5fc85df.pdf http://onlinelibrary.wiley.com/doi/10.1111/peps.12122/abstract https://www.researchgate.net/publication/6644262_Correcting_for_indirect_range_restriction_in_meta-analysis_Testing_a_new_meta- analytic_procedure mypages.iit.edu/~morriss/siop2009/Le09.ppt mypages.iit.edu/~morriss/siop2005/Oswald05.doc https://www.corwin.com/sites/default/files/upm-binaries/5063_Hunter_Chapter_3 .pdf https://utsa.influuent.utsystem.edu/en/publications/implications-of-direct-and-indirect-range-restriction-for-meta-an

чт,

Ларри

Метаанализ — это инструмент, который применяется в широком спектре дисциплин, особенно в тех, в которых участвуют люди. В целом мета-анализ направлен на выборку всех соответствующих исследований, которые были проведены.

В некоторых областях нормой является использование студентов бакалавриата (особенно студентов-психологов). Многие программы психологии имеют пул участия в исследованиях; поэтому для многих основных лабораторных исследований (например, когнитивной психологии, социальной психологии) это удобный образец. Обратите внимание, конечно, что другие дисциплины будут использовать другие образцы. Исследователи организационной психологии часто используют выборки сотрудников организаций. Психологи развития изучают детей. Исследователи социальных наук часто полагаются на крупномасштабные панельные опросы.

В последнее время особую популярность приобретают онлайн-образцы. Сюда входят удобные онлайн-образцы, а также платные образцы. В частности, Mechanical Turk особенно популярен в Соединенных Штатах, но существуют и другие платформы, такие как Prolific.

В целом, выбор, который делают исследователи в отношении выборки, определяется многими факторами:

  • удобство/ресурсы
  • дисциплина ожидания
  • интерес к обобщению (некоторые исследователи в основном заинтересованы в обобщении на свою собственную культуру)
  • откуда традиционно прибывают исследователи (например, большинство исследователей в области психологии родом из США, за которыми следуют Великобритания/Европа/Австралазия)
  • релевантность выборки для исследовательского вопроса (например, иногда удобна выборка; в других случаях вам действительно нужна репрезентативная выборка); в фундаментальной науке это часто нормально, но если вы проводите организационное или клиническое исследование, вам, как правило, понадобится соответствующая организация или клинический образец.

Короче говоря, этот феномен будет сильно различаться в зависимости от вопросов исследования. И в некоторых случаях это, вероятно, не будет иметь большого значения; в других случаях будет.

В более общем смысле часто приходится идти на компромисс между удобством и строгостью. Например, большинству исследователей, которые измеряют производительность труда, хотелось бы иметь строгую объективную оценку объективной производительности, но гораздо проще получить самоотчет. Таким образом, вы часто обнаружите, что метаанализы будут обобщать исследования, в которых сделан выбор в пользу компромисса между удобством и строгостью.

Метааналитики могут и проводят модераторский анализ, если они считают, что конкретный фактор может иметь отношение к результатам метаанализа (например, независимо от того, являются ли выборкой студенты бакалавриата или нет).