Воспроизводимый метаанализ в психологии

Я большой сторонник анализа воспроизводимых данных . В частности, мне нравится, когда исследователи обмениваются документами в таких форматах, как Sweave и Knitr , которые объединяют статистические данные (например, текст, таблицы и графики) в статистический отчет.

Ранее я просил привести примеры воспроизводимых исследований любого рода на Stats.SE и пропагандировать статьи по психологии . Однако в настоящее время меня особенно интересуют полные примеры воспроизводимого метаанализа.

Метаанализ включает несколько этапов. Сводная статистика и информация об исследованиях извлекаются из исходных исследований. К данным применяются различные преобразования и шаги (например, поправки на надежность, преобразование из одной статистики в другую и т. д.). Тестируются различные модели; составляются таблицы и графики. Некоторые журналы требуют, чтобы исследователи предоставляли таблицы используемых данных (например, использованные ссылки, сводные статистические данные). Тем не менее, я вижу метаанализ как область, которая могла бы выиграть от более всеобъемлющего воспроизводимого подхода: (1) он позволил бы лучше проверять конкретные используемые методы; (2) исследователям было бы легче опираться на использованный анализ.

Итак, мои вопросы:

  • Существуют ли полные примеры воспроизводимого метаанализа, предпочтительно в психологии или родственной дисциплине?
  • Есть ли какие-либо публикации в поддержку воспроизводимого метаанализа?

Ответы (2)

Я начал замечать немало дискуссий о воспроизводимом метаанализе.

Кажется, у Тима Черчеса есть репозиторий на github с несколькими примерами мета-анализа в R.

См., в частности, пример общественного здравоохранения:

Что касается вашего первого вопроса, не так много опубликованных стандартов, я предлагаю некоторые стандартные рекомендации на моем сайте , но это всего лишь предложения. Возможно, вы захотите ознакомиться с Кокрановским сотрудничеством , хотя они разработали набор стандартов для использования в метаанализе, связанном со здравоохранением.

Вы также можете проверить раннее исследование Shadish et al (1997) в качестве примера:

Шадиш, Уильям, Р., Мэтт, Джордж, Э., Наварро, Ана, М., Сингл, Грегори, Критс-Кристоф, Пол, Хейзелригг, Энтони, Дж., Лайонс, Ларри С. и др., (1997 г.) ). Доказательства того, что терапия работает в клинически репрезентативных условиях. Журнал консалтинга и клинической психологии, 65, 355-65.

Спасибо. Ваш ответ говорит о фактическом методе проведения метаанализа, в отличие от обмена базовыми данными или сценариями, которые выполняют различные шаги (например, преобразования исходных размеров эффектов; объединение размеров эффектов в исследованиях, формулы коррекции и т. д.). . Есть мысли по поводу воспроизводимости?
При том же наборе данных и использовании тех же процедур преобразования и т. д. вы должны получить одинаковые результаты. Одна потенциальная проблема связана с надежностью оценщика - вариация из-за того, что те, кто оценивал исследования, имеют немного отличающиеся интерпретации факторов исследования. Вы всегда должны сообщать о межрейтинговой надежности. В качестве альтернативы, если обнаруживается несоответствие, руководитель проекта должен обсудить расхождения с обоими оценщиками и разрешить их в каждом конкретном случае, отметив это в отчете об исследовании.
Что касается обмена данными исследования, это само собой разумеющееся. В Интернете есть несколько сайтов, которые вы можете использовать, например, мой любимый Github. Вы также должны опубликовать в качестве приложений список исследований, в которых использовался метаанализ, и анкету для оценки вашего исследования. Что касается преобразований, то они довольно стандартны. Любой хороший учебник по статистике покажет вам это. Для веб-приложения, которое я написал, коды JavaScript для преобразования находятся в свободном доступе.
Эти сценарии основаны на формулах, найденных в следующих работах Abramowitz, M. and Stegun, I. (1964). Справочник математических функций с формулами, графиками и математическими таблицами. Вашингтон, округ Колумбия: Типография правительства США. Коэн, Дж. (1988). Статистический анализ мощности для поведенческих наук. (2-е изд.). Хиллсдейл, Нью-Джерси: Lawrence Erlbaum Associates. Хантер, Дж. и Шмидт, Ф. (2015). Методы метаанализа: исправление ошибок и систематических ошибок в результатах исследований. 3-е изд. Беверли-Хиллз, Калифорния: Мудрец.
Кокрановское сотрудничество также подробно описывает свои методы и процедуры, и снова их методы преобразования и накопления общедоступны. Вот несколько других ссылок на некоторые из моих работ, первая статья в Интернете, в которой объясняется используемая методология и методы преобразования, lyonsmorris.com/MetaA/index.htm и приложение, основанное на статье. lyonsmorris.com/ma1/index.cfm и javascript, используемый для преобразования статистики исследования в общую метрику lyonsmorris.com/ma1/js/ESConversions.js hth larry
Воспроизводимый метаанализ в психологии
СпросиСетьПолитика конфиденциальности1y, 0v