Как аспирант проводит метаанализ исследовательского вопроса?

Я просто подумал, что задам этот вопрос здесь, потому что в настоящее время я работаю над метаанализом конкретного исследовательского вопроса в моей области (HCI/информатика). Более того, этот вопрос является новым и до сих пор не получил подробного ответа.

Я сделал большинство обычных способов, описанных в других ресурсах, следующим образом:

  1. Я сделал всесторонний обзор соответствующей литературы, относящейся к этому конкретному исследовательскому вопросу. Это новая область, и количество статей, имеющих непосредственное отношение к ней , ~<50. Я также составил исчерпывающую библиографию статей, косвенно относящихся к этой области. Это число ~<150.

  2. Из этого набора непосредственно относящейся к делу литературы я выделил 23 количественных эмпирических исследования, 14 качественных эмпирических исследований, а остальные представляют собой теоретические статьи/позиционные статьи/основные документы.

Проблема, с которой я сейчас сталкиваюсь, заключается в том, как проводить метаанализ данных. В HCI не принято свободно распространять эмпирические наборы данных (хотя в атмосфере неизбежны признаки изменений. :)), и я разослал вежливые электронные письма соответствующим исследователям, спрашивая, могу ли я каким-либо образом получить доступ к этим наборам данных. Уровень ответов на мое электронное письмо составляет ~ 50%, но только около ~ 5% хотят активно делиться своими наборами данных.

Таким образом, единственный другой вариант (который я вижу прямо сейчас) — это собрать, обобщить и осмыслить данные и результаты, уже представленные в качественных и количественных статьях.

Мне было интересно, есть ли у кого-нибудь из вас, опытных ( а также не очень опытных :)), академиков/исследователей, какие-либо идеи о том, как на самом деле проводить метаанализ снизу вверх.

Приведены основные онлайн-ресурсы, которые я использовал до сих пор для решения этой проблемы.

Пожалуйста, обратите внимание, что я не ожидаю подробного пошагового ответа о " кормлении с ложки ". Указание мне на некоторые полезные ресурсы в порядке. Кроме того, личные анекдоты или ценный опыт будут действительно оценены.

Спасибо, что нашли время, чтобы прочитать этот вопрос.

Для метаанализа вам обычно не нужен исходный набор данных, а только сводная статистика, относящаяся к исследованию и вмешательству (которая, надеюсь, доступна в публикациях). Вы также можете добавить Cochrane Collaboration в свой список веб-сайтов.
Спасибо! Веб-сайт Cochrane Collaboration действительно классный и выглядит очень полезным. Хотя это выглядит специфичным для биологических наук или медицины, но я уверен, что многие из основных концепций переносятся на HCI.
Также обратите внимание, что Cross Validated всегда может протянуть руку помощи с любыми вопросами статистики.
@ThomasH спасибо за совет! Я тоже там иногда бываю.
Справочник по исследовательскому синтезу очень полезен в этих деталях.
@ Томас спасибо за ссылку. заказал в библиотеке!

Ответы (4)

Удачи тебе. Я пытаюсь сделать что-то подобное и обнаружил, что лишь немногие статьи по HCI публикуют достаточно сводной статистики для проведения надлежащего метаанализа. Действительно, большую часть времени их статистика кажется довольно неряшливой.

Я сделал свой анализ похожим на два найденных мною обзорных документа. Один также из области HCI (Dehn & Van Mulken, 2000) и один из более отдаленных районов (Jones & Gosling, 2005).

Ни один из них не является настоящим мета-анализом, но они настолько близки к формальным, насколько это разумно, когда фактический мета-анализ просто невозможен.

добавил статьи в мой текущий список для чтения и проголосовал за ваш ответ на единицу. если я не получу больше в разумные сроки, я приму ваше.
принят, а также наградил вас наградой.
Разве неаккуратная статистика не является почти правилом в компьютерных науках? Измерения производительности часто даже не сообщают о стандартных отклонениях.
@Blaisorblade К сожалению, да, но HCI охватывает более одной области. На большинстве конференций, которые я посещаю, раскол между учеными-компьютерщиками и социологами/психологами почти 50/50. Последние должны знать намного лучше, а первые должны перестать оправдываться или убрать науку из своего имени (NB: я первый).
@Shion Спасибо за награду, я полностью пропустил это :)
@ThomasH: дела настолько плохи, что у нас есть документы, призывающие к действию : см . другая направленность). И люди, наконец, потихоньку начинают действовать (по крайней мере, по воспроизводимым оценкам). Может быть, такие люди, как вы, должны сделать то же самое в вашем сообществе? Хотя делать это, конечно, намного сложнее, чем писать комментарии :-)
@Blaisorblade В сообществе HCI также есть несколько статей, но это многогранная проблема. По большей части ни авторы, ни рецензенты, ни редакторы не имеют необходимой статистической подготовки, чтобы отличить хорошую статистическую практику от плохой. Таким образом, никто по цепочке публикаций не останавливает публикацию статей, так что практика продолжается. Обзоры — это один из способов привлечь внимание к проблеме, поэтому я планирую создать раздел, посвященный статистике других людей.

Один из подходов к этому, независимо от области, состоит в том, чтобы создать структуру для размещения существующих исследований. Возможно, у вас есть два измерения: цвет (красный, зеленый, желтый) и запах (сладкий, кислый) — и вы просматриваете всю предшествующую литературу. и поместите его в «ведра» вашего фреймворка.

Что это на самом деле делает, и почему вы хотите, чтобы это было в вашей диссертации, так это создание вашего вклада. Классифицируя все предыдущие исследования, вы (надеюсь!) определили пробел, который ваша работа заполнит. Итак... тщательно выбирайте ведра!

ps, я понимаю, что это не статистический ответ, но я надеюсь, что он будет полезен или, возможно, прольет некоторый свет, который поможет вам увидеть полезный путь вперед.

Я действительно поддерживаю использование веб-сайта Cochrane Collaboration для метаанализа и систематического обзора.

Еще одним хорошим ресурсом является контрольный список PRISMA , который часто используется журналами и рецензентами в области здравоохранения при оценке статей. У PRISMA также есть хорошие рекомендации по форматированию/представлению включенных статей и созданию блок-схемы процесса рецензирования (опять же, это часто требуется в журналах, связанных со здоровьем). Удачи!

+1; пришел сюда, чтобы упомянуть PRISMA, которая разбивает весь процесс на очень четкие простые шаги и является золотым стандартом для систематических обзоров и мета-анализов. Похоже, что ОП специально ищет совет о том, что делать в области, где исследователи не любят делиться данными, хотя вы можете добавить что-то конкретное для этого.

Одно замечание, помимо очень полезных, которые вы уже получили. Хотя вы приступили к «метаанализу», который часто преследует очень конкретную цель — получить одну (или небольшое количество) сводных оценок для всей области, вам не следует прибегать к написанию «просто» систематический обзор как провал.

Вместо этого «литература в этой области не может быть статистически обобщена в ее нынешнем состоянии» следует рассматривать как открытие само по себе.

Как аспирант проводит метаанализ исследовательского вопроса?
СпросиСетьПолитика конфиденциальности1y, 0v