Обоснование небольшого размера набора данных из-за трудностей сбора

Я работаю в эмпирической области, и недавно у меня был документ об усилиях по сбору данных и их последующем анализе, который был предварительно принят при условии внесения изменений. Негативное замечание, с которым труднее всего справиться, заключается в том, что набор данных, который я получил, считался относительно небольшим; Как я могу обоснованно обосновать небольшой размер набора данных из-за практических трудностей в получении данных?

Я не могу собрать больше данных о деньгах, рабочей силе или даже времени... все это более или менее составляет "исследовательский капитал". Я видел другие используемые наборы данных, которые не намного больше, но есть также корпуса, которые значительно больше. Точно так же некоторые наборы данных очень похожи, а другие совершенно не связаны с моим. Наконец, хотя некоторые корпуса находятся в свободном доступе, для большинства статей в моей области довольно редко в публикациях явно указывается, как можно получить данные для своих собственных целей, и поэтому реальная возможность даже получить данные второстепенна. рука кажется пятнистой.

По сути, мне нужно было бы переформулировать приведенный выше абзац в какой-то форме, которую я мог бы изложить в документе, нуждающемся в пересмотре; Что я могу сделать?

Это сводится к статистике, в частности к анализу мощности. Либо ваш набор данных достаточно велик, чтобы подтвердить ваши выводы с разумной уверенностью, либо нет. Трудности с получением данных не имеют отношения к этому вопросу. Однако рецензент не отклонил рукопись, не так ли?
@ Роланд, нет, никто из рецензентов не отклонил статью, но было много замечаний по поводу того, что мне нужно решить. Большинство из них не являются проблемой, но это то, с чем я действительно «мало что могу поделать», кроме как, как вы рекомендовали, доказать, что, по крайней мере, результаты этого конкретного исследования значимы. Тем не менее, документ был в первую очередь о самом наборе данных, поэтому, если он не подлежит повторному использованию, то это огромная черная метка против него.
«Однако документ был в первую очередь о самом наборе данных». Всегда есть аргумент «это полезно для метаанализа», если данные достаточно редки.
Может ли быть так, что рецензент хочет, чтобы вы признали и обсудили проблемы небольшого размера выборки, т. е. недостаточно мощное исследование может привести к завышению величины эффекта и, следовательно, к ложноположительному результату?
@ Марк, да, возможно, я не думал об этом. Комментарии были не директивами типа «добавьте точные значения p и опишите, как вы определили доверительные интервалы», а скорее фактическими «комментариями», например, «набор данных довольно мал…».
@ Роланд, да, именно моя точка зрения: я разговаривал с другими людьми, проводящими аналогичные исследования, и сбор данных чрезвычайно сложен, поэтому я надеялся, что есть академический способ «доказать» эту трудность.

Ответы (2)

Этот ответ расширит некоторые примечания в комментариях и ответ OldDoc. Я бы предложил три вещи:

  1. В разделе данных подтвердите, что размер выборки относительно невелик. Обратите внимание, что это соответствует другой опубликованной работе, посвященной этому вопросу, и что сбор данных, связанных с этим вопросом, сталкивается с проблемами A, B, C... Объясните, что анализ и обсуждение будут касаться относительно небольшого размера выборки.
  2. В разделе «Анализ/результаты» обязательно укажите p-значения и доверительные интервалы. Цель состоит в том, чтобы учесть небольшую выборку в статистическом анализе.
  3. В ходе обсуждения объясните, как небольшой размер выборки влияет на силу/вашу уверенность в своих результатах и ​​на обобщение выводов. Помогите читателю понять, каким образом небольшая выборка является ограничением для вашей работы, не продавая ее подешевле.

Как уже было сказано, статистический анализ вашего набора данных прояснит, с какой уверенностью и точностью вы можете делать выводы. Это неотъемлемая часть ароматического процесса.

В частности, в естественных науках сбор данных может быть проблематичным и ограниченным по времени и бюджету, но сообщество знает об этом, как и ваш рецензент.

Все, что требуется, — это сообщить о своих выводах должным образом, даже если вам не обязательно нравится ответ! В экстремальных обстоятельствах у вас могут быть наборы данных, которые настолько скудны или разнообразны, что вам просто нужно больше работы. Бывает.

Наука развивается благодаря знанию, которое включает далеко не оптимальные данные, так же как и помощь тем, кто приходит после вас, добивается большего успеха, объясняя в своей статье, как вы могли бы улучшить свой собственный подход.

Я согласен, что рецензент, вероятно, просит такого рода анализ, а не почему вы не смогли выполнить столько работы, сколько хотели бы.