В большинстве ресурсов упоминается использование 20 «тренировочных» испытаний, классифицирующих как цели, так и атрибуты, за которыми следуют 40 «реальных» испытаний, классифицирующих как цели, так и атрибуты. Обратите внимание, что это после тренировки только с целями и атрибутами. Есть ли недостаток в использовании более 20/40 испытаний? (Я знаю, что некоторые рекомендуют использовать дополнительные практические испытания при изучении нового назначения цели/кнопки.)
Основная угроза валидности дизайна от увеличения количества испытаний в любом эксперименте исходит от мотивации и внимания участников. Посидев какое-то время перед монитором, участники устают, как и все. Поэтому, как правило, сеанс не должен длиться более 40 минут без перерывов, если это возможно. Однако вместо того, чтобы следовать моему анекдотичному совету, я предлагаю вам провести запланированный анализ, чтобы проверить и/или контролировать любое снижение производительности.
Учитывая недавние события, может показаться, что в использовании типичного обычно больше недостатков , чем в его неиспользовании . В последние несколько лет методологические скелеты вываливались из шкафа один за другим, и, как мы видим в недавних усилиях по открытому доступу, таких как Many Labs , мощность имеет значение.
Вместо того, чтобы использовать проверенное и (возможно, возможно) верное, проведите анализ мощности, чтобы определить свою способность обнаруживать размер эффекта той величины, которую вы ожидаете найти, и соответствующим образом установите размер выборки и продолжительность испытания. Если вы не обнаружите эффект или эффект другого размера в хорошо проработанном исследовании, что ж, в наши дни это в основном можно опубликовать. Особенно, если вы предварительно зарегистрировались!
Кроме того, сбор большего количества данных редко имеет обратную сторону, при условии, что ваша статистическая методология соответствует вашему исследовательскому вопросу, и вы знаете, как правильно ее интерпретировать. Чем больше наблюдений вы делаете, тем увереннее вы можете быть в своих все более узких выводах. Если производительность существенно снизится, это будет отражено в данных.
пользователь3116