В пилотном исследовании мы хотим дать участникам 3 разные задачи. Они бывают двух версий, одна (предположительно) проще другой. Участникам случайным образом будет назначена одна версия задач. Цель состоит в том, чтобы сравнить производительность на каждой версии каждой из задач. Однако проблема может заключаться в том, что если действительно одна версия проще, предоставление некоторым участникам трехкратной упрощенной версии, а другим — трехкратной жесткой версии может повлиять на их мотивацию. Участники со сложными проблемами могут стать более истощенными и демотивированными и, возможно, не будут так усердно работать над каждой следующей проблемой.
Одним из решений было бы рандомизировать задание для каждой задачи независимо друг от друга, чтобы участники могли получить в два раза более простую версию и один раз более сложную, или любую другую комбинацию.
Можно ли это рекомендовать с методологической точки зрения? Можно ли считать наблюдения независимыми при сравнении двух условий? Или есть другой способ обойти эту проблему?
Это зависит от того, что вы хотите исследовать.
Вас волнует, что произойдет, если одному человеку зададут два сложных вопроса, а другому — два простых? Если да, запишите его для анализа. Если нет, контролируйте это, следя за тем, чтобы каждый участник получил одинаковое количество простых и сложных задач.
Вас волнует, есть ли эффекты упорядочивания? Если да, запишите эти данные для анализа. Если нет, то контролируйте это, гарантируя, что каждый участник получает набор вопросов, классифицированных в том же порядке. Например, стандартизируйте ЛЕГКО-СЛОЖНО-ЛЕГКО и случайным образом назначайте задачи каждой классификации.