Я планирую провести психологический онлайн-эксперимент, в котором участники должны узнать о различных смоделированных средах, а затем сделать о них выводы. Поскольку завершение эксперимента потребовало бы нетривиального количества внимания и времени, я обдумывал идею дать личную обратную связь в конце эксперимента (т. е. использовать геймификацию).
Я рассматриваю возможность дать участникам отзывы о том, как их ответы соотносятся с прогнозами нашей вычислительной модели и/или со средним значением. Есть надежда, что получение «оценки», даже если ясно, что такая оценка не является оценочной или абсолютной, заставит людей уделять больше внимания и повысит вероятность выполнения задания. Обратная связь будет предложена только после самого эксперимента, и ее точная природа не будет раскрыта до этого времени. Более того, я бы не стал указывать, как получаются наши прогнозируемые оценки. Вычисление точных значений вручную заняло бы чрезвычайно много времени, поэтому, даже если объяснение вывода объяснено, я не понимаю, как кто-то может реально предвзято относиться к своим ответам с помощью этих знаний.
Этика обратной связи:
Этический кодекс APA (2010 г.), а также отчет Консультативной группы по проведению исследований в Интернете (AGCRI) (2004 г.) обобщают этические проблемы, связанные с проведением психологических исследований в автономном режиме и в Интернете. Обратная связь является нормальным явлением в психологических экспериментах, и исследователям рекомендуется опрашивать участников до, сразу после или как только это разумно позволяет проводимое исследование, не рискуя повлиять на результаты.
Предложения по исследованиям должны пройти проверку Институционального наблюдательного совета (IRB) до их инициирования. Соображение в отношении обратной связи заключается в том, что если она может быть разумно истолкована участниками как положительно-отрицательная (т. е. обратная связь может рассматриваться как нейтральное измерение (примером может служить такая черта личности, как принадлежность к интровертно-экстравертному измерению), то это вряд ли вызовет какое-либо беспокойство.
Эффект мотивации:
Разумеется, обратная связь, предоставленная после завершения задачи, не может повлиять на выполнение задачи. Предположительно, однако, обещание или ожидание обратной связи в конце задачи может иметь эффект. Не зная характера исследования, общие выводы о влиянии стимулов на результаты сводятся к тому, что ими можно пренебречь, если они вообще есть. Например, Мейсон и Уоттс (2009) обнаружили, что «точность ... не отличается достоверно для разных заработков», и аналогичным образом обзор онлайн-исследований, проведенных на Mechanical Turk (2011) , сообщает, что «большинство работников не мотивированы в первую очередь финансовую отдачу и искренне заботятся о качестве своей работы», а достоверность результатов довольно высока после применения некоторой базовой фильтрации спама.
Тем не менее, я бы порекомендовал проверить эффект выбранного вами стимула, если это вообще возможно. Это можно сделать либо путем сравнения результатов немотивированных участников с результатами мотивированных участников, либо путем проверки достоверности — например, в опросах обычной практикой является включение нескольких вопросов с одинаковым значением, но разными формулировками, чтобы убедиться, что все они получают одинаковые ответы. подтверждения того, что ответы являются законными, а не просто попытки пройти опрос как можно быстрее.
Скорость завершения:
Влияние стимулов на выполнение задачи в целом очень неоднозначно. Онлайн-исследования постоянно показывают более широкое участие в более высокооплачиваемых экспериментах, но для неденежных стимулов результаты более сложны. Эффект чрезмерного обоснования — это пример, когда поощрения могут фактически снизить скорость выполнения задач или качество выполнения, хотя на практике этот эффект не очень устойчив. Houmanfar и Hayes (1998) сообщают, что «результаты показали отсутствие влияния ни частных, ни публичных отзывов на выполнение задачи», Conrad et al (2010) считают, что «обратная связь может улучшить их опыт, хотя и не обязательно их показатели выполнения».
Однако разница между простой оценкой в конце эксперимента и более типичными понятиями геймификации может быть значительной. В целом геймификация оказывает положительное влияние . Геймификация обычно включает в себя множество интерактивных функций, которые используются на протяжении всей задачи. Поэтому, если это вообще возможно, я бы рекомендовал включить, скажем, индикатор прогресса, систему значков, сюжетную линию или любую другую функцию геймификации, которую можно разумно добавить. Обратите внимание, что функции геймификации не всегда успешны, поэтому может потребоваться некоторое экспериментирование, чтобы определить, что лучше всего работает в вашей конкретной ситуации.
Неусловные поощрения:
Последнее замечание: вы не упомянули, будет ли обратная связь зависеть от завершения эксперимента. Хотя идея поощрения только за выполнение задачи может показаться интуитивно разумной, существуют убедительные доказательства того, что необусловленные стимулы, как правило, более эффективны. Например, если вы обещаете поставить оценку только по завершению задачи, то меньшее количество людей может попытаться выполнить задачу, чем если бы вы обещаете поставить оценку независимо от нее, и даже если показатели завершения намного ниже, вы можете получить более высокое участие в целом. Скажем, только 10 человек попытаются выполнить задачу за условное поощрение, и у них будет 50% выполненных заданий, тогда вы получите 5 результатов. С другой стороны, если 100 человек попытаются выполнить задачу за непредвиденное поощрение и имеют гораздо более низкий уровень завершения 10%, то вы получите 10 результатов — в два раза больше. Стоит рассмотреть, я бы сказал.
Артем Казначчеев
Джефф
Джефф
Кристиан Хаммелур
фауст