Как анализировать время реакции и точность вместе?

Есть ли хороший способ одновременного анализа времени реакции и точности, кроме MANOVA ?

У меня есть данные эксперимента, в котором участники должны были реагировать на стимулы в двух разных условиях в рамках внутрисубъектного дизайна. И у меня сложилось впечатление, что некоторые испытуемые различаются по точности между этими двумя условиями, а другие — по времени реакции. Как я могу проверить такую ​​гипотезу?

Вы также можете взглянуть на этот вопрос для вдохновения.

Ответы (6)

Документ, сравнивающий производительность Inverse Efficiency Score и моделей диффузии для количественного определения RT и точности, можно найти здесь .

Рэйч и др. (2011) «О количественной оценке эффектов мультисенсорного взаимодействия во времени реакции и скорости обнаружения» Psychological Research Volume 75, Number 2, 77-94, DOI , PDF

MANOVA определенно плохая идея, учитывая, что один dv непрерывен, а другой биномиален. Изучив ряд различных подходов к объединению данных RT и точности, я пришел к выводу, что наилучший из существующих подходов заключается в использовании модели линейного баллистического аккумулятора (например, см. Donkin et al 2011).

LBA — это простая (структурно и в вычислительном отношении) структура, которая позволяет вам говорить о различных процессах (эффективность обработки информации в сравнении с критерием отклика), которые совместно вносят вклад в данные о RT и ошибках.

использованная литература

  • Донкин, К., Браун, С. и Хиткот, А. (2011). Выводы из моделей времени отклика при выборе: учебное пособие с использованием линейного баллистического аккумулятора. Журнал математической психологии, 55, 140-151. PDF
Спасибо, Майк. Почему вы предпочитаете LBA диффузионной модели Рэтклиффа?
В настоящее время я предпочитаю LBA, потому что он проще/быстрее в вычислительном отношении и потому что я не видел демонстраций случаев, когда диффузия может соответствовать данным, которые не может LBA.

Существует множество моделей, определяющих точность и RT, которые были довольно хорошо протестированы, и LBA, вероятно, в порядке (я не использовал его). Если вы не хотите заходить так далеко, есть довольно простой способ анализа данных, контролирующий SAT, который имеет гораздо лучшие математические свойства, чем оценки IE (которые, как сказал Майк, были названы мной, но небрежно предложены Townsend & Asby, легко концептуализируется как связанная со старыми показателями скорости информации, сохраняющими постоянную информацию, и, вероятно, больше всего популяризирована Шором).

Первая проблема с преобразованием IE (RT в мс ÷ правильная пропорция) заключается в том, что оно предполагает линейную зависимость между RT и соотв. Это явно не так. Хотя часто можно добиться линейной зависимости между предиктором и RT, связь между предиктором и точностью неизменно является оживой. Можно сделать его гораздо более линейным, преобразовав точность в логит или логарифмическую вероятность (имейте в виду, что точность, а в большинстве случаев даже RT, являются ПОЛНОСТЬЮ произвольными представлениями того, что они измеряют). Кроме того, rt имеет гораздо лучшие статистические свойства, представленные в виде ответов в секунду, чем в секундах на ответ. Таким образом, если взять 1/rt в секундах, эти данные станут более нормальными. Таким образом, логит-/обратные RT-оценки могут быть лучшим преобразованием. Но это все равно трансформация в какую-то неизвестную партитуру...

Но... если вы собираетесь зайти так далеко, почему бы просто не смоделировать логистическую регрессию на RT в каждом условии? Затем вы можете сохранить константу RT для каждого условия (возможно, среднее значение) и посмотреть на изменения прогнозируемой точности в зависимости от условий. Это был бы разумный способ объединить их.

Единственная проблема, с которой я столкнулся с последним, заключается в том, что все дело в переднем крае вашего дистрибутива RT. Вам нужно отрубить все после асимптот точности. Если то, что вы намеревались измерить, является немедленным ответом на стимул, тогда это прекрасно. Если вы хотите зафиксировать что-то о хвостах дистрибутивов, это может быть не очень хорошо представлено, но вы можете посмотреть на это отдельно. Вы можете сохранить эти более поздние данные, просто сделав логистическую регрессию квадратичной. С другой стороны, одно преимущество, которое вы получаете, заключается в том, что вы фактически используете все ранние RT с низкой точностью.

Этот метод требует этих RT с низкой точностью, поэтому вам, как правило, нужно поощрять скорость в эксперименте. Это также должно быть сделано с любым преобразованием или моделью RT и точностью, потому что вам нужно иметь некоторую дисперсию точности для работы.

(одна вещь, которую я не пробовал, но которая, вероятно, сработает, — это просто ввести RT в многоуровневую логистическую регрессию точности. Если вы включите его в качестве условия взаимодействия, вы сможете затем изучить прогнозируемые оценки, сохраняя его постоянным.)

Рассмотрение плюсов и минусов использования биномиальной модели смешанных эффектов точности в зависимости от RT и других предикторов — это один из проектов, который я запланировал перед этим обсуждением для нашего студента, изучающего летнюю статистику, хотя я подумываю рассмотреть как линейные, так и линейные модели. и обобщенные аддитивные модели воздействия РТ.
Я не совсем понял, какой из упомянутых подходов предлагает Таунсенд и Эшби. Тот, который вы назвали ЛОЖЬЮ? :)
Что касается вашего предложения моделировать логистическую регрессию на RT в каждом условии. Вы имеете в виду регрессию ответа на ЛТ (или его трансформацию), состояние и его взаимодействие? Это должно отражать различия в функциях компромисса между скоростью и точностью, но кажется, что такая модель упустит различия в RT, если SATF одинакова в обоих условиях.
Павел, LIE - это мое собственное предложение для улучшенной реализации преобразования, предложенного T&A, которое теперь просто выполняется как rt в ms / acc (пропорция - оценка IE). Предложение логистической регрессии будет чувствительно к rt, потому что тогда вы анализируете точность при фиксированном rt, используя предсказанные значения из регрессии. Если rt менялся, а SAT оставался прежним, это будет отражаться в различных показателях точности при этом rt.
Да, верно. Я предполагаю, что можно придумать теоретические ситуации с немонотонными SATF, но я думаю, что логистическая регрессия такого рода должна хорошо работать для большинства практических целей. Спасибо.
@John: Не могли бы вы дать ссылку на практический пример, в котором авторы «моделировали логистическую регрессию на основе RT в каждом условии»? Я был бы очень признателен за это.
Я не знаю ни одного. Я полагаю, что до тех пор, пока Эннс впервые не использовал его, не было никаких оценок IE. После этого я использовал его в своей диссертации и назвал его баллами IE. Почему бы не быть первым?

Другой возможный подход заключается в использовании модели EZ-диффузии, предложенной Wagenmaker, van der Mass and Grasman (2007) . Цитируя Brown & Heathcote (2008; стр. 4) :

Эта модель чрезвычайно проста, с одним источником изменчивости в накоплении доказательств — случайностью внутри исследования — и простым линейным накоплением (хотя доказательства одного ответа учитываются против другого). Модель EZ-диффузии еще проще, чем LBA, но она неполна. Wagenmaker et al. предложил EZ-диффузию как описательную, а не процессную модель, с целью как можно более простого адекватного описания данных. Компромисс при разработке такой простой модели заключался в том, что она не могла объяснить некоторые эмпирические явления в выборе RT, такие как относительная скорость правильных и неправильных ответов.

Недавно у меня была похожая проблема, и я использовал показатели обратной эффективности (IE). Эти баллы были получены путем деления времени ответа на коэффициент правильного ответа отдельно для каждого условия таким образом, что чем выше балл, тем хуже работа. Таким образом, вы получаете что-то вроде оценки «скорректированного времени реакции». Вот пример бумаги, в которой он используется — проверьте Эксперимент 2 на странице 144:

Петрини, К., Макалир, П., и Поллик, Ф.Е. (2010). Аудиовизуальная интеграция эмоциональных сигналов музыкальной импровизации не зависит от временного соответствия . Исследование мозга , 1323 , 139-148.

К сожалению, обратная эффективность предполагает конкретное масштабирование RT и частоты ошибок, которое полностью не поддерживается. Даже доктор Джон Кристи, мой коллега, который дал название IE, с тех пор стал полностью выступать против его использования.
Приятно знать, @Mike, спасибо. Я попробую IBA, когда разберусь с этим. Интересно, что в нескольких статьях, исследующих мультисенсорную интеграцию эмоциональной информации (статья выше и эта другая статья ), вы можете найти использование IE в качестве стандартной процедуры...
IE стал прискорбным стандартом в некоторых областях, я подозреваю, отчасти потому, что он кажется несколько интуитивно понятным и, безусловно, является простым «решением» досадной проблемы сочетания скорости и точности. По общему признанию, у меня нет данных, явно демонстрирующих несостоятельность масштабирования скорости и точности, предполагаемого IE (хотя теперь я думаю, что поручу студенту сгенерировать эти данные с помощью моделирования этим летом), но было бы довольно примечательно, если бы простое масштабирование IE, которое, по крайней мере, довольно сомнительно моделирует точность как пропорцию (см. Диксон, 2008, «Модели точности...»), оказывается верным.
Я думаю, что после того, как я побывал в присутствии многих людей, использующих его, включая меня, он стал обычным явлением, потому что он может усилить ваши эффекты и сделать так, что очень трудно объяснить SAT исчезнет. Ни то, ни другое не является веской причиной что-либо делать.

Как упоминалось в других комментариях, ANOVA проблематичен при смешивании типов переменных-предикторов. (Обобщенные) модели смешанных эффектов набирают популярность в наши дни и на самом деле предоставляют очень удобный способ моделирования таких вещей. Документ, демонстрирующий эффективность этого подхода, а также вводное введение в виде учебного пособия:

Дэвидсон, DJ и А. Е. Мартин (2013). Точность моделирования как функция времени отклика с помощью обобщенной линейной модели смешанных эффектов. Acta Psychologica, 144:83–96.

Также есть связанный пост на CrossValidated.

Как анализировать время реакции и точность вместе?
СпросиСетьПолитика конфиденциальности1y, 0v