Приписывание изменений в DV манипуляциям с IV: между группами (контрольная группа) и смешанной моделью (измерение до и после)

Часто можно увидеть исследователей, приписывающих изменение зависимой переменной своим экспериментальным манипуляциям, по-видимому, не принимая во внимание, происходит ли это изменение DV между группами или внутри групп.

Например, в классической работе Bargh et al. (1996) о поведенческом прайминге испытуемым в экспериментальной группе показывали простые слова, напоминающие стереотипы старости (например, «забывчивость»), в то время как испытуемым в контрольной группе показывали нейтральные слова. Была измерена скорость ходьбы всех, когда они покидали эксперимент, и, поскольку первая группа была медленнее, был сделан вывод, что ввод людей в действие словами, относящимися к определенному понятию (в данном случае: старости), заставляет их бессознательно приобретать характеристики этого понятия ( в этом случае: идти медленнее).

Однако мне приходит в голову вопрос: откуда мы знаем, что средняя разница в скорости ходьбы не связана только с ранее существовавшими (исходными) различиями между группами? Как мы можем быть уверены, что это связано с манипуляцией IV (разные простые числа слов)?

Для меня правдоподобным доказательством этого утверждения было бы, если бы они измерили скорость каждого до и после эксперимента, а затем обнаружили взаимодействие, показывающее, что, в то время как скорость контрольной группы оставалась неизменной до и после, скорость группы пожилого возраста. уменьшилось. Без такого взаимодействия (включая использование смешанной модели между-внутри) является ли вывод авторов только между группами статистически правильным?

Ответы (2)

Есть короткий прямой ответ и более подробный ответ.

Короткий ответ заключается в том, что люди были случайным образом распределены по двум группам. Любые базовые различия между людьми с одинаковой вероятностью повлияют на обе группы. Будут ли еще отличия? Абсолютно. Вот почему исследователи используют статистический вывод, чтобы исключить возможность того, что исходные различия ответственны за наблюдаемые различия.

Более детальный ответзаключается в том, что мы не можем быть уверены, что наблюдаемые различия не вызваны этими случайными базовыми различиями. В любом эксперименте всегда будет шум, вызывающий различия в группах. Когда исследователи используют статистический вывод, они не могут с уверенностью сказать, что эффект был вызван манипуляцией. Они просто оценивают вероятность того, что случайный шум может объяснить данные. Если вероятность того, что случайный шум сможет объяснить данные, очень мала, то исследователи утверждают, что манипуляция возымела действие. Однако это вероятностный вывод, и иногда исследователи ошибаются, и разница действительно связана с шумом. Внутрисубъектный дизайн помогает удалить часть этого шума, но не весь, потому что люди меняются со временем, даже в течение короткого промежутка времени эксперимента по социальному праймингу.

Я понимаю ваш ответ, но не уверен, что согласен с ним. Случайное распределение испытуемых по группам не гарантирует отсутствие базовой разницы, которую нужно было бы проверять заранее в качестве «предварительной» меры, эффективно превращая план в смешанную модель, которая может доказать взаимодействие прайминг x момент времени, как я предлагал в моем первоначальном посте.
Я ожидал, что защита их дисперсионного анализа между субъектами заключается в члене SS между субъектами, учитывающем «попадание» для учета шума, и, таким образом, p-значение основного эффекта условия запуска становится, по сути, , с поправкой на неопределенность из-за этого шума. Однако даже в этом случае мне кажется, что эффект проявляется гораздо лучше благодаря взаимодействию с фактором до и после эксперимента.
Вы правы в том, что случайное распределение не гарантирует отсутствие базовой разницы. Фактически, при случайном назначении почти всегда будет некоторая базовая разница. Но логическая статистика используется, чтобы увидеть, можно ли объяснить различия между группами случайной вариацией из-за исходных различий, или же эффект манипуляции настолько силен, что маловероятно, что исходные различия могут объяснить результат.
Еще один момент, более характерный для этого эксперимента, заключается в том, что внутри предметных конструкций есть недостатки. Во-первых, вы можете дать испытуемым больше информации, чем вам хотелось бы. Возможно, было бы трудно измерить скорость ходьбы контролируемым, но незаметным способом до теста и после теста, не вызывая подозрений.

Извините за мой английский, я постараюсь объяснить. Ключевой концепцией здесь является «рандомизация», которая включает в себя случайное распределение испытуемых по разным группам. Если рандомизация проведена хорошо, это гарантирует, что ваши группы будут «эквивалентны» по всем другим факторам, которые не были явно учтены в плане эксперимента. Таким образом, теоретически не должно быть никакой разницы в вашем предварительном тесте между группами, а разница между группами в пост-тесте должна учитываться только манипулированием вашим VI.

но, безусловно, единственный способ убедиться в том, что рандомизация, т. е. балансировка групп в данном случае, выполнена правильно, — это также заранее проверить DV; что в конечном итоге будет эквивалентно смешанной модели, которую я описывал, верно?
Теоретически, если рандомизация выполнена правильно, и условия были одинаковыми (или, по крайней мере, очень-очень похожими) для обеих групп, за исключением, конечно, манипуляций с VI, тогда обе группы должны быть равны при каждом предварительном тестировании. по каждой переменной. Теперь, если вы не уверены, что условия одинаковы или что ваша рандомизация была выполнена неправильно, вы можете проверить, равны ли обе группы. Основная проблема заключается в том, что вы должны не только проверять, равны ли они на вашем DV, но и на всех найденных переменных... Это требует времени и усилий. Вот почему вы должны быть очень осторожны
Приписывание изменений в DV манипуляциям с IV: между группами (контрольная группа) и смешанной моделью (измерение до и после)
СпросиСетьПолитика конфиденциальности1y, 0v