Когда в психологических исследованиях оправдано использование манифестных переменных вместо латентных?

В психологии большинство концепций, теорий, идей и т. д., представляющих интерес, относятся к скрытым переменным , где скрытая переменная — это переменная, которую нельзя наблюдать напрямую. Вместо этого нужно найти явную переменную , которую можно наблюдать непосредственно и которую можно использовать в качестве индикатора скрытой переменной. Если нет идеального индикатора (которого обычно нет), измерение скрытой переменной содержит ошибку. Для оценки ошибки были разработаны методы моделирования скрытых переменных, такие как CFA или Item Response Theory (среди прочих).

Теория скрытых переменных

Теперь общепризнано, что такие переменные, как возраст и пол, проявляются. Но в чем разница между скрытой и явной переменной? Borsboom (2008) объясняет эту разницу. В его теории скрытых переменных различие зависит от уверенности, с которой можно сделать вывод из наблюдаемых данных в отношении рассматриваемой переменной. В этом смысле проявляется такая переменная, как пол, потому что можно с уверенностью сделать вывод, является ли субъект мужчиной или женщиной, исходя из его или ее ответов на вопросник. Обратите внимание, что это возможно, даже если на самом деле никто не наблюдалпол этого субъекта. Изложение Борсбумом теории скрытых переменных также подразумевает, что статус переменной как скрытой по сравнению с явной может меняться со временем, если, например, становится доступным больше информации. Но пока переменная проявилась, она остается латентной.

Таким образом, мне кажется, что почти каждый исследователь в области психологии должен использовать методы моделирования скрытых переменных, поскольку в большинстве случаев вообще невозможно сделать какой-либо вывод с уверенностью. Однако это явно не так. Существует множество опубликованных статей, в которых используются манифестные переменные и анализируются взаимосвязи между ними без учета ошибки измерения, тем самым неявно делая рассматриваемую скрытую переменную манифестной переменной. (Если кому-то нужны цитаты для этого утверждения, я с радостью предоставлю их.)

Вопрос: При каких обстоятельствах использование манифестных переменных вместо латентных в психологических исследованиях оправдано, даже если ясно, что переменные могут быть измерены только с ошибкой?

Борсбум, Д. (2008). Теория скрытых переменных. Измерение: междисциплинарные исследования и перспективы , 6 (1-2), 25-53. PDF

Вас может заинтересовать классическая статья Ли Кронбаха «Две дисциплины научной психологии». Кажется, Деннис Борсбум тоже что-то писал об этом.
Кстати, то, как вы формулируете свой вопрос, кажется, предполагает, что вы смотрите на это с точки зрения психометрии / психологии личности. Глядя на это с точки зрения экспериментальной психологии, вы могли бы точно так же спросить: действительно ли весь технический багаж, сбор данных и т. д., необходимые для латентной переменной, того стоят?
@GaëlLaurans: Это правда, что я подошел к этому вопросу с точки зрения психометрии. Но мой вопрос в конце имел в виду именно то, что вы предлагаете: в каких случаях подход со скрытой переменной не так полезен? Я понимаю, что это означает, что я предполагаю, что в большинстве случаев это полезно. (спасибо за подсказку с бумагой, поищу.)
@GaëlLaurans: Я не думаю, что с точки зрения экспериментальной психологии требуется столько дополнительных усилий, чтобы использовать подход со скрытой переменной. Вам может понадобиться дополнительный индикатор, но я думаю, что это все. Разница в том, как вы анализируете данные.
Сколько психологов-экспериментаторов вы знаете? Вы читаете журналы по экспериментальной психологии? Вы говорите так, как будто это не так уж и много, но знание / изучение техник вообще требует больших усилий. Справиться с тем фактом, что вас интересуют реакции участников на различные стимулы (в отличие от характеристик), также непросто, и большая часть литературы/вводного материала по скрытым переменным в основном неуместна. Я также думаю, что для получения разумных результатов потребуются более крупные выборки, чем типичные психологические эксперименты (многие имеют N = от 10 до 40).
Мне кажется, это становится немного не по теме. Мой вопрос был искренним, я хотел получить ответы от людей на этом сайте на то, что, по их мнению, может быть психологическими вопросами, которые можно/должно исследовать с использованием переменных манифеста. Однако я не хотел никого принижать или преуменьшать экспериментальную психологию, в чем, как мне кажется, вы меня обвиняете. Я большой сторонник эмпирической науки. Я также не думаю, что экспериментировать или изучать техники легко. И на самом деле, я согласен с большинством ваших аргументов (например, размер выборки) и у меня сложилось ощущение, что у нас схожие взгляды.

Ответы (3)

Психологи-экспериментаторы, похоже, вполне довольны работой со специальными шкалами самоотчетов по одному пункту, физиологическими показателями и т. д. с очень небольшой психометрической оценкой, поэтому, даже прежде чем говорить о полноценном подходе к моделированию латентных переменных, подтверждающем факторном анализе и т. п., вы, возможно, захотите удивляюсь, почему они кажутся относительно равнодушными к вопросам измерения в целом и почему до сих пор существует такой большой разрыв между экспериментальной психологией и психометрией.

Некоторые возможные объяснения (некоторые из них не являются очень убедительными оправданиями для отказа от моделирования скрытых переменных, но все же объясняют, почему люди довольствуются использованием явных переменных):

  • Экспериментатор может создавать (относительно) сильные эффекты. Если вы проводите эксперимент, в котором пытаетесь вызвать отвращение, показывая людям изображения отвратительных вещей, и кажется, что ваши изображения не производят измеримого эффекта, вы можете попытаться улучшить свои измерения, но вы также можете просто использовать еще более отвратительные изображения. или добавьте несколько дополнительных испытаний в свой эксперимент. С другой стороны, когда вы создаете личностный тест для целей найма, вы не можете просто желать, чтобы кандидаты больше отличались друг от друга, чтобы упростить вашу задачу, или быть довольным оценкой среднего значения всех кандидатов, вам действительно нужно назначьте оценку каждому кандидату с уровнем точности, позволяющим различать их.
  • Они полагаются на характер манипуляции и ее влияние на ответ, а не главным образом на корреляцию между различными шкалами для интерпретации своих результатов.
  • Их часто интересуют групповые различия. (Между-индивидуальные различия часто затмевают любую ошибку, связанную с предметом, так что зачем вообще беспокоиться об этом? Просто добавьте несколько участников!)
  • Они по-прежнему строят свои эксперименты как проверку какой-то «нулевой» гипотезы (есть эффект или нет?)
  • Они не очень заинтересованы в величине эффекта как таковой, что является следствием предыдущего пункта (если они и вычисляют какую-либо меру величины эффекта, то в основном с прицелом на статистическую мощность).

Короче говоря, если какое-либо статистически значимое различие расценивается как интересный результат (т. е. ваши манипуляции возымели эффект), вам не нужно слишком беспокоиться о надежности или значении ответа.

Интересно, что вы, кажется, подходите к вопросу из одного лагеря, предполагая, что моделирование скрытых переменных явно полезно, и людям нужно активно защищать себя за то, что они не делают очевидных правильных вещей. Вы также можете перевернуть вопрос и спросить: «Так ли уж полезно моделирование скрытых переменных? Что это нам дает?» В контексте, который я только что выделил, может быть не так просто сформулировать убедительный ответ.

И, конечно же, на практике многие люди просто заботятся о методологии в минимально возможной степени, чтобы заниматься своим делом, публиковаться и делать то, что они считают действительно интересным. Следовательно, многие исследователи почти не слышат о моделировании скрытых переменных после того, как они закончили свою магистерскую работу, и они даже не заботятся об этом так или иначе, потому что это просто не то, как это делается в их дисциплинах.

Я полностью согласен с вами по вопросу о психологии и психометрии. С тех пор, как я начал интересоваться этими вопросами, отсутствие заботы об измерениях озадачивало меня.

Это интересный вопрос. Вот ряд мыслей, которые пришли мне в голову по поводу того, почему исследователи могут сосредоточиться на наблюдаемых переменных.

  • Многие исследователи сообщают о надежности и наблюдаемых взаимосвязях между переменными. Приняв несколько допущений, читатель может оценить, какими будут скрытые взаимосвязи (см., например, формулу для коррекции затухания ).

  • Некоторые исследователи интерпретируют свои величины эффекта по сравнению с другими исследованиями, в которых сообщается о наблюдаемых переменных . Таким образом, размеры эффекта не интерпретируются в абсолютном выражении. В тех областях, где о величине эффекта обычно сообщают с использованием наблюдаемых переменных, эта система отсчета может иметь наибольший смысл. Тем не менее, это становится проблематичным, когда надежность варьируется между исследованиями. В этих случаях метааналитические поправки на ненадежность в стиле Хантера и Шмидта обычно приводят к более сопоставимым результатам.

  • Моделирование наблюдаемых переменных требует меньше вариантов моделирования, чем моделирование скрытых переменных. В частности, оценки отношений между скрытыми переменными зависят от допущений для оценки скрытых переменных. Если вы, как читатель, не согласны с этими предположениями, может быть трудно восстановить отношения между наблюдаемыми переменными.

  • Моделирование наблюдаемых переменных проще, чем моделирование скрытых переменных. Это помогает объяснить, почему многие исследователи сообщают о корреляционных матрицах и регрессиях в психологии, а не об эквивалентах скрытых переменных. Однако все может стать намного сложнее, когда вы выходите за рамки стандартных многомерных нормальных контекстов SEM: например, включение категориальных переменных, модераторных эффектов, латентных переменных, которые плохо определены, нелинейных эффектов, ненормальной дисперсии ошибок, коррелированной дисперсии ошибок. , и так далее. Понятно, что некоторые исследователи социальных наук возвращаются к более знакомой территории моделирования наблюдаемых переменных кусочно. Однако, хотя это и объяснение, исследователи все равно должны стремиться моделировать данные более комплексно и реалистично.

  • В конечном счете, именно исследователь решает, хотят ли они сделать выводы о взаимосвязях между наблюдаемыми или скрытыми переменными . Хотя в некоторых контекстах предполагается, что исследователь должен быть заинтересован в лежащей в основе конструкции, решение остается за исследователем.

  • Отношения между наблюдаемыми переменными иногда представляют в первую очередь интерес . Некоторые примеры: (а) экспериментальные условия; (б) когда исследователи заинтересованы в прикладном прогнозировании; в) когда исследователей интересует сама наблюдаемая переменная.

  • То, моделируют ли исследователи скрытые переменные, по-видимому, связаны с предметной областью . В частности, моделирование скрытых переменных, по-видимому, особенно популярно в областях с большими выборками, схемами наблюдения, в которых используются самооценка или психологические шкалы с множественным выбором. В таких контекстах предположение, что наблюдаемые переменные являются случайной выборкой возможных наблюдаемых переменных и являются проявлением латентной переменной, часто кажется более подходящим. Легко представить, какие альтернативные элементы можно было бы собрать, и как можно было бы повысить надежность, если бы было включено больше элементов. Интересно подумать, почему это так, и есть ли области, которые выиграли бы от более широкого включения моделирования скрытых переменных.

  • Часто интересующая скрытая переменная не является переменной, подразумеваемой взаимной корреляцией наблюдаемых переменных . Например, латентный фактор, лежащий в основе набора элементов экстраверсии самоотчета, не будет истинной экстраверсией. Я могу концептуализировать истинную экстраверсию, которую можно было бы рассчитать, если бы удалось объединить все, что можно было бы узнать о поведении человека, его мыслях, физиологии и закономерностях его окружения. Однако фактор, лежащий в основе взаимосвязей пунктов самоотчета, не будет этим фактором. Несмотря на то, что оценка взаимосвязей имеет смысл, если бы была достигнута абсолютная надежность, это не должно освобождать нас от попыток оценить фактическую скрытую интересующую переменную.

  • Исправление ошибки измерения не должно останавливать исследователей от попыток повысить надежность и достоверность измерения. Поправка на ненадежность не так хороша, как надежное измерение.

Значение скрытых переменных имеет неприятную обратную сторону: они меняются между выборками, потому что они соответствуют наблюдаемой корреляционной матрице (вероятно, только искажают значение, но определенно меняются от выборки к выборке).

При этом я бы сказал, что лучше всего использовать переменные манифеста при использовании стандартной шкалы, в которой вы собираетесь сравнивать свои результаты с другими, использующими эту стандартную шкалу.

Другая причина использования переменных манифеста — наличие установленных точек отсечения, которые вы хотите использовать.

Я бы использовал скрытую переменную для всего, что сварено в домашних условиях, или для любой конструкции, на которой я собрал несколько шкал/других индикаторов.