Говоря о конструктах и ​​мерах, я считаю, что разница ясна и подразумевается в вашем опыте: конструкты — это то, что нельзя измерить напрямую (но мы предполагаем, что они существуют), а меры — это непосредственно измеримые атрибуты, которые, как мы предполагаем, связаны с конструктом. Процесс, который вы ставите под сомнение, — это процесс операционального определения , или процесс определения того, что не может быть измерено (конструкт), как того, что может быть измерено (измерение). Ваша обеспокоенность тем, что они не эквивалентны, совершенно верна, и многие статьи написаны с единственной целью объяснить, почему определенная мера соответствует теоретической конструкции (процесс проверки измерения и установления достоверности конструкции).

Что касается того, почему необходимы операционные определения, то прямой ответ прост: коммуникация. Поскольку конструкции не поддаются измерению (во многих случаях), необходимо использовать какой-либо тип операционализации. Если на конструкцию делается несколько заявлений, каждое из которых использует разные операционные определения, результаты могут быть противоречивыми исключительно из-за различий в операционных определениях, данных разными исследователями! (Письмо об образовании, 2013 г.)

Использование операционных определений вместо простого перечисления конструкции может помочь исследователям лучше определить, какие результаты должны быть сопоставимы. Помните, что каждое из этих определений может быть проверено, но различия в измерениях, естественно, приведут к различиям в данных, которые могут не иметь отношения к конструкту. В этом суть недействительности конструкции (Groves et al., 2009).

Мне всегда нравились основополагающие статьи, и вас может заинтересовать основополагающая работа, определяющая валидность конструкции (и отличающая ее от других типов) Ли Кронбаха и Пола Мила.

«Конструктивная валидность обычно изучается, когда тестировщик не имеет определенного критерия измерения качества, с которым он связан, и должен использовать косвенные меры. оценки по критериям» (Cronbach & Meehl, 1955, стр. 282).

Похоже, у вас могут возникнуть проблемы с применением правильных проверок достоверности и применением правильных типов достоверности в правильных ситуациях.

Я надеюсь, что это поможет прояснить нюансы очень сложного вопроса! Возможно, суть вопроса/решения заключается в следующем: хотя конструкции и операционные определения конструкций взаимозаменяемы, этого не должно быть.

использованная литература

Кронбах, Л.Дж., и Мил, ЧП (1955). Построить валидность в психологических тестах. Психологический бюллетень, 52 (4), 281–302.

Гровс, Р.М., Фаулер, Ф.Дж., младший, Купер, М.П., ​​Лепковски, Дж.М., Сингер, Э., и Туранжо, Р. (2009). Методология обследования (Том 2). Джон Уайли и сыновья.

Общая наука; новые результаты, полученные в Университете Карнеги-Меллона, описывают достижения в общей науке. (2013). Письмо об образовании, 90.

Заранее извиняюсь за долгий ответ. Я попытался сузить рамки, сосредоточившись только на одной конструкции и только на одном аспекте достоверности, и все равно получилось как эссе...

Возьмем в качестве примера разведывательные исследования. Эта работа началась с понятия интеллекта – достаточно расплывчатого и неоднозначного представления о черте личности, описывающей когнитивные способности человека. Исходя из этого, была выдвинута гипотеза : физический, но ненаблюдаемый механизм, реализующий интеллект, называемый способностями (или g-фактором). Следующим шагом было выяснить, как можно измерить такие способности. Было желание найти простые инструменты для этого, и поэтому были разработаны различные тесты IQ — в основном письменные, а некоторые нет.

Ни в коем случае не ясно, имеет ли интеллект как (народное) понятие какую-либо онтологическую основу. Предположительно конструкция когнитивных способностей должна иметь физическую основу, но на практике это не так . И тесты IQ в любом случае не имеют своей основной целью измерение таких способностей (хотя они могут быть полезными индикаторами). Первоначально тесты IQ были разработаны для прогнозирования академической успеваемости, и валидность тестов по-прежнему измеряется по сравнению с этим , что типично для психометрии в целом. Итак, в каком смысле (если таковые имеются) эти термины связаны друг с другом?

Это вопрос валидности или, точнее, конструктной валидности . Отношения между концепцией, конструктом и измерением являются динамичными и двунаправленными . Часто цитируемым примером разведывательных исследований является дело бразильских уличных торговцев. В классическом исследовании 1988 года, проведенном Джеффри Саксом , бразильские беспризорники, которые часто работают продавцами сладостей, сравнивались с математическими способностями сельских детей, не продавцов. Хотя уличные торговцы обычно имеют более низкий IQ, они не уступали, а в некоторых случаях превосходили своих сельских коллег в различных практических приложениях, связанных с арифметикой.

Почему несоответствие? Оказывается , дети с формальным математическим образованием хорошо решают математические задачи, оформленные в формальной форме. Не имея школьного образования, уличные дети не овладевают этими навыками и поэтому плохо справляются с тестами, требующими от них идентификации и работы с такими символами, как числа и операторы. Однако, работая уличными торговцами, эти дети очень хорошо разбираются в арифметике, связанной с валютой, например, в подсчете затрат и выдаче сдачи - без каких-либо вспомогательных средств. Таким образом, когда возникают математические задачи, оформленные как операции с валютой, например: сколько стоит купить 3 таких и 2 таких; или сколько сдачи я получу от этого счета — они работают лучше, чем образованные дети того же возраста.

Сходные результаты были получены Джин Лав (1988) : в ее исследовании домохозяйки Беркли значительно лучше справлялись с математикой, оформленной в виде задач о покупке продуктов, например, расчетом скидок и купонов, чем с типичными математическими задачами в классе. В другом исследовании, проведенном Сеси и Лайкером (1986) , эксперты по азартным играм были способны к сложной математике при расчете форы в скачках, но при этом не отличались по IQ от неспециалистов.

Что мы можем извлечь из этого? Было рассмотрено множество различных определений интеллекта. Одна из интерпретаций этих результатов заключается в том, что интеллект — это не просто общая черта, как следует из одного результата измерения IQ, а состоит из ряда независимых интеллектов, специфичных для предметной области, некоторые из которых не учитываются тестом. Другая интерпретация заключается в том, что объективная оценка общего интеллекта требует постановки вопросов в контексте, знакомом каждому субъекту. Одна вещь кажется несомненной: общий фактор интеллекта, переносимый на любую область, кажется менее онтологически обоснованным.

Большинство оценок валидности конструктов зависят от предметной области - они зависят от того, что должна описать проверяемая теория, и, как указано, это также может измениться на основе эмпирических данных. Конечно, изменения не могут быть быстрыми для материализации — концепция интеллекта и тестирование интеллекта, безусловно, развивались вместе с годами, но скорость изменений несоизмерима с выводами, подобными приведенным выше, и часто искажена . по политической программе . Так что тем временем исследователи нередко гоняются за отвлекающими маневрами — когнитивными концепциями, которые в конечном итоге оказываются онтологически несостоятельными . Но вряд ли это уникально для когнитивной науки и является естественной частью научного процесса обучения.