Контекст: читая исследовательские статьи по психологии, вы часто сталкиваетесь с новыми психологическими тестами самооценки, не относящимися к способностям (например, измерения личности, благополучия, психопатологии, стиля обучения, стресса, целеустремленности и т. д.). Большинство этих тестов включают получение суммы или среднего значения набора элементов для одной или нескольких шкал или подшкал. Каждый элемент обычно включает в себя текст элемента и согласованный набор вариантов ответов (например, шкалы ответов типа Лайкерта, шкалы ответов «да-нет» и т. д.). Существуют тысячи таких шкал, некоторые из них часто используются; другие используются только один раз.
О том, как оценивать валидность тестов , написано много . Однако здесь я хотел особо сосредоточиться на том, как оценить, что означает конкретная индивидуальная или групповая оценка. В частности, я имею в виду ситуацию, когда вы читаете журнальную статью и сталкиваетесь с шкалой, которую раньше не видели, например:
Для хорошо разработанных тестов существует руководство по тестированию. В других случаях есть веб-сайт или ключевая журнальная статья с информацией. Наконец, в некоторых случаях доступно очень мало информации. В некоторых случаях полезная информация приводится в разделе методов, но, как правило, сама по себе этого недостаточно. Таким образом, начинается процесс поиска такой информации, как содержание элемента и нормативные сравнения.
Много было сказано о нормативной и критериальной интерпретации тестов. Если вы используете тест в клинической практике или используете тест в своих собственных исследованиях, вам следует потратить время на то, чтобы понять, что на самом деле означают разные баллы в тесте. Однако при случайном чтении журнальной статьи можно столкнуться со многими испытаниями. В таких случаях статья является одной из многих, и вы можете просто захотеть быстро понять, что означает данная оценка.
Обратите внимание на использование термина «неспособность». Я хотел бы исключить обсуждение проверки интеллекта, проверки способностей, проверки знаний и так далее.
Обновление: чтобы уточнить, я не хотел подразумевать в вопросе, что информация об элементе нигде не доступна. Я предполагаю, что вопрос относится к общей ситуации, когда, вероятно, в литературе ранее использовались меры, и где-то может быть ключевая статья, описывающая меру. Думаю, я думаю о хорошей общей стратегии для получения необходимой информации и последующего ее использования для формирования понимания свойств шкалы.
Сложный вопрос.
Я собираюсь предположить, что вопрос относится к показателям, в которых отсутствует вся информация, которую вы изложили: руководство по тестированию, исследования достоверности, веб-сайт и ключевые статьи, содержание элементов и нормативные сравнения. Если эти предположения верны, то то, что вы описываете, является недостаточно объясненной мерой. Я утверждаю, что мы обязательно не можем знать, что означает такая шкала в каком-либо научном смысле.
Шкала – это мера. Научная мера — это процесс, который генерирует доказательства, т . е. наблюдения, позволяющие различать различные возможные ответы на конкретный вопрос. (Данные могут представлять собой свидетельство в отношении одного вопроса, но не другого.) Результатом этого различения или анализа является то, что «означает» шкала, т. е. логически обоснованная интерпретация, которую мы можем сделать на основе анализа данных.
Чтобы определить, действительно ли метод генерирует доказательства, нам нужно иметь возможность воспроизвести его независимо. Но предпосылки подразумевают, что у нас недостаточно информации для этого. Поскольку мы не можем независимо проверить, какие гипотезы различает доказательство, полученное с помощью метода, и если таковые имеются, то нет способа узнать, что оно означает.
Кристиан Хаммелур
Джош де Леу
Джероми Энглим
Кристиан Хаммелур
Джероми Энглим