Арум и Рокса (стр. 7) говорят:
Исследование Валена Джонсона по оценке курса убедительно продемонстрировало, что «более высокие оценки действительно приводят к лучшей оценке курса» и «оценки курсов студентами не являются очень хорошими показателями того, насколько студенты усвоили».
У меня нет доступа к книге Джонсона, но в рецензии говорится:
[Джонсон] нашел теорию «оценки-атрибуции» наиболее полезной: «Студенты приписывают успехи в академической работе себе, а неудачи приписывают внешним источникам» (96). Независимо от причины, анализ предоставляет «убедительные доказательства искажающего влияния оценок учащихся на их оценки преподавания» (118).
Джонсон работал в США. Если я правильно понимаю, основываясь на довольно кратких описаниях, которые у меня есть, ему удалось получить разрешение следить за действиями студентов с течением времени, так что он мог фактически обнаруживать не только корреляции, но и порядок событий во времени, что может помочь. дразнить друг от друга вопросы причинно-следственной связи.
Джонсон говорит, что оценки — это «не очень хорошие» показатели обучения. Мой вопрос в основном о том, каковы имеющиеся доказательства того, что означает «не очень хорошо». Вполне возможно, что кто-то мог бы ответить на этот вопрос, просто получив доступ к книге Джонсона и перейдя на стр. 118.
Если «не очень хорошо» означает низкую корреляцию, то было бы интересно узнать, отличается ли корреляция статистически от нуля, и если да, то каков ее знак. Мое предположение, которое вызвало здесь очень скептическую реакцию в комментариях , заключалось в том, что корреляция может быть отрицательной, поскольку для улучшения обучения могут потребоваться более высокие стандарты, что, как правило, приводит к более низким оценкам.
Если корреляция отлична от нуля, было бы также интересно понять, можно ли сделать вывод, что обучение оказывает какое-либо причинно-следственное влияние на оценки. Эти две переменные могут быть коррелированы из-за эффекта атрибуции оценок, но это не означает, что более высокий уровень обучения приводит к более высоким оценкам; это может просто означать, что лучшие ученики узнают больше, и лучшие ученики также дают более высокие оценки.
Если бы у нас было, например, исследование, в котором студенты были бы случайным образом распределены по разным разделам курса, мы могли бы сказать, коррелируют ли различия между разделами в обучении с различиями между разделами в оценках. Однако, как я понимаю, большинство этих анализов «добавленной стоимости» (которые часто проводятся в системе образования K-12) являются статистически фальшивыми. По сути, вы вычитаете два измерения друг из друга, и разница очень мала по сравнению со случайными и систематическими ошибками.
Мой неподтвержденный опыт говорит о том, что, когда я только начал преподавать, я относительно легко учился, я получил очень высокие оценки за преподавание, а мои ученики плохо сдали международный стандартизированный тест, который я сдал в конце семестра. Со временем я стал достаточно уверенным в себе, чтобы поднять свои стандарты, мои оценки за преподавание снизились, а обучение моих учеников значительно улучшилось, что подтверждается этим тестом.
Рекомендации
Арум и Рокса, Академический дрейф: ограниченное обучение в кампусах колледжей
Вален Джонсон, Инфляция оценок: кризис в высшем образовании, 2003 г.
по теме: Приводят ли оценки преподавания к снижению стандартов в классе?
Ответ, основанный на новых исследовательских подходах, появившихся в 2010 году, по-видимому, заключается в том, что более интенсивное обучение, как правило, приводит к снижению оценок учащихся в отношении обучения (SET), но это сложный вопрос, который исторически был яблоком раздора.
На эту тему существует огромная литература. Люди, которые наиболее интенсивно изучают подобные вещи, являются психометристами. Есть много вещей, по которым они, кажется, согласны во всем, и многие из этих областей просто представляют консенсусное мнение профессиональных психометристов в своей области в целом:
Опросы, используемые для оценки обучения студентов (SET), должны быть разработаны профессионалами и в основном бесполезны, если они создаются людьми, не имеющими профессиональных знаний в области психометрии. Некоторые общепринятые практики, такие как отношение к оценочным баллам как к линейным (и, следовательно, могут быть осмысленно усреднены), свидетельствуют об отсутствии компетентности в измерении.
Плохая идея использовать ТЭО как единственную меру эффективности учителя. Множественные меры всегда лучше, чем одна мера. Но, как это часто бывает, администраторы, как правило, предпочитают единственную меру, которая дешева в применении и на первый взгляд кажется беспристрастной и научной.
SET все чаще даются онлайн, а не в классе на бумаге. Это катастрофа, потому что процент ответов на онлайн-оценки чрезвычайно низок (обычно 20-40%), поэтому полученные данные в основном бесполезны.
Сложность курса или рабочая нагрузка, измеряемая баллами SET, почти не коррелирует с успеваемостью.
Оценки SET являются многомерными показателями многомерных черт, но они, кажется, распадаются на два основных измерения, профессиональное и личное, которые имеют примерно одинаковый вес. Личное измерение подвержено предубеждениям по признаку пола, расы, этнической принадлежности и сексуальной ориентации (Калкинс).
Переходим к главному вопросу: влияет ли лучшее обучение на оценку преподавания?
До 2010 года лучшими исследованиями по этой теме были те, в которых студентов случайным образом распределяли по разным разделам одного и того же курса, а затем в конце давали идентичный тест для измерения успеваемости. Эти исследования, как правило, показывают, что рейтинги SET коррелируют с достижениями примерно от +0,30 до +0,44. Но Коэн говорит: «Есть одно исследование, которое показало сильную отрицательную связь между рейтингами, и у преподавателей с самым высоким рейтингом были самые низкие результаты учеников. Есть также одно исследование, показывающее обратное, почти идеальную положительную связь между рейтингами и достижениями». Эта непоследовательность неудивительна, ведь мы говорим о разных областях образования и разных формах SET. Типичная положительная корреляция +0,4 указывает на то, что 16% дисперсии в оценках учащихся успеваемость можно объяснить различиями между учителями, которые можно измерить с помощью наборов тестов. Хотя 16% не очень много, знак корреляции в большинстве исследований положительный и статистически значимый.
Но начиная с 2010 года поступают новые доказательства, которые переворачивают всю эту картину с ног на голову (Каррелл, Брага). В этих более новых исследованиях студенты были случайным образом распределены по разным разделам класса, например, по математическому анализу, но затем за ними следили позже в их карьере, когда они посещали необходимые дополнительные занятия, такие как авиационная техника. Исследование Каррелла проводилось в Академии ВВС США, и из-за структуры академии отсев был низким, и студентов могли заставить пройти дополнительные курсы.
Каррелл построил меру добавленной стоимости для каждого учителя на основе успеваемости их учеников на тесте, проведенном в конце урока (одновременная добавленная стоимость), и другую меру (добавленная ценность после завершения курса), основанную на успеваемости в школе. более поздние, необходимые последующие курсы.
Ученый ранг, опыт преподавания и статус профессора с последней степенью отрицательно коррелируют с текущей добавленной стоимостью, но положительно коррелируют с добавленной стоимостью последующего курса.
Мы обнаружили, что менее опытные и менее квалифицированные преподаватели выпускают студентов, которые значительно лучше успевают по преподаваемому курсу, в то время как более опытные и высококвалифицированные профессора выпускают студентов, которые лучше успевают в последующей учебной программе.
Исследование Браги в Университете Боккони в Италии приводит к аналогичным выводам:
[Мы] обнаруживаем, что наша мера эффективности учителя отрицательно коррелирует с оценками учеников: другими словами, учителя, которые ассоциируются с лучшей последующей успеваемостью, получают худшие оценки от своих учеников. Мы рационализируем эти результаты с помощью простой модели, в которой учителя могут либо участвовать в реальном обучении, либо в обучении на экзамене, причем первое требует больших усилий учащихся, чем второе.
Рекомендации
Абрами, д'Аполлония и Розенфилд, «Размерность оценок обучения студентов: что мы знаем, а чего нет», в книге «Стипендия преподавания и обучения в высшем образовании: доказательная точка зрения», под ред. Перри и Смарт, Springer 2007 - ссылка
Брага, Пакканелла и Пеллиццари, «Оценка оценок профессоров студентами», Дискуссионный документ IZA № 5620, апрель 2011 г. - ссылка
Калкинс и Микари, «Несовершенные судьи: оценка оценок учащихся», «Мысль и действие», осень 2010 г., с. 7 - ссылка
Каррелл и Уэст, «Имеет ли значение качество профессоров? Данные случайного назначения студентов профессорам», J Политическая экономия 118 (2010) 409 - ссылка
Марш и Рош, «Как сделать оценку эффективности обучения учащимися эффективной: критические вопросы достоверности, предвзятости и полезности», Американский психолог, ноябрь 1997 г., с. 1187 - ссылка
Старк и Фрейштат, «Оценка оценок курса», ScienceOpen https://www.scienceopen.com/document/vid/42e6aae5-246b-4900-8015-dc99b467b6e4?0 - ссылка
Только комментируя ваш собственный опыт, могу сказать, что мой соответствует (грубо, очень примерно) вашей второй половинке. Это так, несмотря на то, что студенты были (буквально) материалом Лиги плюща. Я заметил чуть больше интереса и вовлеченности, чем в государственном университете, но только у некоторых. Группа была больше озабочена тем, чтобы поставить галочки напротив класса, и если я слишком критично мыслил, появлялись плохие комментарии.
Тем не менее, лучшее обучение действительно приводит (возможно) к более высоким оценкам, и поэтому это может помочь в оценках. Но здесь нам, возможно, придется провести различие между немедленным обучением, которое ведет к оценкам, и более долгосрочным обучением, которое способствует лучшему мышлению.
Не убивайте себя — просто смешивайте краткосрочные и долгосрочные проблемы в своем обучении. Но последнее может стоить вам очков, хотя это и правильно.
Массимо Ортолано
пользователь1482
Пол Гаррет
Пол Гаррет
ff524
пользователь1482
ff524
пользователь1482
ff524
пользователь1482
aparente001