Влияет ли лучшее обучение на оценки преподавателей? Если да, то как?

Арум и Рокса (стр. 7) говорят:

Исследование Валена Джонсона по оценке курса убедительно продемонстрировало, что «более высокие оценки действительно приводят к лучшей оценке курса» и «оценки курсов студентами не являются очень хорошими показателями того, насколько студенты усвоили».

У меня нет доступа к книге Джонсона, но в рецензии говорится:

[Джонсон] нашел теорию «оценки-атрибуции» наиболее полезной: «Студенты приписывают успехи в академической работе себе, а неудачи приписывают внешним источникам» (96). Независимо от причины, анализ предоставляет «убедительные доказательства искажающего влияния оценок учащихся на их оценки преподавания» (118).

Джонсон работал в США. Если я правильно понимаю, основываясь на довольно кратких описаниях, которые у меня есть, ему удалось получить разрешение следить за действиями студентов с течением времени, так что он мог фактически обнаруживать не только корреляции, но и порядок событий во времени, что может помочь. дразнить друг от друга вопросы причинно-следственной связи.

Джонсон говорит, что оценки — это «не очень хорошие» показатели обучения. Мой вопрос в основном о том, каковы имеющиеся доказательства того, что означает «не очень хорошо». Вполне возможно, что кто-то мог бы ответить на этот вопрос, просто получив доступ к книге Джонсона и перейдя на стр. 118.

Если «не очень хорошо» означает низкую корреляцию, то было бы интересно узнать, отличается ли корреляция статистически от нуля, и если да, то каков ее знак. Мое предположение, которое вызвало здесь очень скептическую реакцию в комментариях , заключалось в том, что корреляция может быть отрицательной, поскольку для улучшения обучения могут потребоваться более высокие стандарты, что, как правило, приводит к более низким оценкам.

Если корреляция отлична от нуля, было бы также интересно понять, можно ли сделать вывод, что обучение оказывает какое-либо причинно-следственное влияние на оценки. Эти две переменные могут быть коррелированы из-за эффекта атрибуции оценок, но это не означает, что более высокий уровень обучения приводит к более высоким оценкам; это может просто означать, что лучшие ученики узнают больше, и лучшие ученики также дают более высокие оценки.

Если бы у нас было, например, исследование, в котором студенты были бы случайным образом распределены по разным разделам курса, мы могли бы сказать, коррелируют ли различия между разделами в обучении с различиями между разделами в оценках. Однако, как я понимаю, большинство этих анализов «добавленной стоимости» (которые часто проводятся в системе образования K-12) являются статистически фальшивыми. По сути, вы вычитаете два измерения друг из друга, и разница очень мала по сравнению со случайными и систематическими ошибками.

Мой неподтвержденный опыт говорит о том, что, когда я только начал преподавать, я относительно легко учился, я получил очень высокие оценки за преподавание, а мои ученики плохо сдали международный стандартизированный тест, который я сдал в конце семестра. Со временем я стал достаточно уверенным в себе, чтобы поднять свои стандарты, мои оценки за преподавание снизились, а обучение моих учеников значительно улучшилось, что подтверждается этим тестом.

Рекомендации

Арум и Рокса, Академический дрейф: ограниченное обучение в кампусах колледжей

Вален Джонсон, Инфляция оценок: кризис в высшем образовании, 2003 г.

по теме: Приводят ли оценки преподавания к снижению стандартов в классе?

Я подозреваю, что оценки учителя предназначены для оценки того, что факультет хочет оценить в отношении своего преподавательского состава, и результаты могут не быть коррелированы с обучением по замыслу .
@MassimoOrtolano: Хороший вопрос. В формах, которые используются в моей школе, на удивление мало материала, действительно относящегося к обучению. В основном это такие вещи, как «Критерии оценки преподавателя были четко сформулированы» и «Ко всем ученикам относились одинаково». (Это не настоящие цитаты, просто мои воспоминания о стиле вопросов.)
В моем универе R1 администрация требует, чтобы преподавание оценивалось, но/и полностью игнорируется, за исключением моментов, когда кто-то хочет саботировать пребывание младшего человека в должности. И, в любом случае, несколько десятилетий наблюдений подтверждают упомянутую выше скептическую точку зрения! ... и что больше нравятся более представительные инструкторы. Боже, кто мог это предсказать? Я предполагаю, что нужно помнить, что цель обучения состоит не в том, чтобы побудить учеников «нравиться» учителю, а в том, чтобы… передать знания? Провести их через несколько входных экзаменов? Помочь им, пусть даже против их воли? :)
... и, да, «оценочные формы» у меня дома недавно были переработаны явно очень наивными людьми (нанятыми за большие деньги и т. д.) в режиме онлайн в глянцевые, но не относящиеся к делу «UX» штучки. Я думаю, что люди студенческого возраста давно разочаровались в таких вещах... Но, опять же, единственное реальное дело в том, что "учителя" - это не учителя в буквальном смысле, а (статусные) привратники. К сожалению. Не самая моя любимая роль.
Похоже, вам нужны ответы, подкрепленные цитатами, а не анекдотами. В таком случае, похоже, это должно быть помечено как reference-request ?
@ff524: Мое понимание тега reference-request было более конкретным, например, для вопросов, где вы говорите: «Я хочу узнать об истории немецкой университетской системы, пожалуйста, укажите мне книги». То есть это для вопросов, где ответ состоял бы только из ссылок.
Я не думаю, что вопросы с ответами, состоящими только из ссылок, были бы здесь по теме. Насколько я понимаю, запрос ссылки заключается в том, что он используется для вопросов, ответы на которые должны быть подкреплены цитатами. (По крайней мере, я так делаю, когда отвечаю на вопросы в этом теге.)
@ ff524: Отличается ли это от mathoverflow? Я бы подумал, что любой ответ на фактический вопрос должен содержать доказательства, поэтому может показаться, что запрос на ссылку будет чрезвычайно широким. Может быть, это был бы хороший вопрос о мета.
Насколько я понимаю, многие ответы здесь основаны на личном опыте, и этот справочный запрос отличает вопросы, которые ищут ответы, подтвержденные надежными доказательствами (со ссылками на указанные доказательства). Я согласен, что было бы неплохо уточнить мета.
Не уверен, какой вклад вы ищете в ответе. Не могли бы вы уточнить, пожалуйста? Например - Вы хотите больше цитат? Вы уже проделали большую работу. Вам нужен личный опыт людей (с преподаванием и/или обучением)? Хочешь прозрения? Вам нужна помощь в выяснении того, что именно вы спрашиваете? Возможно, вы хотели бы знать, насколько положительная или отрицательная корреляция существует между успеваемостью в классе и оценками учителей? (Я мог бы предложить идею, заключающуюся в том, чтобы вовлечь ваших учеников в постановку целей.)

Ответы (2)

Ответ, основанный на новых исследовательских подходах, появившихся в 2010 году, по-видимому, заключается в том, что более интенсивное обучение, как правило, приводит к снижению оценок учащихся в отношении обучения (SET), но это сложный вопрос, который исторически был яблоком раздора.

На эту тему существует огромная литература. Люди, которые наиболее интенсивно изучают подобные вещи, являются психометристами. Есть много вещей, по которым они, кажется, согласны во всем, и многие из этих областей просто представляют консенсусное мнение профессиональных психометристов в своей области в целом:

  • Опросы, используемые для оценки обучения студентов (SET), должны быть разработаны профессионалами и в основном бесполезны, если они создаются людьми, не имеющими профессиональных знаний в области психометрии. Некоторые общепринятые практики, такие как отношение к оценочным баллам как к линейным (и, следовательно, могут быть осмысленно усреднены), свидетельствуют об отсутствии компетентности в измерении.

  • Плохая идея использовать ТЭО как единственную меру эффективности учителя. Множественные меры всегда лучше, чем одна мера. Но, как это часто бывает, администраторы, как правило, предпочитают единственную меру, которая дешева в применении и на первый взгляд кажется беспристрастной и научной.

  • SET все чаще даются онлайн, а не в классе на бумаге. Это катастрофа, потому что процент ответов на онлайн-оценки чрезвычайно низок (обычно 20-40%), поэтому полученные данные в основном бесполезны.

  • Сложность курса или рабочая нагрузка, измеряемая баллами SET, почти не коррелирует с успеваемостью.

  • Оценки SET являются многомерными показателями многомерных черт, но они, кажется, распадаются на два основных измерения, профессиональное и личное, которые имеют примерно одинаковый вес. Личное измерение подвержено предубеждениям по признаку пола, расы, этнической принадлежности и сексуальной ориентации (Калкинс).

Переходим к главному вопросу: влияет ли лучшее обучение на оценку преподавания?

До 2010 года лучшими исследованиями по этой теме были те, в которых студентов случайным образом распределяли по разным разделам одного и того же курса, а затем в конце давали идентичный тест для измерения успеваемости. Эти исследования, как правило, показывают, что рейтинги SET коррелируют с достижениями примерно от +0,30 до +0,44. Но Коэн говорит: «Есть одно исследование, которое показало сильную отрицательную связь между рейтингами, и у преподавателей с самым высоким рейтингом были самые низкие результаты учеников. Есть также одно исследование, показывающее обратное, почти идеальную положительную связь между рейтингами и достижениями». Эта непоследовательность неудивительна, ведь мы говорим о разных областях образования и разных формах SET. Типичная положительная корреляция +0,4 указывает на то, что 16% дисперсии в оценках учащихся успеваемость можно объяснить различиями между учителями, которые можно измерить с помощью наборов тестов. Хотя 16% не очень много, знак корреляции в большинстве исследований положительный и статистически значимый.

Но начиная с 2010 года поступают новые доказательства, которые переворачивают всю эту картину с ног на голову (Каррелл, Брага). В этих более новых исследованиях студенты были случайным образом распределены по разным разделам класса, например, по математическому анализу, но затем за ними следили позже в их карьере, когда они посещали необходимые дополнительные занятия, такие как авиационная техника. Исследование Каррелла проводилось в Академии ВВС США, и из-за структуры академии отсев был низким, и студентов могли заставить пройти дополнительные курсы.

Каррелл построил меру добавленной стоимости для каждого учителя на основе успеваемости их учеников на тесте, проведенном в конце урока (одновременная добавленная стоимость), и другую меру (добавленная ценность после завершения курса), основанную на успеваемости в школе. более поздние, необходимые последующие курсы.

Ученый ранг, опыт преподавания и статус профессора с последней степенью отрицательно коррелируют с текущей добавленной стоимостью, но положительно коррелируют с добавленной стоимостью последующего курса.

Мы обнаружили, что менее опытные и менее квалифицированные преподаватели выпускают студентов, которые значительно лучше успевают по преподаваемому курсу, в то время как более опытные и высококвалифицированные профессора выпускают студентов, которые лучше успевают в последующей учебной программе.

Исследование Браги в Университете Боккони в Италии приводит к аналогичным выводам:

[Мы] обнаруживаем, что наша мера эффективности учителя отрицательно коррелирует с оценками учеников: другими словами, учителя, которые ассоциируются с лучшей последующей успеваемостью, получают худшие оценки от своих учеников. Мы рационализируем эти результаты с помощью простой модели, в которой учителя могут либо участвовать в реальном обучении, либо в обучении на экзамене, причем первое требует больших усилий учащихся, чем второе.

Рекомендации

Абрами, д'Аполлония и Розенфилд, «Размерность оценок обучения студентов: что мы знаем, а чего нет», в книге «Стипендия преподавания и обучения в высшем образовании: доказательная точка зрения», под ред. Перри и Смарт, Springer 2007 - ссылка

Брага, Пакканелла и Пеллиццари, «Оценка оценок профессоров студентами», Дискуссионный документ IZA № 5620, апрель 2011 г. - ссылка

Калкинс и Микари, «Несовершенные судьи: оценка оценок учащихся», «Мысль и действие», осень 2010 г., с. 7 - ссылка

Каррелл и Уэст, «Имеет ли значение качество профессоров? Данные случайного назначения студентов профессорам», J Политическая экономия 118 (2010) 409 - ссылка

Марш и Рош, «Как сделать оценку эффективности обучения учащимися эффективной: критические вопросы достоверности, предвзятости и полезности», Американский психолог, ноябрь 1997 г., с. 1187 - ссылка

Старк и Фрейштат, «Оценка оценок курса», ScienceOpen https://www.scienceopen.com/document/vid/42e6aae5-246b-4900-8015-dc99b467b6e4?0 - ссылка

Кое-что, что я заметил, будучи студентом, но никогда не слышал, чтобы на меня смотрели в оценках: у бедных учеников было совсем другое представление о том, кто может быть хорошим учителем, чем у хороших учеников.

Только комментируя ваш собственный опыт, могу сказать, что мой соответствует (грубо, очень примерно) вашей второй половинке. Это так, несмотря на то, что студенты были (буквально) материалом Лиги плюща. Я заметил чуть больше интереса и вовлеченности, чем в государственном университете, но только у некоторых. Группа была больше озабочена тем, чтобы поставить галочки напротив класса, и если я слишком критично мыслил, появлялись плохие комментарии.

Тем не менее, лучшее обучение действительно приводит (возможно) к более высоким оценкам, и поэтому это может помочь в оценках. Но здесь нам, возможно, придется провести различие между немедленным обучением, которое ведет к оценкам, и более долгосрочным обучением, которое способствует лучшему мышлению.

Не убивайте себя — просто смешивайте краткосрочные и долгосрочные проблемы в своем обучении. Но последнее может стоить вам очков, хотя это и правильно.

Спасибо, что поделились своим опытом, но это не ответ. Это было бы лучше в качестве комментария.
Влияет ли лучшее обучение на оценки преподавателей? Если да, то как?
СпросиСетьПолитика конфиденциальности1y, 1v