Приводят ли оценки преподавателей к снижению стандартов в классе?

У Джейкоба и Левитта есть статья в ежеквартальном экономическом журнале, в которой рассказывается о жульничестве учителей в государственных школах из-за компенсации, основанной на их успеваемости в классе. Они обнаруживают, что учителя сделают все возможное, чтобы помочь своим ученикам получить более высокие оценки, если это повлияет на их заработную плату.

Гнилые яблоки: исследование распространенности и предикторов мошенничества учителей. Ежеквартальный экономический журнал. 2003 г.

В статье Нельсона и Линча рассматривается взаимосвязь между повышением оценок и оценками преподавателей, в которых предлагается, чтобы профессора покупали лучшие оценки учителей с оценками.

Инфляция оценок, реальный доход, одновременность и оценка обучения. Журнал экономического образования. 1984.

Это зависит от того, что они оценивают и как.

Я учился в университете в разрухе страны, которая восстанавливалась после военного периода. Система образования не просто удручающе устарела, она еще и трещала по швам. Энтузиасты пытались реформировать систему, и один из самых больших толчков в правильном направлении был достигнут благодаря оценке курсов. В этой оценке были такие вопросы:

• Как часто лектор появляется на занятиях?
• У каждого урока есть четкая тема?
• Ясно ли, какие части печатных материалов курса рассматриваются в той или иной лекции?
• Были ли все экзаменационные вопросы связаны с каким-либо печатным материалом курса?
• Отвечает ли преподаватель на вопросы студентов?
• Доступен ли лектор для студентов в любое время вне лекций?
• Использует ли преподаватель электронную почту для переписки со студентами?
• Чувствуете ли вы, что преподаватель в какой-то момент поступил с вами несправедливо? Как же так?
• Чувствуете ли вы, что лектор ведет себя как-то проблематично во время урока? Пожалуйста, опишите.
• Преподаватель просил вас об одолжении в обмен на более высокую оценку?
• Каковы, по вашему мнению, положительные стороны этого курса?
• Какие плохие аспекты?

...и т. д.

Вопросов было больше - многие касались, например, стиля чтения лекций; это просто не приходит мне в голову. Теперь эта оценка заставила лекторов начать приходить на занятия, заставила их, наконец, выбрать учебники, заставила их выбирать тему для каждого урока (а не просто болтать), заставила их говорить студентам, какая часть книги соответствует какой лекции, поэтому чтобы учащиеся могли читать материалы параллельно. Это также быстро сократило действительно проблемное поведение, такое как курение в классе. Кроме того, это помогло преподавателям улучшить свою работу, предоставляя отзывы о сильных и слабых сторонах курса, по крайней мере, так, как их видели студенты. Здесь, я думаю, оценки очень явно помогли улучшить стандарты в классе, особенно в действительно проблемных отделах. Причина, по которой они помогли, была двоякой:

Я также учился в замечательном, хорошо организованном университете, где большинство этих вопросов были бы совершенно нелепыми. Там в оценках были такие вопросы, как:

• Сколько часов в неделю вы занимались этим курсом?
• Насколько важен, по вашему мнению, этот курс для вашего общего академического развития?
• Вы бы сказали, что этот курс был легким, правильным или сложным с точки зрения содержания?
• Считаете ли вы, что преподаватели справедливо оценивают знания студентов?

...и т. д.

Честно говоря, я понятия не имею, что дает такая оценка, и я надеюсь, что ничья зарплата не зависит от этого. С правильными (т.е. неправильными) вопросами, я уверен, вы могли бы снизить стандарты преподавания, предоставив финансовый стимул для получения хороших результатов. Таким образом, вопрос сводится к тому, как выглядят оценочные листы. Насколько мне известно, они не стандартизированы для разных университетов, поэтому результаты могут сильно различаться.

Повышение оценок было проблемой в США с середины 1970-х, так что добро пожаловать в клуб. См. endgradeinflation.org . Ни одна из попыток обуздать его пока не увенчалась успехом; практика оценивания студентов глубоко укоренилась в колледжах США, и ее нелегко изменить.

Нелегкую борьбу с завышением оценок возглавил Университет Северной Каролины в Чапел-Хилл, один из пяти крупнейших государственных университетов США. Они приложили довольно обширные исследовательские усилия для выяснения закономерностей завышения оценок. Причина, как вы заметили, заключается в том, что экономисты называют провалом рынка, когда самомотивированные действия игроков приводят к результатам, которые хуже для всех. Больше всего страдают работодатели выпускников и магистерские программы, на которые они претендуют, поскольку они не могут отличить хороших студентов от плохих. Организации и студенческие сообщества, которые полагаются исключительно на GPA (средний балл успеваемости), обнаруживают большие различия между дисциплинами: гуманитарный конец спектра больше всего пострадал от завышения оценок, в то время как технические и естественные науки, которые имеют более конкретные оценки и критерии оценки, как правило, дают более низкие оценки. Начальная страницав этом отчете за 2000 год приводится конкретная цифра, отвечающая на ваш вопрос: примерно 15-процентное увеличение оценок учащихся связано с увеличением средней оценки за курс на 1 стандартное отклонение . Это стандартное отклонение составило 0,4 по американской шкале от 0 до 4; на момент написания отчета средний средний балл в UNC составлял 3,18.

В середине 2000-х в UNC пришла идея эффективной оценки, называемой индексом достижений . Проще говоря, он нормализует каждый класс, чтобы иметь одинаковый средний балл. Каждый учащийся отображается в процентиле, подразумеваемом его оценкой в ​​данном классе, относительно распределения оценок в этом классе; процентили по всем занятиям, которые посещал учащийся, будут суммироваться; и окончательный средний балл успеваемости студента будет сообщаться на основе нормативного суждения о том, что университет хочет видеть в качестве среднего среднего балла и диапазона оценок. Эта идея основана на теории «элемент-ответ»., или, альтернативно, может быть объяснен с использованием байесовских методов (максимальная апостериорная оценка способностей учащегося). Как вы можете себе представить, это буквально вызвало студенческие волнения, которых UNC не видел со времен движения за гражданские права 1960-х годов (о tempora o нравах... какие мелочные мотивы в наши дни), поэтому преподаватели струсили и вынесли решение против этого .

Тем не менее, UNC нашел способ поместить оценки в контекст, дополнив стенограмму средним средним баллом других учащихся, которые посещали этот конкретный класс, процентилем учащегося в данном классе и «средним баллом расписания» = средний средний балл всех студенты в классах, которые студент взял. Приведенная выше ссылка показывает четкую картину того, кто имел номинальный средний балл 3,6, намного выше среднего среднего балла одноклассников 3,0, постоянно показывая результаты выше медианы (7 баллов выше медианы, 5 на среднем уровне, 0 ниже), по сравнению с y кто-то, кто смог достичь среднего балла 2,5 только в более легких классах со средним средним баллом 3,2 (на 1 балл выше среднего, на 3 в среднем, на 9 ниже).

Драматический график (если вы умеете читать между строк... Я вырос в Советском Союзе и обладаю этим неудачным умением) попыток UNC справиться с завышением оценок доступен здесь . Некоторые другие учебные заведения, вероятно, будут использовать эти или подобные идеи, в том числе другая известная государственная школа, Беркли . (Утверждение администратора о том, что компьютерная система университета не может справиться с дополнительным методом оценки, смехотворно; я мог бы сделать эти цифры на своем ноутбуке.)

Могу предложить только личный опыт по этой теме. Тем не менее, я могу сказать, что я довольно много читал литературу по оценке курсов, готовясь к прошлой заявке на повышение. Я обнаружил, что по обе стороны этих дебатов есть страстные люди. Некоторые считают, что оценки курсов — это лучшее, что есть после мороженого, в то время как другие считают, что они несут ответственность за завышение оценок и общее снижение стандартов. Основываясь на собственном опыте, я склоняюсь к последней группе. Я работаю в одном и том же учебном заведении почти тридцать лет, и в начале моей карьеры мне нравились очень хорошие оценки курсов. Примерно через десять-пятнадцать лет я замечаю, что мои оценки начали ухудшаться. Итак, я начал немного упрощать ученикам получение хороших оценок, но ничего, что меня не устраивало.

В последние годы качество наших поступающих студентов упало, как и мои оценки в очередной раз. Но на этот раз я не чувствую, что могу больше идти на уступки студентам, по крайней мере, если я хочу сохранить целостность своего курса (и себя). По крайней мере, на данный момент у меня есть хорошие гарантии занятости, так что я могу стоять на своем, даже если студенты и администраторы, вероятно, хотели бы, чтобы я этого не делал. Кто-то в менее безопасном положении может столкнуться с серьезной моральной или этической дилеммой в этой ситуации. Легко понять, как может происходить завышение оценок.

В США мы сталкиваемся с той же проблемой со стандартизированным тестированием. В этих тестах так много поставлено на карту для старшеклассников и учителей, что весь процесс превратился в обучение тесту, а не обучение для понимания. На мой взгляд, крупным государственным учреждениям и даже частным учреждениям потребуются громкие усилия, чтобы хоть как-то продвинуться вперед в отношении оценок учителей на уровне колледжей. Это не означает, что профессора и преподаватели не должны нести ответственность за проведение своих курсов. Оценка необходима. Дьявол кроется в деталях поиска наилучшего способа проведения оценки. Я не думаю, что нынешний путь правильный.

По мнению некоторых авторов, коллегиальные оценки являются еще худшим инструментом, чем оценки учащихся. StasK написал отличный ответ. Обратите особое внимание на замечание о том, что администраторы не верят, что университетская вычислительная система сможет справиться с такой нагрузкой. Администраторы быстро ссылаются на некоторые технические ограничения, объясняющие, почему они не могут что-то сделать. Кажется, они забывают, что разговаривают с аудиторией, состоящей из экспертов, которые знают, что их аргументы не выдерживают никакой критики.