Как должна выглядеть хорошая письменная политика повышения оценок за экзамен?

У меня нет привычки масштабировать экзамены, хотя я знаю, что эта практика широко распространена и настоятельно рекомендуется в некоторых кругах (например, оценка по кривой). Насколько я помню, ни один из моих преподавателей в колледже не масштабировал экзамены и не писал никаких правил по этому поводу в своих учебных планах. Мне интересно, если бы кто-то придерживался официальной политики масштабирования экзаменов, как бы выглядела разумная письменная политика?

Цель здесь (гипотетически) будет аналогична той, которую поставил Кранц в « Как преподавать математику» (раздел 2.10): «Моя главная цель при формулировании моей политики оценивания состоит в том, чтобы дать как можно большему числу учащихся почувствовать, что с ними обращаются справедливо (а не между прочим, чтобы уменьшить студенческие жалобы)». Во-вторых (и снова гипотетически), для защиты от возможных будущих административных жалоб на то, что преподаватель не соответствует некоторым рекомендуемым пропорциям оценок (тот же раздел Кранца).

Пожалуйста, исходите из того, что отдельные экзамены сами по себе являются достаточно справедливыми оценками (нет неполных, расплывчатых или чрезмерно сложных вопросов, охватывают те же темы, которые затрагиваются в классе и домашних заданиях, отведено достаточно времени, значительное время уходит на оценку вопросов и рубрик оценивания и т. д.).

Предыстория: я учусь в общественном колледже с открытым приемом, где высокий процент отказов исторически является обычным явлением, часто половина или более многих курсов по математике или информатике. Среди вещей, которые меня беспокоят, если я начну это делать, есть: будет ли какая-то нижняя граница того, что может оказаться мимолетной работой?

Например, у меня был коллега из другого университета (топ-20 в США), который несколько лет назад попал в беду из-за того, что под давлением студентов по поводу его политики масштабирования сказал, что если каждый студент получит ноль на экзамен, то процесс масштабирования превратит все из них в 100% оценок. Удивительно, но студенты успешно организовали тотальный бойкот выпускного экзамена, а мой друг добился своего и поставил всем 100% баллов, как и обещал. (Это оказалось весьма смущающим для него.)

Поэтому мне интересно, какая формальная, механическая политика масштабирования предотвратит ситуации без нижней границы, подобные этой?

Какова ваша цель в масштабировании?
Лучшей политикой была бы политика написания упомянутых экзаменов... и соответствующая схема выставления оценок...
Пример, который вы приводите, поразительно глуп на двух уровнях: на одном есть расчет для проверки распространения оценок и борьбы с ним, а на втором: на самом деле открыть рот и сказать ученикам...
студенты успешно организовали полный бойкот выпускного экзамена --- Выйдя на (очень короткую) конечность, я предполагаю, что исследовательский опыт этого человека НЕ ​​был связан с теорией кооперативных игр !
@PatriciaShanahan: Хороший вопрос, я редактирую, чтобы добавить его.
Ваше последнее «предположение» редактирования может быть трудно реализовать на практике. Обычно это работает примерно так, но не совсем так и не всегда. Планируйте реальный мир, а не какой-то воображаемый, идеальный.
@Buffy: Кажется, людям сложно ответить на этот вопрос. Я пытаюсь помочь людям сосредоточиться на основной, актуальной части вопроса: каков наилучший объективный способ масштабирования/искривления низких результатов для указанной цели? Я надеюсь, что второстепенные проблемы не будут отвлекать людей от этого сложного вопроса ядра.
Трудно ответить, потому что заранее спланированное масштабирование, а не как поправка, например, на слишком сложный финал, по своей сути несправедливо, особенно в условиях открытого доступа. В один год у вас может быть много студентов, которые просто переживают, потому что их родители позволяют им жить без арендной платы, пока они зарегистрированы в качестве студентов. В следующем году в вашем классе могут быть только серьезные, способные ученики. Я не думаю, что было бы справедливо ставить двум людям с одинаковой успеваемостью разные оценки только из-за удачного сочетания студентов на их курсе.
@PatriciaShanahan: Это звучит как довольно хороший, четкий ответ, и я был бы склонен выбрать его как лучший из существующих ответов, например. (С другой стороны, это эффективно делается во многих крупных учреждениях — см. комментарий alephzero ниже — и если бы эту, по общему признанию, менее чем справедливую политику можно было бы связно закодировать в письменной форме, я хотел бы посмотреть, как это сделать.)

Ответы (4)

Масштабирование или «изогнутая» оценка таким образом, что фиксированная доля учащихся получает каждую оценку, неэтично. Имеются обширные доказательства того, что сотрудничество студентов помогает учащимся узнать больше. Если вы зафиксируете долю учащихся, получивших каждую оценку, вы побудите учащихся прекратить сотрудничество. Это уменьшит объем обучения ваших учеников.

@PatriciaShanahan права в том, что этот подход к оценке также неверен, потому что ваш состав студентов не остается неизменным в течение семестров.

Я согласен, и это было моей политикой примерно 2 десятилетия. Но эта практика, кажется, настолько широко распространена, что я немного удивлен, что никто, кажется, не хочет защищать ее или пытаться сделать ее последовательной.
Я выбираю это как принятый ответ, потому что это кажется самым ясным выражением явно единодушного мнения здесь. Если бы кто-то добавил последовательную защиту для оценки по кривой (с объективными правилами для нее), то я был бы склонен переключиться на этот другой ответ.

Обычно масштабирование является ошибкой, поскольку оно вносит неопределенность в расчеты студента. Но некоторые корректировки являются правильными, и вы можете публиковать отчеты о них.

Во-первых, вы можете согласиться с тем, что никто не будет «пропускать» следующий класс на небольшой процент. Это лучше делать в целом, чем для каждого экзамена/бумажной работы. Но если для получения «пятерки» требуется 90% (в целом), то в конце дня дайте пятерку тому, у кого 89 баллов. Это просто признание того, что ваша схема оценивания не идеальна и может поставить людей в небольшое положение. изредка.

Во-вторых, согласитесь с тем, что ваша оценочная рубрика ясна, что вам разрешено повышать ее, когда вы считаете это оправданным. Мой сказал бы что-то вроде: «Если вы наберете 80%, вы получите как минимум четверку». Это просто усиление первого пункта.

В-третьих, разрешите людям переделать работу, если они потерпели неудачу. Переоцените его за «большую часть» потерянных очков. Мой полис был 90%. Если вы потеряли 30 баллов за задание, вы можете вернуть 27 баллов (максимум), если правильно выполнили задание. Моя политика была щедрой, допуская несколько попыток. Повторение было хорошо для студентов и работало, чтобы гарантировать обучение.

В-четвертых, в конце курса посмотрите, как студенты справились в целом, и мысленно сравните это с тем, что, по вашему мнению, они действительно узнали в ходе курса. Если вы считаете, что обучение было на самом деле лучше, чем показывает распределение, немного увеличьте его. Это подтолкнет нескольких учеников к следующему частичному классу, скажем, с B до B+.

Наконец, избегайте выставления оценок, используя только несколько экзаменов с высоким риском, а распределяйте оценки по большому количеству заданий. Выпускные экзамены «все или ничего» в конечном итоге приводят к проблемам, даже в менее экстремальных случаях, чем тот, который вы упомянули. Это приводит к практике непрерывного изучения и обучения, а не к «зубрежке» по большому счету. Зубрежка приводит к большему запоминанию (краткосрочное обучение) и меньшему глубокому обучению.

Все мои ученики знали все о вышеуказанных правилах. Я редко получал жалобы на оценки. Я мог быть настолько требовательным профессором, насколько считал нужным (студенты считали меня очень требовательным ). В конце курса сюрпризы всегда были приятными, и студенты чувствовали себя хорошо и воодушевлялись продолжать.

Наконец, позвольте мне отметить, что строгое масштабирование, превращающее распределение курса в нечто вроде нормальной кривой, IMO, всегда является ошибкой. Это превращает курс в игру с нулевой суммой для студентов, которые могут выиграть только в том случае, если кто-то другой проиграет. Теоретически каждый должен иметь возможность получить хорошие оценки, даже высокие оценки, основываясь только на своей собственной работе. Такое масштабирование также неоправданно, так как предполагает, что данная выборка (ваши ученики) идеально соответствует генеральной совокупности (всем ученикам). Статистически это серьезная ошибка, если только ваш масштаб не огромен.

Тип оценки «нормальная кривая» использовался для доуниверситетских экзаменов в Великобритании в течение многих лет, но на национальном уровне (и, следовательно, с большими группами студентов). Поскольку экзаменационные оценки были обязательными для поступления в университет, это была удобная административная система, позволяющая сопоставлять количество квалифицированных студентов с количеством доступных мест. (Я не защищаю эту систему, просто указываю, что она может иметь «практическое» применение).
@alephzero, и, конечно же, давайте не путать «упрощение работы администраторов» с «фактически обучением». Практичное может равняться пагубному, в некоторых случаях, конечно.
Лично я согласен с нынешним последним абзацем. Но я думаю, что большая часть этого ответа упускает суть вопроса; он не предлагает механику «наилучшей практики» масштабирования / искривления оценок, а четвертый пункт относится к субъективным недокументированным корректировкам, которых я пытаюсь избежать. Я полагаю, что мог бы выбрать этот ответ как лучший, если бы он был сокращен до последнего абзаца (по сути, «это невозможно сделать честно»), и для этого был достигнут консенсус.
Я думаю, что мой ключевой момент в первом предложении, на самом деле. Т.е. «Лучшая практика» = «Не делать». Найдите лучший механизм.

Система, которую я успешно использовал в прошлом: выберите верхний сегмент или квантиль класса (например, 5% лучших или 5 лучших учеников). Вычислите среднюю совокупную оценку этих учащихся и масштабируйте оценки всех остальных на это значение (т. е. если оценки по предмету выходят за пределы 100, а средний балл пяти лучших учащихся равен 95, умножьте все оценки на 100/95). Некоторые из преимуществ этой системы:

  • он механический, чистый и прозрачный; даже если вы не можете заранее сказать, каким будет окончательный коэффициент масштабирования, вы можете сказать учащимся, каков текущий коэффициент масштабирования, и они могут сделать свой собственный: «Если коэффициент масштабирования останется прежним, мне нужно получить xxx в финале, чтобы получить оценку yyy" расчеты сколько душе угодно
  • по моему опыту/насколько я могу судить, учащиеся из высших квантилей, как правило, честно получают свои баллы; в частности, баллы мошенников вряд ли сильно повлияют на коэффициент масштабирования (если только их не много и они очень хорошо мошенничают).
  • эта система автоматически обрабатывает оценки, которые были непреднамеренно сделаны слишком сложными: если лучшие ученики потеряли много баллов, то каждый получает бонус
  • несколько лучших учеников автоматически получают «идеальные» (после масштабирования) баллы, но усреднение по верхнему квантилю (а не, скажем, по максимуму) является достаточно надежным
  • он не настраивает массу класса друг против друга; распределение нижних 95% класса не влияет на масштабирование

Это, очевидно, сломает сценарий «весь класс сотрудничает, чтобы сломать систему», но мне это кажется экстремальным.

+1, спасибо за публикацию. Re: Крайний случай: понятно, но, как уже отмечалось, это действительно произошло с моим другом, поэтому, возможно, этот ответ можно было бы улучшить, указав, какое дополнительное предложение вы бы добавили, чтобы справиться с этим? Что, если студенты увидят этот опубликованный протокол и один из них спросит то же самое?

Каждая политика оценивания служит своей цели, и я думаю, что это ключевой вопрос, на который вы хотите ответить.

Самая распространенная политика, которую я видел, которая также является наиболее непрозрачной, на самом деле касается не экзаменов, а ограничения оценок для итоговых оценок:

Экзамены будут учитываться как x% итоговой оценки, домашнее задание y% и так далее. Итоговые оценки будут выставляться с отсечками не менее щедрыми, чем

А: >93%, А-: >90%

B+: >86% и так далее

Преимущество этой политики заключается в том, что вам вообще не нужно масштабировать или искривлять экзаменационные оценки, но вы по-прежнему можете изменять пороговые значения, чтобы обеспечить справедливое распределение оценок, в то же время предъявляя минимальные требования для того, чтобы убедиться, что вы сдали экзамен или получили пятерку. Эта политика предназначен для максимально справедливого распределения оценок в целом, но не влияет на взвешивание или оценку отдельных заданий или экзаменов.

Для индивидуальных экзаменов я также видел политику

Ваш самый низкий балл за экзамен можно будет заменить оценкой итогового экзамена, если это повысит ваш общий балл.

Эта политика хороша для того, чтобы сделать экзамен менее изменчивым и менее напряженным, поскольку он устраняет негативный шум на промежуточных экзаменах. Тем не менее, это неявно повышает давление/ставки на итоговом экзамене. В общем, это хорошая политика, если вы пытаетесь снизить ставки на промежуточных экзаменах, но не хотите полностью отказываться от экзамена и повышать итоговый балл.

Редко я видел класс, где есть письменная политика в отношении шкалирования, за исключением того, что в программе сказано, что преподаватель оставляет за собой право изменить оценку, когда это необходимо. В общем, если вы пытаетесь изменить/масштабировать отдельный экзамен, это является ответом на плохо написанный или несвоевременный экзамен. Например, это может произойти, когда экзамен окажется намного сложнее, чем предполагал преподаватель, или если он окажется намного длиннее, чем ожидалось. Когда происходят такие ситуации, наиболее распространенные вещи, которые я видел (в порядке частоты):

  1. Более щедрые отсечки оценок в конце курса.
  2. Делать особенно сложные вопросы бонусом, чтобы улучшить общий средний балл, но при этом вознаграждать тех, кто правильно ответил на вопрос.
  3. Оценка экзаменов из меньшего количества вопросов. Обычно делается больше на письменных экзаменах с частичным зачетом, но, например, когда экзамен из 8 вопросов оценивается из ваших 6 лучших вопросов. Это снова предназначено для того, чтобы притупить часть нижней части распределения, при этом оценивая студентов.
  4. Добавление x баллов к оценке каждого. Обычно это происходит за счет более щедрых отсечек в конце, но многим инструкторам это нравится, потому что более щедрые отсечки обычно означают, что либо домашняя работа, либо экзамены могут быть на более низком уровне, и обычно это происходит в ответ на особенно сложный экзамен.

В общем, я думаю, что правила редко записываются, кроме как для того, чтобы заверить учащихся в том, что вы не ухудшите их оценки (я слышал, что это происходит в очень конкурентных классах, но никогда не сталкивался с этим) или сообщить им о снижении оценок, а не все масштабирование/кривизна отвечает на один и тот же вопрос, поэтому, какой из них вы выберете, во многом зависит от того, чего вы пытаетесь достичь, а также от культуры отдела и школы.

В целом, я бы сказал, что одна из лучших политик, которые я видел, заключалась в использовании первого подхода с ограничением оценок, а затем со словами: «Вот что я ищу, когда ставлю каждую оценку, грубо говоря»:

О: Вы можете применять материал в новых ситуациях и нестандартными способами.

B: Вы можете применять материал в изучаемом контексте и сложными многоступенчатыми способами.

C: Вы можете применять большую часть или весь материал простыми способами в изучаемых контекстах.

Некоторые инструкторы просто регулярно сбрасывают самый низкий балл. Обычно это подразумевает, что их, конечно, больше, чем несколько. Хотя это может облегчить ум студента, это не гарантирует обучения. Переделывание работы больше фокусируется на обучении, а не на оценке.
Спасибо, что написали это. Но, как и в ответе Баффи, это похоже на многословный способ сказать: «Это не может / не должно быть сделано».
@DanielRCollins Я думаю, что есть разница между тем, чтобы сказать, что вы не должны изгибаться, и тем, что вы не должны документировать точное математическое преобразование, которое вы используете. В общем, я не против кривых, я думаю, что они действительно полезны для того, чтобы сделать курсы больше об обучении, а не об оценках, но я думаю, что заставлять себя использовать определенную кривую для каждой ситуации тоже не кажется правильным. Вместо того, чтобы рассматривать каждый тест как индивидуальный подход, но никогда не ухудшать оценки, кажется, это нормальный подход.
Как должна выглядеть хорошая письменная политика повышения оценок за экзамен?
СпросиСетьПолитика конфиденциальности1y, 0v