Как повысить оценку за слишком сложный экзамен?

Наш экзамен с несколькими вариантами ответов был явно слишком сложным.

  • Н вопросов.
  • N + 10 общая продолжительность (в минутах).
  • Все вопросы имеют одинаковое значение (100/N).
  • Неправильные ответы имеют штраф 25% (25/N).
  • Только один правильный ответ на вопрос.

Какие стратегии вы рекомендуете рассмотреть при пересмотре оценок?

О чем мы думали:

  • Убрать штраф за неправильный ответ.
  • Для каждого учащегося увеличивайте ценность каждого правильного ответа.
  • Добавьте X (например, 10 баллов) к каждому окончательному результату.
  • Добавьте X% (например, 10%) к каждому конечному результату.
  • Удалите вопросы с худшими показателями.

Мы можем комбинировать варианты, и каждый из них имеет свои преимущества и недостатки. Обратите внимание, что мы используем абсолютную градацию (не градацию по кривой).

Каков ваш опыт?

Продолжение: Спасибо всем за отзывы. В конце концов, мы решили рассмотреть каждый вопрос. В некоторых случаях (всего четыре) мы решили считать правильными некоторые из неверных вариантов, которые не были ясны на 100% (и имели большое количество студентов, выбравших их). Кроме того, мы добавили бонус +1 балл всем ученикам. Мы сохранили штраф за неправильные ответы, так как было бы несправедливо его убрать.

Пожалуйста, добавьте больше деталей. Была ли проблема в продолжительности (многие ли студенты не успели закончить?) (см. раздел Что может сделать профессор с экзаменом, который был слишком длинным для отведенного времени, после того, как студенты завершили его? если да.) Были ли конкретные вопросы, на которые многие учащиеся ответили неправильно, предполагая, что вопрос мог быть неясным? Были ли какие-то конкретные темы, в которых учащиеся, казалось, разбирались слабее? Что-то еще, что дает вам представление о том, что пошло не так?
Просто для уточнения: «Добавить 10%» должно быть абсолютным или относительным? То есть вы имеете ввиду "60% превращается в 70%" или "60% превращается в 66%"?
Единственное, что справедливо по отношению ко всем, — это удаление вопросов, на которые никто не ответил правильно. Так что это надо сделать в первую очередь. От этого зависит....
@Uwe «Добавить 10%» относительно. 60% будет 66%.
@Karl Это был бы хороший вариант, но нет вопросов со всеми неправильными ответами. Все вопросы имеют хотя бы один правильный ответ.
Тогда экзамен не мог быть таким трудным в конце концов. ;-)
Есть ли вопросы, на которые правильных ответов не больше, чем можно было бы ожидать по случайному стечению обстоятельств?
Я понятия не имею, что означает фраза «мы используем абсолютную оценку (а не оценку по кривой)», когда одним из вариантов является добавление 10% к оценке каждого.
К продолжению: чем начисление бонусных очков отличается от изгиба?

Ответы (6)

Здесь недостаточно информации, чтобы дать дельный совет. Вы предполагаете, что экзамен был слишком сложным. Возможно также, что оно было недействительным. Возможно, некоторые из вопросов были сформулированы таким образом, чтобы ввести в заблуждение. Между прочим, есть меры валидности таких экзаменов. Они измеряют достоверность вопроса по доле учащихся, ответивших на него неправильно, по сравнению с тем, как те же самые учащиеся справились в целом. Некоторые вопросы отрицательно коррелируют с общей успеваемостью.

Другой вопрос, что разрешает ваше учреждение. У некоторых очень строгие правила на этот счет. Они IMO необоснованны и контрпродуктивны, но они могут вас связать.

Но при отсутствии таких правил вы должны больше заботиться о справедливости, чем о числах. Чтобы добиться справедливости, вам может потребоваться отказаться от экзамена или дать альтернативу. Возможно, вы даже захотите пересмотреть свою общую схему оценивания.

Одним из простых изменений в целом является выставление оценок за курс на основе, скажем, 8 лучших из 10 заданий/экзаменов или чего-то еще. Тогда никогда не возникает вопрос о плохо оформленной викторине. Другой способ — проводить викторины каждый день, чтобы ни одна отдельная викторина не определяла большую часть чего-либо.

Однако некоторые вещи, которые вы можете попробовать, могут оставить некоторых студентов неудовлетворенными; особенно лучшие студенты, которые больше всего работали. Вы можете быть добры к борцам, но не за счет суперзвезд. Хуже всего обстоит дело, если система сама заставляет учащихся конкурировать друг с другом за оценки. Строгая кривая оценивания аморальна, по моему мнению, поскольку превращает ее в игру с нулевой суммой, в которой я могу продвигаться только за чужой счет. Если система не позволяет всем получать высшие оценки (при условии, что они заслужены), то она фатально ошибочна.

Ваша цель, я надеюсь, учить, а не оценивать. Используйте экзамен как учебный момент. Даже обсудите в классе вопросы, которые вызвали затруднения. Постарайтесь узнать, почему у людей дела шли плохо. Даже разрешить разным учащимся вносить различные коррективы по мере необходимости.

Раньше у меня были довольно строгие правила насчет таких вещей, но понимание всегда было такое: «Это стандарт, и ты сделаешь не хуже, чем X, если сделаешь Y». И я всегда старался, чтобы чему-то научиться, даже если это было после дедлайна или экзамена, было преимуществом. Заставьте людей хотеть учиться, а не просто хотеть максимизировать баллы.

Спасибо за ваш совет. Я полностью согласен с тем, что "справедливость - это самый важный вопрос сейчас". Мы совершенно уверены, что на экзамене не было проблем с дизайном. Некоторые вопросы были проблематичными (т. е. трудными для понимания, требующими очень специфических знаний и т. д.). Но удаление их несправедливо по отношению к некоторым ученикам.
Моя цель состояла в том, чтобы обсудить «когда все терпит неудачу и у вас нет альтернатив, каков самый справедливый способ переоценить экзамен»?
@AnonymousProfessor, когда все терпит неудачу, подразумевает, что сам экзаменационный инструмент бесполезен (например, вы дали своему классу арабского языка тест на мандарин). Вы должны отказаться от него и создать новый.

Вы чрезмерно анализируете это. Вам просто нужно изогнуть результаты. Решите, что, по вашему мнению, было оценкой A (возможно, очень низкая оценка, если экзамен был таким сложным), а что C, а затем интерполируйте. Задача решена.

Спасибо, но мы используем абсолютную оценку (а не оценку по кривой), поэтому это невозможно.
Это было глупо. Теперь вы знаете, почему большинство инструкторов этого не делают. Но вы должны были упомянуть об этом ограничении в своем вопросе.
Справедливости ради, OP говорит о предоставлении всем бесплатных баллов, потому что средний балл на экзамене был низким - таким образом, класс в конце концов «эффективно» искривлен.
Зачем называть это "глупостью"? Абсолютная оценка здесь является нормой. И хотя оба подхода имеют свои преимущества и недостатки, это не обсуждаемый здесь вопрос.
Если в вашем университете/факультете есть политика абсолютной оценки, я подозреваю, что единственный способ действий, соответствующий этой политике, — это полностью отказаться от экзамена или, возможно, значительно упростить следующий экзамен. (Вопрос 1. Назовите слово «бекон».)
В каких университетах есть политика, требующая абсолютной оценки? Я предполагаю, что есть места, где это обычное, но требуемое «политикой»? Академия — это место, где инструкторы обычно имеют широкую свободу проводить свои занятия так, как им нравится. Так что я нахожу это заявление о «политике» довольно подозрительным.
@AnonymousProfessor Абсолютная оценка - это глупая политика именно по той причине, по которой вы заметили: студентов намного больше, чем инструкторов, поэтому гораздо более вероятно, что один класс будет иметь такое же сочетание способностей и производительности, что и следующий, чем инструкторы всегда будут создавать одинаково сложные экзамены. Это базовая теория статистической выборки.

О чем мы думали:

  • (1) Удалить штраф за неправильные ответы.

  • (2) Для каждого учащегося увеличьте ценность каждого правильного ответа.

  • (3) Добавьте X (например, 10 баллов) к каждому окончательному результату.

  • (4) Добавьте X% (например, 10%) к каждому конечному результату.

  • (5) Удалите вопросы с худшими показателями.

На мой взгляд, вы должны избегать любых изменений, которые изменяют относительную ценность вопросов или ответов по сравнению с оценками, указанными на экзамене. Это исключает варианты (1), (2) и (5) в приведенном выше списке. Если бы вы использовали любой из этих вариантов, это поставило бы в невыгодное положение учащихся, которые хорошо справились с вопросами, относительные оценки которых снижены, или учащихся, которые отказались отвечать на вопрос из-за относительного штрафа за неправильный ответ по сравнению с правильным ответом. Такие изменения несправедливы по отношению к этим учащимся и могут быть основанием для законных жалоб и апелляций на оценки.

Единственный честный способ «понизить оценку» экзамена, который был чрезмерно сложным, — это повысить все оценки с помощью простого положительного аффинного масштабирования оценок. Это может повлечь за собой либо фиксированное повышение оценки каждого учащегося, либо процентное увеличение, либо любое преобразование оценок в соответствии с положительной аффинной функцией. Этот метод масштабирования сохраняет относительную ценность всех вопросов и ответов на экзамене, а также относительные оценки студентов.

«Это может повлечь за собой фиксированное повышение оценки каждого ученика или повышение в процентах». Ну, нет. Линейное масштабирование всегда пропорционально. «Плоское увеличение» является нарушением линейности. Я подозреваю, что вы хотели порекомендовать аффинное преобразование (y=mx+b), а не линейное (y=cx).
Я не уверен, почему масштабирование должно быть линейным (или аффинным).
Соглашаться. Учащиеся разработают стратегию использования своих ресурсов, чтобы соответствовать заявленной схеме выставления оценок. То, что описывает OP, уже неоптимально: очень сложные экзамены, как правило, наказывают студентов, которые знают материал, но плохо разбираются в этой стратегии. Но изменение заявленной схемы выставления оценок постфактум также наказывает тех, кто действительно проделал хорошую работу по выработке стратегии. Конкретный пример: студенты, которые не ответили на вопросы, чтобы избежать штрафа за неправильный ответ, будут в ярости, если вы не наложите такой штраф — они могли бы получить «бесплатные баллы», просто угадывая наугад, но вы ввели их в заблуждение по этому поводу. .

Если вы просто уменьшите общее количество баллов, скажем, в процентах от 80, а не от 100, это, по сути, преобразует любые вопросы, которые они хотят, в потенциальные 20 бонусных баллов. Лично мне это нравится больше, чем бесплатные баллы, так как это больше вознаграждает студентов, которые лучше успевают, а не бесплатно для всех, что сжимает баллы вместе.

Как отмечали другие, полное отбрасывание вопросов — плохая идея. Но вы можете преобразовать их в бонусные вопросы. Однако, если вопросы неоднозначны, у вас нет другого выбора, кроме как принять несколько ответов. Это отдельная тема.

Что касается моего опыта, то, если вы кажетесь слишком гибким в оценках, вы можете поощрять много попрошайничества и нытья. Выберите, как вы хотите их изогнуть, и представьте это как закон.

+1, в частности, за последний абзац: учащиеся хорошо реагируют на бесплатные баллы, хотя линейные преобразования редко влияют на результаты в криволинейных (или эффективно криволинейных) классах, но плохо реагируют на неопределенность

В целом, любое изменение, внесенное в систему оценивания, повлияет на одних людей положительно, а на других отрицательно. Обычно я моделирую все идеи, прежде чем переходить к новой схеме оценивания. Хотя, в случае экзаменов с несколькими вариантами ответов, я был бы более осторожен, так как некоторые из ваших правил экзаменов влияют на то, как люди отвечают на вопросы (например, когда я был студентом, чтобы избежать штрафа, я обычно воздерживался от ответов на вопросы, в чем я не был уверен). их правильный ответ). Если бы я был на вашем месте, я бы рассмотрел следующие варианты (отсортированные по моим предпочтениям):

  1. Дайте необязательный альтернативный экзамен для тех, кто не удовлетворен своей оценкой (это было бы запрещено в некоторых случаях, в частности, в случае выпускного экзамена).
  2. Придайте вес частям этого экзамена будущему.
«любое изменение, внесенное в систему оценок, повлияет на одних людей положительно, а на других отрицательно» - хотя это может быть верно для игры с нулевой суммой, в которой учащиеся рассматриваются как соревнующиеся друг с другом, также было бы просто назначить максимальную оценку (метод A, метод B, метод C) для каждой схемы оценивания, что было бы особенно уместно, если некоторые вопросы исключены из некоторых экзаменов, но другие студенты ответили на них правильно.
@bryan-krause: Я не считаю ситуацию игрой с нулевой суммой. Предположим, что преподаватель решил пропустить некоторые из самых сложных вопросов (исходя из количества неправильных ответов). В этом случае студенты, которые потратили время и усилия на эти вопросы и ответили на них правильно, не только не выиграют, но даже пострадают от этого. Что касается вашего предложения, я согласен, поскольку оно может решить проблему, о которой я упоминал.
Если мы дадим X дополнительных баллов всем учащимся, это, по-видимому, не повлияет отрицательно ни на одного из них.
@Ehsan: В некоторых средах средний балл ничего не значит, а ранг класса - это все. Это всегда игра с нулевой суммой, независимо от того, насколько вы осторожны с преобразованием оценок.

В качестве уточнения: освобождались ли вопросы без ответов от штрафа? Если это так, то отмена штрафа становится несправедливой, поскольку люди, оставляющие пустые вопросы, могут быть сознательным выбором.

Удаление вопросов с наихудшей успеваемостью также может быть несправедливым по отношению к учащимся, которые на самом деле знали, как на них отвечать, если только эти вопросы не были действительно двусмысленными или ошибочными (такими, что на самом деле нет правильного ответа).

Математически сложный, но во всех остальных аспектах ленивый метод заключается в том, чтобы вычертить все оценки.

Вы вычисляете среднюю оценку (скажем, 30) и их стандартное отклонение (скажем, 10). Затем вы выбираете новое среднее значение и новое отклонение на свой вкус (скажем, 55 и 15). Т.е. выберите более высокое среднее значение, чтобы было больше студентов, сдавших экзамен, выберите более высокое отклонение, чтобы иметь больше расхождений между заметками.

Для каждого учащегося (начните с самой низкой оценки) пересчитайте оценку, сопоставив гауссовую кумулятивную функцию распределения, в excel см. эту ссылку , новая оценка будет дана по формуле:

NORM.INV( NORMDIST(old_grade,30,10,True), 55,  15)

Где я уже заменил цифры на свой пример. Или без замены:

NORM.INV( NORMDIST(old_grade,old_mean,old_deviation,True), new_mean,  new_deviation)

Проверьте, был ли самый низкий балл увеличен или уменьшен в результате этого процесса. Вы же не хотите, чтобы оно уменьшилось.

Идея этого метода заключается в том, что любой тест может быть настолько сложным или настолько простым, насколько того хочет профессор (если профессор достаточно хорош в разработке тестов). Следовательно, вы хотели, чтобы ученики получили низкие оценки за тест, но в конце отметили их средними оценками. Ранжирование оценок остается прежним. Вы можете завалить определенный процент студентов, если хотите (скажем, вы знали, что получить 30 баллов было сложно, но студент, получивший 10 баллов, на самом деле ничего не знал), вы также можете позволить всем получить проходной балл.

Я настоятельно рекомендую не злоупотреблять этой системой и, прежде всего, не использовать ее для снижения оценок учащихся. Делайте это только в том случае, если тест был очень плохо разработан.

Да, вопросы без ответов освобождаются от штрафа. Таким образом, я согласен с тем, что было бы несправедливо по отношению ко всем учащимся удалить его.