Как отбить охоту к постоянным запросам на переоценку сценариев ответов

Не знаю, является ли это одним из неприятных последствий онлайн-занятий. Вот типичный сценарий, который разыгрывается:

  1. Студенты сдают экзамен.

  2. Они жалуются, если это вопрос с несколькими вариантами ответов или заполняют пустые вопросы, что им не предоставляется частичная оценка за обдумывание проблемы и присуждается только за окончательный ответ, который может быть неправильным, даже если различные шаги, ведущие к ответу были частично правильными. Кроме того, мошенничество на экзаменах намного выше, чем обычно, из-за отсутствия простых механизмов прокторинга, несмотря на использование новейших онлайн-инструментов прокторинга, которые кажутся простыми в игре.

  3. Если их просят отсканировать и загрузить свои ответы в виде pdf-файла вместе с их работой, после оценки никогда не закончится поток запросов на переоценку их ответов, потому что они сделали какое-то другое предположение или что их ответы «частично правильные». . Я преподаю курс, ориентированный на математику, где в основном есть только один правильный ответ, а вопросы обычно не подвержены неправильному толкованию. Тем не менее, после предоставления оценочного ключа учащиеся возлагают на ассистента преподавателя обязанность еще раз рассмотреть их ответы и, если возможно, присвоить частичный балл. Часто эти просьбы оказываются необоснованными. Тем не менее кажется невозможным остановить эти легкомысленные просьбы о пересмотре и переоценке всех их сценариев ответов. Все участники процесса оценивания (ассистент и я, инструктор) имеют ограниченное время в нашем распоряжении, особенно для большого класса. Тот факт, что я не встречаюсь со своими учениками физически, кажется, каким-то образом побуждает их продолжать стремиться к более высокой оценке.

Какие есть способы избавиться от этой нездоровой привычки? Мы с ассистентом тратим достаточно времени и усилий, чтобы обеспечить постоянство в наших оценках по всему классу, но вне этапа невозможно точно настроить нашу оценку, чтобы различать разные оттенки неправильных ответов.

Связанный, возможный дубликат: что делать с «сортировочными корчевателями»?
Почему эти запросы приводят к необходимости переоценки всего сценария ? Конечно, эти запросы должны сопровождаться описанием того, за какую часть, по их мнению, они заслуживают частичного признания и почему? (Если нет, требование этого может быть достаточным ответом.)
@mmeent Они идут с описанием, но, тем не менее, они, как правило, есть в каждом вопросе, где студент не получил полного кредита. Умножьте это на количество учеников в классе, и вы получите картину. По сути, кажется, что за легкомысленный запрос не нужно платить ни цены, ни цены. Это основная проблема имхо.
@Tryer Почему ты вообще занимаешься этими вопросами? В лучшем случае я бы выдал скопипастированный ответ вида «если вы выявили явную фактическую ошибку в маркировке, пожалуйста, устраните ее официальными средствами».
Если вы принимаете эти запросы, вы гарантируете, что будете продолжать получать их много.

Ответы (3)

Я подозреваю, что большинство из них связаны с дизайном вашего экзамена, а не с «онлайн-обучением».

  • У вас может быть множественный выбор на онлайн-экзамене или на обычном экзамене в зале. В обоих случаях вы получите (обоснованную) жалобу на то, что частичные решения ничего не стоят. Эта жалоба присуща вопросам MC, и единственный способ решить ее — не использовать вопросы MC. И наоборот, онлайн-экзамен может содержать обычные открытые вопросы, как и обычный экзамен в холле. Если вместо этого вы решите задавать вопросы MC из-за очевидных преимуществ, связанных с оцениванием, вам придется смириться с последствиями.
  • Вы говорите, что открытые вопросы ведут к «постоянному потоку» запросов на переоценку (потому что студенты утверждают, что неправильно поняли вопрос). Опять же, я не понимаю, как это относится к онлайн-экзаменам - если одни и те же вопросы будут понятны студентам на экзамене в холле, почему они недостаточно ясны на онлайн-экзамене? И если они неясны, почему ученики не просили разъяснений во время экзамена (я предполагаю, что есть простой способ запросить разъяснения у учителей в режиме реального времени, верно?)?
  • По своему опыту я согласен с тем, что онлайн-настройка каким-то образом увеличивает количество получаемых необоснованных запросов, но на самом деле у учителя нет полномочий реагировать на них. Если учащиеся продолжают присылать вам обновления своего экзамена после окончания экзаменационного периода, прекратите принимать такие обновления (предположительно, вы также не будете принимать поздние обновления общего экзамена). Если обычно вы не допускаете, чтобы фраза «но я неправильно понял вопрос» считалась действительным аргументом, используйте те же рассуждения и на онлайн-экзамене. И если вы получите значительно больше таких запросов, чем обычно, я бы внимательно посмотрел на экзамен и подумал, не менее ли они ясны , чем экзамены, которые вы обычно делаете (и тогда очевидное исправление состоит в том, чтобы улучшить ясность ваших экзаменов) .

В конечном счете, у меня сложилось впечатление, что вы (возможно, подсознательно) могли использовать переход на онлайн-экзамены, чтобы внести пагубные изменения в дизайн вашего экзамена (например, принять вопросы MC, а не открытые вопросы, потенциально оказывать меньшую поддержку студентам во время экзамена и т. д.). ), и ваши проблемы связаны с этим, а не с носителем. Сдача экзаменов онлайн не должна быть оправданием для сокращения времени, затрачиваемого вами и группой оценивания, иначе вы столкнетесь с проблемами (которые по своей сути не являются ошибкой онлайн-настройки).

Во всяком случае, мои экзамены стали проще в онлайн-режиме. Мои предыдущие экзамены были закрытыми книгами/закрытыми заметками. Итак, это открытая книга, открытые заметки, и я не стал усложнять вопросы.
@Tryer То же самое. И давайте не будем себя обманывать - при желании студентов списывание (разных видов) гораздо доступнее.

Совершенно законно давать на экзамене вопросы с несколькими вариантами ответов, и стандартным подходом к их выставлению оценок всегда был строгий правильный/неправильный результат, при котором частичная оценка работы не производилась. Обычно строгость этого подхода смягчается тем фактом, что есть несколько вопросов с несколькими вариантами ответов, и они, как правило, являются вопросами с низкой оценкой, что позволяет учащимся хорошо усреднять оценки в долгосрочной перспективе (т.е. учащиеся, которые имеют хорошие частичные знания, склонны получить больше правильных ответов в долгосрочной перспективе, чем студенты, которые понятия не имеют, что они делают).

Я согласен с другими комментаторами здесь, что нет ничего принципиально важного в том, что это онлайн-экзамен, а не личный экзамен. В обоих случаях вы должны просто оставаться в очереди и сообщать учащимся, что частичные зачеты за вопросы с несколькими вариантами ответов не предусмотрены. Это то, что применялось к поколениям студентов, и мы все научились жить со случайным разочарованием из-за того, что не получили оценок по вопросу, в котором мы частично понимали материал.

Есть несколько приемов, которые могут быть полезны для уменьшения проблем с маркировкой. Одним из полезных способов является проведение общего сеанса обратной связи по результатам экзамена, прежде чем принимать какие-либо конкретные вопросы/проблемы от студентов. Затем вы можете изложить общее объяснение маркировки и ожиданий относительно того, какие типы запросов являются разумными. (Я делаю это на многих своих курсах, и у меня не было проблем с чрезмерными вызовами при выставлении оценок после этих занятий.) Еще одна возможность здесь заключается в том, что ваш ключ оценивания может быть слишком конкретным, и это может привести к тому, что студенты поверят, что они могут оценивайте соответствующую отметку за ответ лучше, чем ТА. Иногда здесь может быть полезна менее конкретная информация об оценках, поскольку в выставлении частичных оценок за вопросы присутствует элемент профессионального суждения.

Когда у меня есть оценки ТА по моим курсам, главное, о чем я беспокоюсь, это их последовательность.в своих стандартах оценок для всех учащихся. Если ТА окажется чрезмерно снисходительной или чрезмерно требовательной по всем направлениям (относительно того, как я бы это отметил), для меня это не является большой проблемой. Учащимся следует дать понять, что существуют различия в профессиональном усмотрении при выставлении частичных оценок, и что вы можете быть уверены в том, что ассистент сделает это разумным образом. В редких случаях, когда оценка ТА выходит за рамки разумного (например, слишком суровая для уровня года), или если есть какая-то другая проблема, когда со всеми учащимися обращались необоснованно жестко, вы обычно можете компенсировать это масштабирование оценок за элемент оценивания для всего класса; лучший подход, чем попытки переквалифицировать отдельных заявителей.

Я согласен с xLeitix в том, что дизайн экзамена — это первое, что нужно учитывать. Вы должны быть обоснованно уверены, что ваши экзаменационные вопросы уместны, достаточно ясны и т. д. Если в вашем учреждении нет систематического процесса, позволяющего другим предоставлять отзывы о вашем дизайне экзамена, вы можете захотеть неофициально обратиться к коллегам, чтобы узнать их мнение о вашем экзамене. Экзамены.

Использование на экзамене полностью множественного выбора может легко привести к провалу студента с хорошим общим пониманием темы. Сочетание множественного выбора и открытых вопросов может стать достойным балансом между оцениванием нагрузки и справедливой оценкой. В любом случае, если вы уверены, что множественный выбор является подходящим форматом для некоторых вопросов, учащиеся могут немного поворчать, но это должно создать для вас дополнительную нагрузку.

Когда дело доходит до пометки открытых вопросов, это опять-таки вопрос обоснованной уверенности в своих решениях. Вам следует рассматривать апелляции на том основании, что вы допустили ошибку, а не на том основании, что вы приняли суждение, которое могло быть принято по-другому. Если ваши вопросы понятны любому, кто разбирается в теме, то «я интерпретировал это по-другому» также не является поводом для пересмотра оценок.

Четко объясните свою новую политику обращений к учащимся. Сообщите им, что вы вернетесь к экзаменационному сценарию только в том случае, если они объяснят, как именно, по их мнению, первоначальная оценка была основана на ошибке маркера и почему. Придерживайтесь новых правил. Студенты быстро поймут, что им нужно приложить некоторые усилия сейчас, чтобы их экзамены снова рассмотрели, и что это окупается только в тех редких случаях, когда маркер действительно допускает ошибку.