Я оцениваю экзамены вместе с коллегой, но не согласен с их оценкой. Что я должен делать?

Пусть каждый оценивает разные вопросы , а не разных учеников .

Последовательность в оценках важна, и это несправедливо по отношению к учащимся, если их оценки существенно зависят от распределения их работы оценщиком. По этой причине, если вам необходимо разделить обязанности по выставлению оценок по конкретному элементу оценивания с другим коллегой, лучше разделить обязанности по выставлению оценок за вопросы , а не делить выставление оценок учащимся . Так, например, один человек оценивает Q1-3 по всем работам , а другой оценивает Q4-6 по всем работам . Таким образом, каждый ученик оценивается одним и тем же человеком по одному и тому же вопросу. (С точки зрения логики каждый из вас должен оценить свои вопросы по половине заданий, а затем поменяться местами.)

Похоже, этот корабль уже отплыл, и вы совершили ошибку новичка, разделив оценки для студентов, чтобы разные люди выставляли разных студентов. Также похоже, что вы пытались обсудить это со своим коллегой, но вы исчерпали все попытки изменить его оценку . В этом случае, даже если ваш собственный стиль оценивания лучше, чем у вашего коллеги, адаптация к его уровню оценок для этой оценки , вероятно, является разумным вторым лучшим вариантом, просто чтобы поддерживать постоянство уровня выставляемых оценок. В будущем постарайтесь избежать этой проблемы, разделив оценку по вопросам, а не по учащимся.

Окончательную ответственность за проведение курса, включая выставление оценок*, несет зарегистрированный инструктор. Поскольку это звучит так, как будто вы не являетесь зарегистрированным инструктором, а просто кто-то, кто помогает оценивать, на самом деле не вам решать, что является или не является подходящей оценкой.

Если у вас есть разногласия с другим оценщиком по поводу того, как выставлять оценки за экзамены, и вы не можете решить его, используя уже предоставленную вам информацию (вы сказали, что шаблона оценок недостаточно для этого), то уместно обсудить это с этим человеком. ответственный за этот курс (зарегистрированный инструктор), и посмотрите, что они говорят об этом.

Конечно, вы не хотите беспокоить их из-за каждой мелочи оценивания, но если речь идет о крупномасштабных различиях, когда философские различия в том, как проводить оценивание, могут существенно изменить оценки учащихся, это именно то, что человек ответственный за курс должен быть посредником.

Обратите внимание, что все становится немного сложнее, когда это групповой курс, где есть несколько «основных» инструкторов. Однако в таких ситуациях обычно каждый инструктор берет на себя инициативу по определенной теме. Как таковые, их следует считать основным мнением по вопросам, относящимся к их теме. (Вопросы, затрагивающие несколько тем, должны решаться по обоюдному согласию «основных» инструкторов.)

*) При условии, что некоторые курсы должны соответствовать стандартам отдела или аккредитации. Но даже в этих случаях именно инструктор несет ответственность за соблюдение этих стандартов.

В моем учреждении принято дважды отмечать 20% представленных материалов в целях стандартизации/модерации.

Это может означать, что 80 % получают одиночную маркировку, а 20 % — двойную, или это может означать, что два маркера оценивают по 60 % каждый (двойное перекрытие 10 %). Для оценок с низким весом это считается рекомендуемой передовой практикой, но обязательной для оценок с большим весом.

Если в вашем учреждении не существует таких механизмов стандартизации/модерации оценок, возможно, стоит предложить реализовать это (или что-то подобное).

Не зная вашего отдела, трудно сказать, уместно ли (или возможно ли) предложить это реализовать для вашей текущей когорты заявок, иначе это будет частью толчка к внедрению более широких изменений.

Несколько заметок о процессе, для любопытных:

Если есть разница между несколькими маркерами для какой-либо отдельной заявки, то маркеры должны установить согласованную оценку. Если согласованная оценка не может быть достигнута, она передается в отдел для посредничества.

Если выявляется значительная разница между несколькими маркерами в нескольких представлениях, тогда вся когорта должна быть отмечена дважды (и любые различия в оценках должны быть согласованы, как описано выше). Наша точка отсчета для «существенной разницы» — это среднее отклонение (коррекция) >= 7%.

Ответы, которые вы уже получили, действительно превосходны. Я просто хотел добавить одно небольшое наблюдение. Вы говорите, что оценивали эти экзамены

с коллегой из другого отдела

и что

Курс проводится их отделом , и с этого года я помогаю, потому что он пересекается с моим опытом.

По вашему собственному признанию, вы более или менее гость в их отделе, оказывая им услугу, помогая. Это означает, что оценки, в конечном счете, не являются вашей ответственностью .

Во-первых, предложение @Ben разделять оценки по вертикали, а не по горизонтали - вопросы, а не студенты - хорошо и практично независимо от всего остального.

При этом предлагаю вам рассмотреть следующее:

1. Откажитесь от фантазии или, лучше сказать, от тщеславия, что оценки последовательны. Это не так из-за миллиона факторов: экзамены не всегда одинаковой сложности; распределение способностей учащихся не синхронизировано с формированием кривой оценок; чувство серьезности ошибок различно для одного и того же человека при первых встречах и при поздних встречах; меняется настроение; неосознанные предубеждения (например: против людей с неаккуратным почерком); и так далее.
2. Постарайтесь запланировать обсуждение политики выставления оценок всеми оценщиками и авторами экзамена до того, как будет сдан следующий экзамен (в следующем семестре?). В этом обсуждении поднимите некоторые конкретные сценарии, требующие более точного суждения, а не просто «сколько баллов за какой вопрос».
3. Рассмотрите аргументы в пользу более грубой детализации оценок в курсе. Я фанат зачетов/незачетов (или зачет/незачет/отлично) и не люблю числовые шкалы, особенно от 0 до 100 или дробные оценки. Я могу с уверенностью смотреть на кого-то и говорить: «Да, вы поняли, чему мы здесь учили, вы прошли». или «Нет, ты не понимаешь — ты терпишь неудачу». И если кто-то находится на грани, то это вопрос политики, пройти его или провалить (лично я склоняюсь к провалу). Но я действительно не могу объяснить, почему у кого-то 63, а у другого 64,7. Я чувствую, что только помогаю какому-то произвольному промышленному механизму массового манипулирования, присваивая людям такие номера.

PS - Эти три предложения в основном ортогональны.

Если значительное количество полных работ было оценено разными людьми, вы можете рассмотреть возможность внесения исправления, чтобы работы, выполненные каждым оценщиком, имели одинаковую среднюю оценку (и, в идеале, одинаковую дисперсию). Это не устраняет все несоответствия, но, по крайней мере, делает оценку статистически справедливой.

Отличная дискуссия, с удовольствием читаю комментарии. Будучи студентом, я столкнулся с предвзятостью, крайней в двух случаях, при выставлении оценок в течение первых двух лет. Только благодаря настойчивости и наставничеству двух профессоров я смог это преодолеть. Таким образом, руководящим принципом в моей преподавательской карьере было позволить ученикам преуспеть или потерпеть неудачу в зависимости от их собственных заслуг .

Как и @einpokum, я ненавидел кривую нормального распределения, считая ее устаревшей и несправедливой. Одна горилла в комнате - это тот факт, что некоторые студенты в каждом кампусе, в основном через различные организации, особенно с греческими буквами, имеют доступ к экзаменам и работам, чем студенты, не подключенные к сети. Будучи аспирантом, я потерял ряд работ, оцененных профессорами, которые оставили их за пределами ведомственных кабинетов. И, как профессор, я определил, что пара представленных мне статей была плагиатом. Защита справедливости оценивания учащихся является обязанностью учреждения.

По моему собственному опыту, после первого года преподавания в колледже я ввел то, что я назвал оценкой развития , полагая, что учителя несут ответственность за создание условий, в которых все ученики имеют возможность добиться успеха. Это понятие я усвоил в детском саду от двух очень умных воспитателей, и с тех пор оно осталось в моем сознании. Их применение было исключительно экологическим. Подход, который я использовал, также был экологическим, но был сосредоточен на оценке учащихся и состоял из трех этапов:

1. Студенты сдавали экзамен, который оценивался мной, а затем и другими, по мере того как число студентов на моих общих курсах увеличивалось с менее 20, когда я начинал, до более 100.

2. После того, как оценки были известны, студенты могли подать заявку на повторную сдачу экзамена, получив половину баллов за каждый вопрос, который они «пропустили» на начальном экзамене. Они будут добавлены к их более раннему классу.

3. Если они все еще не удовлетворены, они могут сдать устный экзамен перед всем классом, который затем оценит их работу.

Хотя было несколько человек, выбравших вариант № 2, никто не подал заявку на вариант 3. Я надеялся, что хотя бы один из них определит, как отреагируют студенты.

Только после того, как 2-й этап был завершен, класс прошел экзамен вместе, чтобы поделиться своими мыслями о каждом вопросе и ожидаемых ответах. Позже это было изменено, чтобы студенты могли сдавать экзамен с помощниками студентов или другими профессорами в зависимости от курса.

Второй принцип моей оценки, который студенты в конечном итоге усвоили, заключался в том, что три предыдущих экзамена оказали меньшее влияние на их итоговую оценку, чем то, как они повлияли на общий выпускной экзамен; и что эти экзамены и последующее обсуждение были разработаны, чтобы помочь им лучше выступить в финале. На самом деле, учащийся может плохо сдать все остальные экзамены (за исключением плохой посещаемости или других несоответствий минимальным параметрам), получить пятерку на выпускном и получить пятерку за оценку. Для некоторых студентов это, несомненно, оказалось подарком, но они заработали более высокую оценку. Почему? Я считал, что финалы были созданы не для того, чтобы набрать процент оценки по всем остальным критериям, а для того, чтобы всесторонне проверить то, что они дают.в целом узнали о предмете курса. Выставление оценок на выпускных экзаменах было одним из моих основных удовольствий, как и кофе для гурманов, который я пил, чтобы справиться с ними. :)

Я мог бы добавить, что экзамены были не единственными факторами, влияющими на итоговую оценку, но рецензии на книги, отчеты о спикерах или мероприятиях в кампусе, имеющих отношение к классу, или викторины, которые они запускали, не задавая вопросов, когда меня подсказывал мой вопрос в конце каждого урока. Класс - есть вопросы? Как и многие из вас, я подозреваю, что преподавание включает в себя изучение сложных понятий и сокращение их до уровня 8-го класса, чтобы большинство студентов первого и второго курсов могли понять, о чем мы говорим.

Отличным ответом является разделение оценок по вопросам, а не по ученикам. Но если это невозможно, попробуйте договориться о рубрике, т. е. о том, сколько баллов присваивается каждому аспекту ответа, который вы ищете.