Различные формы тестирования и оценки

Я близок к академику, который столкнулся с жесткой критикой за то, что использовал неортодоксальную схему оценок на выпускных экзаменах (было задействовано умножение, чтобы гарантировать, что хорошая оценка будет означать достойный успех в двух независимых частях).

Мой главный вопрос:

Q0: Каковы основные руководящие принципы, которые вы используете при разработке теста и схемы оценивания? Налагаются ли на вас какие-либо четкие ограничения (юридические, моральные или традиционные; внутренние или внешние)?

Предположим, что раздаваемые тесты полностью анонимны, так что дается , что оценка зависит только от раздаваемого теста и ни от какого другого элемента. В частности, конечно, неприемлема дискриминация по признаку пола, расы или религиозных убеждений, но нет необходимости упоминать об этом, поскольку (надлежащая) анонимность должна предотвратить это.

Я также хотел бы собрать разнообразные способы тестирования и оценки. Этот тип вопроса «большой список» иногда встречается на MathOverflow, я не знаю, приветствуется ли он здесь, но я думаю, что разнообразие схем оценок и дизайнов экзаменов поможет получить информацию для ответов на Q0.

В1: Какую схему экзамена и схему выставления оценок вы на самом деле использовали (или применяли, если оценивали не вы, а скоординированные оценщики)? Каковы мотивы этого выбора и какие выводы вы сделали из его результатов? Множественные ответы для различных пар схемы экзамена/схемы оценивания лучше, если они не извлекают прямой выгоды из их сбора.

В комментарии просят уточнить, так что добавлю, что меня больше интересуют научные области. Вопрос явно имеет смысл в более общем плане, но уже достаточно широк.

Пожалуйста, не принимайте это как сарказм (это не предназначено для того, чтобы быть таковым — вы задаете вопрос, который я хотел бы, чтобы больше людей): Q0 — это, по сути, вопрос о состоянии теории оценивания. Я сам не в педагогике, но этот вопрос похож на вопрос: «Каково ваше мнение о том, как код / ​​программа должны быть организованы, спроектированы и разработаны?» к компьютерщику. Я на самом деле счастлив, когда профессора задают этот вопрос, потому что (по иронии судьбы), хотя у профессоров гораздо больше свободы в разработке оценок по сравнению с их коллегами из K-12, у них часто нет теоретической подготовки по оценке. Он просто очень широкий.
(но вы могли бы немного обосновать вопрос, изменив Q0 с мнения на вещи, основанные на текущих/опубликованных исследованиях — их много)
@guifa: возможно, вы правы, вопрос слишком широк, но предложенная вами переформулировка не соответствует моей цели: вопрос во многом касается юридических и моральных барьеров, например, должны ли мы избегать некоторых форм тестирования. Попробую переформулировать в более адекватной форме.
Во-первых, ваш вопрос слишком широк. Мое предложение: либо сузить его до более мелких, либо сделать его вики. Я пока не хочу голосовать за закрытие, потому что хочу уважать ваше собственное мнение. Во-вторых, мне любопытно узнать, как вы сохраняете экзаменационные работы должным образом анонимными?
«Допустим, что раздаваемые тесты полностью анонимны»: зачем это предполагать? По моему опыту или, по крайней мере, в моей стране, тесты никогда не бывают анонимными.
@MassimoOrtolano В моей стране национальные экзамены полностью анонимны. Имена людей в экзаменационных билетах запечатаны. После того, как работы оценены, печати снимаются, а затем записываются оценки. Вот почему я спросил ОП, как сохранить анонимность.
@scaaahu В моей стране национальные экзамены и отборы тоже анонимны, но не университетские экзамены, где студент обычно должен написать свое имя на экзаменационном листе, а профессора в любом случае имеют соответствие между идентификатором студента и именем.
@MassimoOrtolano Точно так же в моей стране.
@scaaahu (и др.): во Франции анонимность университетских (выпускных) экзаменов обязательна по закону. Это реализуется несколькими способами (запечатанная студенческая идентификация на листе или наклейки с анонимным номером, неизвестным преподавателям (и, следовательно, отличающимся от студенческого удостоверения) — вот два из них, которые я видел в своих учебных заведениях).
Учитывая широту моего вопроса: я думаю, что никто не будет использовать большое количество ограничений или основных руководящих принципов при построении экзамена. Так что это кажется ответом, но, возможно, не так просто, учитывая отсутствие ответов. Я попытаюсь предложить ответ, который может помочь более конкретно понять, что мне нужно, но я не вижу, как разделить вопрос (кроме разделения Q0 и Q1, что было бы возможно с перекрестными ссылками вопросов).
Вы должны добавить тему или хотя бы поле, о котором мы говорим. Тест, например, по математике или информатике может полностью отличаться от урока языка или истории. Если вам нужен действительно широкий ответ, вы можете, по крайней мере, различать экзамены, ориентированные на результат, и экзамены, ориентированные на содержание, например, вычисление результатов или предоставление небольших доказательств по сравнению с написанием эссе по заданной теме.

Ответы (2)

Я разработал ряд оценок, а также недавно столкнулся с довольно сложным расчетом оценок, который у некоторых учащихся шел неправильно, поэтому я бы сказал, прежде всего, что он должен быть простым, чтобы учащимся было понятно , как вы достигли отметки. Конечно, должно быть точное соответствие учебной программе/целям обучения . Мы также пытаемся подумать о применении таксономии Блума , чтобы вопросы смешивали описательные и оценочные вопросы.

  • Q0: У нас есть некоторые ограничения, некоторые из них являются обязательными, а другие представляют собой попытку стандартизировать рубрики в отделе, где я работаю. Одним из них, который имеет достаточный смысл, является использование оценочной сетки , чтобы для каждой вещи, по которой учащийся оценивается (например, уровень критического анализа), был пример уровня качества, ожидаемого в каждом конкретном случае. граница сорта. Мы также потратили много времени на размышления о групповой работе.и как справедливо оценить его. Обычный подход для нас сейчас состоит в том, чтобы присвоить общую оценку группе студентов, но также иметь индивидуальный элемент или разрешить корректировку на основе индивидуальной успеваемости. Это трудно сделать правильно, так как вам нужно избегать: а) членов команды, которые не берут на себя ответственность; но и б) один «более сильный» член команды, взявший всю работу на себя.

  • В1 В настоящее время я в основном избегаю экзаменов и использую в основном оцениваемые презентации, вивы и стендовые презентации. Схема оценки обычно представляет собой что-то вроде 70/30 аспектов между содержанием и презентацией. Поскольку я преподаю человеко-компьютерную инфраструктуру и информатику, мне часто требуется доказательство того, что я следую структурированному процессу проектирования , а не просто поддерживаю этот процесс на словах. Это почти всегда ясно видно по студенческой работе, если она была сделана хорошо/вообще.

Мой опыт основан на чистой математике в США, без четких ограничений. Мой подход зависит от курса, и обычно каждый семестр я пробую что-то новое, но мои основные принципы разработки таковы:

  • во-первых, определить, какие основные вещи, по моему мнению, обязательно должен уметь делать студент по окончании курса (например, для дифференциального исчисления: вычисление пределов и производных, понимание связи с касательными, простые задачи оптимизации), а также вещи Я хотел бы, чтобы студенты могли делать (например, более сложные задачи оптимизации, логарифмическое дифференцирование, концептуальное мастерство, ...). это дает мне набор контрольных показателей для учащихся, чтобы они могли получить как проходные оценки (соответствие минимальным требованиям), так и контрольные показатели более высокого уровня для получения B или A.

  • попытайтесь сделать экзамен, который проверяет как можно больше из этих вещей, как можно более независимо и с разным уровнем сложности, с ограничением, что очень хороший студент должен быть в состоянии закончить примерно за половину отведенного времени

  • постарайтесь составлять вопросы, которые легко оценивать, как для облегчения моей оценки, так и для повышения единообразия оценок

  • попытаться использовать задачи, похожие на те, что они видели раньше в домашних заданиях/предыдущих экзаменах/примерах в классе, но по большей части немного отличающиеся,

Что касается некоторых способов, которыми я (пытаюсь) применить это на практике (скажем, для исчисления):

  • сделайте верным/ложным, чтобы проверить концептуальное понимание (эффект: большинство учащихся получают очень близкое к одинаковому количеству верных/ложных правильных ответов, поэтому это мало влияет на дифференциацию оценок, за исключением нескольких учащихся, которые учатся очень хорошо или очень плохо)

  • для других задач задач (некоторые из которых учащимся, возможно, придется показать работу, а некоторые из которых я разрешаю им пропустить работу, если они хотят), в основном схема оценивания такова: полный балл (допускаются очень незначительные ошибки), половина балла , или нет зачета (эффект: оценка проста и, я думаю, довольно справедлива)

  • что мне нужно выдать в конце, так это буквенные оценки (A, B, C, D, F); Основываясь на экзаменационных вопросах и контрольных показателях, которые я имею в виду, я устанавливаю предельные значения количества задач, которые, по моему мнению, студент должен правильно решить, скажем, на пятерку или тройку, и конвертирую это в количество баллов. (на практике: я часто обнаруживаю, что у меня слишком много низких оценок, и в конечном итоге смотрю на отдельные выпускные экзамены, чтобы переоценить то, что, по моему мнению, заслуживают разные ученики, и пересмотреть свои ограничения после оценки)