Существует ли стандартный подход к оценке вопросов, основанных на последовательности?

Оценка, которую я рассматриваю, содержит несколько вопросов следующего содержания:

Расположите в правильной последовательности следующее:

  • __: Третий по порядку
  • __: Второй по порядку
  • __: Четвертый по порядку
  • __: первый по порядку
  • __: пятый по порядку

Каков стандартный метод оценки такого вопроса?

Правильная последовательность чисел, которую нужно записать в пробелы, __будет 3, 2, 4, 1, 5. Однако, если учащийся пропустит, скажем, правильную начальную точку, но оставшаяся часть последовательности будет правильной относительно друг друга ( например: 2, 1, 3, 5, 4), считается ли вообще вся последовательность неверной или более уместным является частичное зачисление? Если второе, есть ли способы легко автоматизировать процесс оценки?

Один из вариантов, который приходит на ум, — создать список возможных вариантов и преобразовать сам вопрос в вопрос с несколькими вариантами ответов.

Например:

  • А. 1, 2, 3, 4, 5
  • Б. 5, 1, 3, 4, 2
  • С. 3, 2, 4, 1, 5
  • Д. 2, 1, 3, 5, 4

Однако (а) я чувствую, что тогда ответ становится немного более запутанным , и (б) я не уверен, действительно ли он оценивает тот же навык в этот момент.

Я видел экзамены, на которых нужно было поставить четыре вещи в определенном порядке. Каждая правильная вещь давала вам полбалла. Это должно быть разумно. Однако вы не можете запретить людям догадываться.
@ian_itor, спасибо за комментарий. Для уточнения, если бы я последовал вашему предложению, как бы вы предложили мне отметить студента, который ответит 2, 1, 3, 5, 4? Ни один из этих порядков не является «правильным», но, по крайней мере, варианты со второго по пятый находятся в правильной последовательности относительно друг друга. Вариантом, заслуживающим рассмотрения, может быть наличие нескольких вопросов с меньшим количеством вариантов ответа (а затем просто рассматривать всю последовательность как правильную или неправильную).
Вы можете использовать любой стандарт оценивания, какой захотите — разные критерии подходят для разных типов вопросов или разного уровня сложности — но вы должны выбрать свой критерий и показать его своим учащимся, прежде чем они должны будут ответить на вопрос .
@AHandcartAndMohair Половина балла будет присуждаться за правильное абсолютное положение, а не за относительное положение. Это как-то произвольно, если подумать о случае, когда студент делает одну ошибку, ставит первый пункт последним и не получает баллов, но вам нужно что-то решить.
@JeffE, я согласен с тем, что мы можем устанавливать свои собственные стандарты, и это нормально, если мы раскрываем их студентам. На теоретическом уровне, я думаю, хорошо иметь возможность обосновать, почему был принят определенный подход к оценке, поэтому мне было любопытно, существуют ли какие-либо существующие стандарты (или мне следует изучить вероятностный подход для обоснования одного подхода к оценке). над другим).
В некоторых случаях вам может понадобиться специальный метод. Если правильный ответ — 21354, то, возможно, 12354 и 23154 будут считаться одинаково неправильными в рамках стандартизированного процесса оценки, но, возможно, с точки зрения фактического содержания одно ближе другого. Может быть, тот факт, что 2 предшествует 1, является действительно основным фундаментальным фактом, который студенты должны знать, но тот факт, что 3 идет после 1, является второстепенной технической деталью, которая на самом деле не так важна. Затем вы можете захотеть дать больше частичного кредита для 23154, чем для 12354.
И, конечно же, если стандарт разработан специально для вопроса, вы не захотите раскрывать его учащимся, за исключением чего-то вроде «вы можете набрать от 0 до 5 баллов, исходя из моего суждения о том, насколько правильное понимание указано в вашем ответе».
Ик, какой противный вопрос. Обсуждение: сколько времени потребуется оценщику, чтобы обработать все многообразные перестановки для частичного зачета? Это кажется кошмарным.
Я всегда вздрагивал, когда сталкивался с подобными вопросами на тестах, именно потому, что если что-то не так, то, как правило, все неправильно. В то же время, подобного рода ошибка (например, поменять местами пункты 1 и 2, а остальные в порядке) не так уж плоха, но часто разница в баллах казалась плохим индикатором фактических знаний. Я был бы осторожен, чтобы посмотреть и увидеть именно то, что вы хотите изучить, и если это вообще заслуживает оценки - запоминание точного порядка последовательности в основном является уловкой памяти и может не указывать на какое-либо полезное обучение.

Ответы (2)

Вы можете дать баллы за самую длинную подпоследовательность в правильном порядке.
В качестве альтернативы вы можете сделать это открытым вопросом: «Опишите процесс шаг за шагом, не забудьте включить в свой ответ 1, 2, 3, 4 и 5». Затем оцените несколько основных идей, которые должны быть в ответе. Это избавит вас от любых догадок и покажет вам, почему учащийся ошибается в процессе.
Также можно позволить учащимся разместить только 1 элемент процесса в правильном месте. Например:

Where in the process does 1 happen?
A. before 2
B. after 2, but before 3
C. after 3, but before 4
D. after 4, but before 5
E. after 5

Другая возможность состоит в том, чтобы сосредоточиться на частях процесса, которые непосредственно следуют друг за другом. Предположим, что студент ответил «1,2,3,4,5», вы можете посмотреть на пары (1,2), (2,3), (3,4) и (4,5). Затем дайте балл за (1,2), если 1 непосредственно предшествует 2 в правильной последовательности, дайте балл за (2,3), если 2 непосредственно предшествует 3 в правильной последовательности и т. д.

Оба хороших варианта для меня, чтобы изучить дальше. Спасибо! Открытый вопрос идеален с точки зрения демонстрации обучения, но я думаю, что сам тест должен быть таким, чтобы его можно было проводить без особого вмешательства или ручной коррекции.
Отметить это как принятое. Вероятно, все же будут изучены дополнительные варианты с точки зрения пересмотра самой структуры вопросов.

Я не знаю какого-либо стандартного метода оценивания таких вопросов, но у меня сложилось впечатление, что мы получим наилучшую корреляцию между знаниями учащихся и оценками, если будем основывать оценивание на количестве неправильно упорядоченных пар (или, другими словами, тау Кендалла) . ранговое расстояние между данным ответом и правильным). Неправильно упорядоченная пара — это пара элементов (x,y), где x стоит перед y в ответе, но должен стоять после y. Так, например,

  • (1, 2, 3, 4, 5) имеет 0 неправильно упорядоченных пар,
  • (1, 3, 2, 4, 5) имеет 1 неправильно упорядоченную пару, так как 3 должно стоять после 2,
  • (3, 1, 2, 4, 5) имеет 2 неправильно упорядоченные пары, так как 3 должно стоять после 1 и после 2,
  • (2, 1, 5, 4, 3) имеет 4 неправильно упорядоченные пары, так как 2 должно стоять после 1, 5 должно стоять после 4 и после 3, а 4 должно стоять после 3,
  • (5, 4, 3, 2, 1) имеет 10 неправильно упорядоченных пар.

Минимальное число равно 0, максимальное число равно n(n–1)/2. Для оценки определите некоторую функцию, которая отображает интервал [0,n(n–1)/2] в точки, не обязательно линейным образом.

Это кажется интересным и потенциально работоспособным подходом. Я думаю, что мне, возможно, придется придумать пару фиктивных ответов и посмотреть, на что это может быть похоже, чтобы реализовать это. Спасибо за предложение!
Существует ли стандартный подход к оценке вопросов, основанных на последовательности?
СпросиСетьПолитика конфиденциальности1y, 0v