Как откалибровать временные ограничения экзамена для нового курса?

Я готовлюсь к экзамену по курсу, который веду. Это инженерный курс; экзаменационные задачи требуют от студентов применения концептуальных знаний и количественных навыков, которым обучают на лекциях и в лабораториях.

Это первый раз, когда класс предлагается, поэтому у меня нет системы отсчета с прошлых лет. У меня не было никаких викторин в классе или других возможностей напрямую узнать, сколько времени у студентов уйдет на решение задач, подобных тем, что на экзамене. Я также не нашел подобных экзаменов в других университетах, чтобы служить ориентиром.

Очевидно, что я гораздо более опытен в этом материале, чем мои ученики, поэтому я не могу обобщать, сколько времени уходит на решение подобных задач.

Этот вопрос к более опытным преподавателям: существуют ли в таком сценарии какие-либо методы или общие правила для определения того, сколько времени вы можете сдать экзамен, учитывая отведенное время?

Я не хочу, чтобы время было главной проблемой на этом экзамене; Я хочу, чтобы большинство достаточно хорошо подготовленных студентов смогли сдать экзамен в отведенное время.

Просто идея: пусть ТА (или какой-нибудь аспирант, знакомый с темой) решит задуманные вами проблемы. TA должен быть таким же быстрым, как один из лучших студентов, чтобы вы могли добавить 20%-50% времени, необходимого к продолжительности экзамена. Докторант, вероятно, намного медленнее (поскольку он не привык к таким задачам и иногда использует более сложный способ решения задачи), поэтому вы можете добавить 0%-20%. Самостоятельно решать ее имхо не лучшая идея: вы знаете, как выглядит решение и как надо решать проблему, и вы не найдете своих ошибок.
@TheAlmightyBob Очень хорошая идея. Таким образом, ТА также будет проверена.
@TheAlmightyBob это должен быть ответ, а не комментарий!
TA должен быть таким же быстрым, как один из лучших студентов, чтобы вы могли добавить 20–50 % времени, необходимого к продолжительности экзамена. По моему опыту, 100–200 % — лучшее дополнение.
@JeffE Мой опыт был аналогичным: с сильными ТА умножьте их время в 3 раза.
Вы вынуждены исправлять свою схему оценок заранее? Если нет, вы можете спроектировать свой экзамен так, чтобы он был «слишком много» (что имеет и другие преимущества), ожидая, что (большинство) студентов не будут делать все. Наблюдайте, что на самом деле возможно (всегда есть один тип Гермионы), и устанавливайте свои оценки соответственно.
@JeffE (и другие): фактор времени в решающей степени зависит от того, какие проблемы вы ставите. Репродуктивный множественный выбор? Большой фактор. Вопросы по дизайну/корректуре произвольного текста, которые требуют независимого мышления? Небольшой коэффициент (иногда даже 1,0 от ТА к студенту).
@Raphael Если бы я получил экзамен для своего первого теста, который было физически невозможно пройти, я бы бросил класс на следующий день. Представление непреодолимых проблем для оценки успеваемости учащихся не нравится учащимся.
@Compass О, конечно, мы сообщаем студентам заранее. Как я уже сказал, дополнительные преимущества: мы ставим проблемы, которые требуют независимых мыслей и идей — если вы застряли на одной проблеме, просто выберите другую. (Конечно, мы бы не сказали им, если бы хотели выбрать лучший результат как 100%.)
Попросите учащихся ответить на вопрос или два, очень похожие на вопросы на экзамене, в качестве упражнения в классе (без оценки, но сданы). Запишите каждый по мере того, как он повернулся за время, которое было потрачено. Просмотрев время, которое потребовалось каждому учащемуся, и качество/правильность их ответов, вы получите представление о том, сколько времени это займет у них (плюс некоторая хорошая обратная связь по насколько это будет сложно, и помогите учащимся понять, на какие вопросы им нужно ответить). Да, это требует драгоценного времени в классе, но если это совершенно новая территория, как вы говорите, нет другого способа найти ее.
Вопросы по дизайну/корректуре произвольного текста, которые требуют независимого мышления? Небольшой коэффициент (иногда даже 1,0 от ТА к студенту) — это смехотворно несовместимо с моим опытом. Я предполагаю, что если мои ассистенты не могут решить открытую задачу проектирования/корректуры за пять минут, то и большинство студентов не решат ее за 20 минут.
@JeffE Многое зависит от источника ТА - учитывая ваше учреждение, я подозреваю, что ТА, вероятно, в основном являются аспирантами, и ожидается, что они сами будут преподавать в классе. В некоторых других школах TA часто просто старшекурсники, которые помогают оценивать.
Могу подтвердить оценку @JeffE +100-200%. Несколько лет я был инженером-ассистентом (будучи студентом), и профессор раздавал три разных варианта теста с несколькими вариантами ответов. Поскольку время от времени возникала проблема с отсутствием правильного ответа в предоставленных вариантах, я договорился со студентами, что буду проходить все тесты с ними и вежливо поднимать вопрос перед профессором, если правильный ответ не будет правильным. не выбор. Я регулярно заканчивал все три версии до того, как кто-либо из студентов выполнял свой единственный тест.

Ответы (7)

Это совершенно ненаучно, но на экзаменах (по математике) я использую следующее эмпирическое правило:

После написания экзамена я сажусь с секундомером и работаю над экзаменом от начала до конца. Конечно, я знаю, как решать задачи (так как я их написал), но я тщательно прохожу все этапы и пишу то, что считаю исчерпывающим и образцовым решением. Я отмечаю время, которое я потратил на каждую проблему.

Затем я беру общее время и умножаю его на 3 (иногда на 4). Если это превышает отведенное на экзамен время, я убираю или упрощаю некоторые вопросы. (Именно здесь мне помогает то, что я записал время, потраченное на каждый вопрос, чтобы я мог удалить вопрос и пересчитать время, фактически не пересдавая весь экзамен.)

В качестве дополнительного преимущества это также помогает гарантировать, что я не допустил ошибок при создании экзамена и что все задачи имеют решения, которые я планировал. Это также дает мне ключ ответа.

Я использую коэффициент 5. Таким образом, для написания одночасового экзамена требуется 12 минут.
Из разговоров моих профессоров в бакалавриате это очень похоже на то, что они делали. Они всегда говорили, что могут закончить свой 50-минутный экзамен за 15 минут.
Я также использую фактор 3-4 для статистики.

Существуют ли в подобном сценарии какие-либо методы или общие правила для определения того, как долго вы можете сдавать экзамен, учитывая отведенное время?

Я всегда делаю это так: сдаю экзамен своим ассистентам-студентам (ассистентам, магистрантам, исследователям бакалавриата) и смотрю, сколько времени это займет у них. Чем ближе студенты к вашему среднему хорошо подготовленному участнику курса, тем лучше. И, очевидно, вы хотите добавить немного свободы действий, чтобы учесть тот факт, что участники вашего курса, в отличие от экзаменаторов, будут нервничать и находиться в тестовой ситуации, и что вы не хотите, чтобы время имело слишком большое значение. .

Редактировать: Боб опередил меня в комментарии.

По моему опыту, соотношение времени, необходимого для решения задачи опытным учителем и «средним учеником», может сильно различаться в зависимости от предмета, типа задач и даже между задачами одного типа. С одной стороны, есть задачи, решения которых довольно просты, но требуют много утомительных вычислений, для которых не существует коротких путей: в этом случае время решения для профессора и студентов почти одинаково. С другой стороны, есть задачи, требующие нахождения «умного» решения, где требуется мало вычислений: в этом случае опытный профессор может решить задачу за гораздо меньшее время (соотношение между временами решения около 4 недопустимо). необычно).

Таким образом, даже если вы можете дать экзаменационные задачи ассистентам для тестирования, постарайтесь тщательно оценить, какие задачи вы подготовили, это может позволить вам лучше сократить продолжительность экзамена.

Обычно я рассматриваю отношение примерно 3 между временем экзамена и временем решения (электронные измерения).

Как учитель, при сдаче теста вы должны иметь возможность воздерживаться от использования сокращений, которым вы не учили, и поэтому они не должны влиять на требуемое время. Однако ТА/другие могут столкнуться с ними и использовать ярлыки.
@ user2813274: Я не писал, что не учил ярлыку. Но учащиеся могут не заметить сходства между примером, описанным на уроках, и экзаменационной задачей. И в любом случае, я ожидаю, что студенты смогут находить короткие пути на основе того, что они изучили на всех курсах, которые они изучали, особенно если они являются аспирантами.
Если вы научили сокращению (и ожидаете, что студенты будут его использовать), то нет ничего плохого в том, чтобы выделить время и ожидать, что студенты должны будут использовать его, чтобы закончить вовремя. Однако я бы не ожидал, что они будут использовать ярлыки из других курсов, которые они могли или не могли пройти (если только это не является обязательным условием, но даже в этом случае я бы не стал тестировать его, если он не был предварительно рассмотрен в классе).
Важно, чтобы студенты знали об ожиданиях своих преподавателей. Итак, я четко предупреждаю их о двух вещах: 1) на экзаменах они найдут как минимум новую задачу, то есть задачу, для которой ни один предыдущий пример не обсуждался (как упражнение в классе, домашняя работа или из предыдущих экзаменов); ii) Я ожидаю, что они будут в состоянии использовать основные факты из ряда других предметов, которые являются обязательными для каждого учащегося, так что их не нужно явно указывать в качестве предварительных требований. А экзамен - это открытые книги. Если они не понимают этих ожиданий, очень плохо, они потерпят неудачу.
Я не уверен, как я отношусь к «новым проблемам», поэтому я задал вопрос о них , но, пожалуйста, отредактируйте / прокомментируйте, если вы не возражаете против того, какие конкретные проблемы вы задаете. Я помню некоторых профессоров, которые делали такие вещи, но я ненавидел их за это, даже когда решал задачу. Я также думаю, что эти проблемы сделают оценку правильного количества времени намного сложнее, чем без них.
Иногда бывает наоборот: экзаменационный вопрос, заданный старшекласснику, решается вдвое быстрее профессора. Этот вопрос можно было бы решить намного быстрее и с меньшей вероятностью ошибок, если бы задача была представлена ​​в полиномиальной форме, а затем с помощью синтетического полиномиального деления были найдены нули, имеющие довольно стереотипную форму. Я спросил об этом у профессора, и он сказал, что ни один студент так не делал :) Это, наверное, довольно редко, но есть некоторые низкоуровневые алгебраические «фишки», которым, похоже, не везде учат. Мой удивительный профессор математики средней школы точно не учил этому

Вот что я делаю, даже на курсах, которые я часто веду. Это не отвечает на заданный вами вопрос, но может служить вашей цели.

Я всегда стараюсь составить экзамен, который можно сдать за отведенное время, но мне это почти никогда не удается — я слишком увлекаюсь тем, чтобы вопросы были интересными, в надежде, что студенты действительно узнают из экзамена, а также продемонстрируют, что они знают. Я заранее объявляю о своей неудаче, чтобы ученики не удивились. Я обязательно говорю им, что, поскольку я знаю, что в классе есть несколько отличников, я морально обязан изменить экзамен таким образом, чтобы высшие оценки были пятерками.

Я говорю учащимся, что после того, как они сдадут свой (временной) экзамен, они должны забрать вопросы домой и прийти на следующий урок с рефератом, содержащим решения, которые, как им хотелось бы, у них было достаточно времени для написания. Я говорю им, что дополнительные усилия не обязательно заменят их работу на время, но могут улучшить их оценку.

Поскольку я почти всегда провожу экзамены с открытыми заметками, тот факт, что они могут посмотреть что-то дома, не является настоящим бонусом. Я знаю, что они могут получить дополнительную помощь дома (т.е. обманывать), но мне всегда неудобно разрабатывать ограничения для поимки мошенников, которые лишают большинство честных студентов возможности узнать больше.

Звучит очень знакомо, за исключением того, что я всегда отказывался выставлять буквенные оценки за отдельные экзамены. В целом я мог бы сказать, что любой, кто набрал не менее 80 %, выполнял работу А, а любой, кто набрал не менее 50 %, выполнял работу не ниже С. И я помню один или два небольших класса, в которых действительно не было никого, кто заслуживал бы пятерки в конце курса.

Если человек, устанавливающий экзамен, понятия не имеет, как вопросы будут играть на практике, студенты, по-видимому, находятся в точно такой же ситуации. Это может усилить нервозность и затруднить подготовку к тесту.

Как насчет того, чтобы сдать пробный экзамен, который может быть короче настоящего, но с похожими вопросами, во время занятий за пару недель до фактического экзамена? Если вы отвечаете на вопросы самостоятельно или поручили ассистенту и т. д. выполнить их, как уже было предложено, вы можете использовать тренировочный тест, чтобы откалибровать соотношение между временем реальных студентов и временем ассистента.

Студенты также получат пользу, увидев, какие вопросы вы задаете, и имея возможность обсудить их с вами, с ассистентом и между собой. Это поможет им подготовиться к реальному тесту.

У меня нет свободного времени, чтобы сдать пробный экзамен. Студенты видели, какие вопросы я буду задавать, потому что они были даны для домашнего задания, но я не видел, чтобы студенты задавали такие вопросы.
@ ff524, найдите свободный период, который БОЛЬШИНСТВО вашего ученика может сделать, и сделайте пробный экзамен необязательным, а другие ученики могут сделать его дома, если они не могут уложиться в установленное вами время.
Я сомневаюсь, что студенты будут сдавать пробный экзамен с той же скоростью, что и фактический экзамен, если только они не думают, что за пробный экзамен будут выставлены оценки.

Мне нравится предложение Нейта умножать на 4, если на экзамене все вопросы сочинения. Если вы обеспокоены тем, что учащиеся не закончат работу, вы можете использовать вопросы с несколькими вариантами ответов и краткими ответами.

Вопросы с несколькими вариантами ответов и краткими ответами заставляют вас задавать конкретные вопросы, на которые можно быстро ответить. Когда я был студентом, мне всегда нравились тесты с несколькими вариантами ответов и краткими ответами, потому что я знал, что каждый вопрос с несколькими вариантами ответов занимает 1-2 минуты, каждый краткий ответ - 2-3, а вопрос сочинения обычно занимает 7-10.

Вы можете использовать эти эмпирические правила для создания теста, который, как вы уверены, учащиеся смогут пройти.

Вам может быть полезен этот учебник по тесту с несколькими вариантами ответов .

Это хорошая ссылка, хотя я не уверен, насколько она отвечает на исходные вопросы.
Другой пост опередил меня, предложив взять это самому и умножить время на 4 и отдать его ТА.
То, что вы говорите, не совсем верно. В общем, формат вопроса не обязательно говорит вам о времени, которое потребуется для ответа на него. Вопрос с несколькими вариантами ответов может потребовать от вас решения сколь угодно сложной задачи, чтобы получить ответ. Я могу написать вопрос с несколькими вариантами ответов, на правильный ответ на который уйдут буквально триллионы лет :-)
Совершенно верно, вы можете сделать плохой экзамен, используя множественный выбор. По моему опыту студента и оценщика, экзамены с несколькими вариантами ответов, как правило, НЕ занимают в 4 раза больше времени, чем предполагал профессор, и не заканчиваются наивысшей оценкой 32/100, что я видел довольно часто на экзаменах в стиле эссе.

Калибровка времени исследования

  • 1/8 времени для профессора, чтобы решить экзамен уровня первокурсника
  • 1/7 времени профессора для решения экзамена второкурсника
  • 1/6 времени профессора для решения экзамена младшего уровня
  • любое вышеперечисленное может быть ограничено коэффициентом 5 по скорости письма, трактуется как «1/5» для всех студентов бакалавриата.
  • 1/5 времени для профессора, чтобы решить экзамен старшего уровня
  • 1/4 времени для профессора, чтобы решить элементарный экзамен уровня выпускника (магистра)
  • 1/3 времени для профессора для решения экзамена уровня промежуточного выпускника (специализированного магистра)
  • 1/2 времени для профессора, чтобы решить экзамен уровня продвинутого выпускника (доктор)

Эмпирическое правило заключается в том, чтобы рассчитать время для написания ключа ответов со всеми необходимыми шагами. При необходимости умножьте на соответствующий коэффициент. Фактор является обратным ожидаемому времени для самостоятельного решения проблемы.

Я помню, как сдавал выпускной экзамен для класса Master, и я закончил за один час, один одноклассник сдал за два часа, третий человек за четыре часа, а остальные мои одноклассники за пять часов. Младшая треть класса не сдала экзамен через 5 часов. Экзамен был назначен на три часа.

Я помню, как записывал время с шагом 30 секунд, которое я потратил на каждую проблему в домашнем задании, поэтому мой профессор записал свое время, написав ключ ответа рядом с каждым моим временем. Я был быстрее в целом и в большинстве задач (молодость думает быстрее), но медленнее в некоторых задачах (мудрость думает умнее).