Профессионально ли профессору задавать «неожиданные» вопросы на тесте?

Среди ответов, данных до сих пор, наиболее близким к моему мышлению является ответ xLeitix, и примечание о контексте также применимо.

Сейчас,

Профессионально ли профессору задавать «неожиданные» вопросы на тесте?

Он может быть профессиональным. Как я сказал в комментарии, непрофессионально задавать такие вопросы с единственной целью — завалить как можно больше студентов.

Кроме того, мне не очень нравится прилагательное « сюрприз» в названии: неожиданность — это что-то неожиданное, но если преподаватель четко предупреждает студентов, что на экзамене они обнаружат задачи, которые не были решены в течение курса, то нет сюрприз. Итак, далее я буду говорить о «новых» проблемах.

Экзамены и тесты имеют своей основной целью оценку того, насколько хорошо учащиеся осваивают/понимают (небольшую часть) определенного предмета. Как хорошо объяснили другие, новые вопросы или проблемы могут дать намек на то, насколько глубоко это понимание.

Но помимо указанной выше основной цели экзамены и тесты могут иметь и второстепенные цели:

• Экзамен может стать поводом для изучения нового материала. Четко определенное разделение между обучением и проверкой, которое обычно происходит в курсе, резко исчезает, когда человек начинает работать, даже в академических кругах. Обучение и проверка в повседневной жизни действительно чередуются, и во многих случаях обучение приходится проводить одновременно со стрессовой проверкой. Итак, новая задача во время экзамена может стать поводом продолжить обучение более «незащищенным» способом.
• Экзамен может быть намеком, одним из многих, что то, чему учили на уроках, — это еще не вся история, и что за уроками есть гораздо больше: новые задачи обязательно доставят это сообщение.
• Для профессора экзамен — это возможность найти хороших студентов, которым можно предложить диссертацию. Постановка новых задач может быть способом найти учащихся, способных к независимому мышлению.

Итак, я склонен давать новые задачи на экзаменах с учетом вышеизложенного.

Чтобы не быть слишком общим, давайте приведем пример, связанный с моим опытом. Несколько лет назад я читал курс о датчиках, преобразователях и схемах преобразования сигналов для дипломированных инженеров-электронщиков. Письменная часть экзамена состояла из задач по проектированию или анализу схемы формирования сигнала или по оценке погрешности измерения определенного преобразователя. Из-за обширности темы в курсе не было описания ни всех видов датчиков и преобразователей, ни всех возможных схем формирования сигналов. Итак, я решил, что каждый экзамен будет состоять из новой задачи, где «новая» означала:

• Проблема с датчиком, не описанная в курсе. Действительно, экзаменационный текст содержал краткое описание преобразователя такого типа.
• Проблема анализа и/или проектирования схемы формирования сигнала, не описанная в курсе. Студенты, будучи инженерами-электронщиками, должны были уметь анализировать электронные схемы даже средней сложности. В более сложных случаях давались подсказки.
• Проблема с известным преобразователем, примененным неизвестным образом.

Экзамены были открытыми книгами, и студенты могли принести решения всех предыдущих экзаменов и все конспекты занятий. После письменной части, в случае успеха, следовал устный экзамен, который больше касался учебного материала.

Каковы результаты такого экзамена? Курс был в целом очень хорошо воспринят студентами, даже несмотря на то, что экзамен считался сложным: процент успешности составил около 30% (проходной балл — 60%). Основная претензия была к количеству упражнений, решаемых на занятиях, но это происходит на всех видах курсов. Мой ответ на эту жалобу состоял в том, что действительно были временные ограничения, которые мешали нам решить больше задач, но, в любом случае, сколько бы задач не было решено в течение курса, на экзамене они бы нашли новую (иногда студенты просят больше решенных задач в надежде, что они исчерпают все возможные случаи).

Основываясь на этом и другом опыте за 15 лет, я думаю, что студенты могут справляться с новыми проблемами на экзаменах, если мотивация хорошо объяснена и, особенно, если курс того стоит.

Я не вижу разумного ответа, кроме «это зависит». Это зависит от вопроса: некоторые вопросы-сюрпризы на самом деле не такие уж сложные и их вполне можно задавать на тесте без специальной подготовки, тогда как другие действительно очень сложны. Это также зависит от студентов: от опытных и талантливых студентов можно требовать больше, чем от типичных новичков.

Конечно, не существует правила, согласно которому вы можете задавать только те тестовые вопросы, которые похожи на предыдущие вопросы, которые видели учащиеся. Иногда необычные вопросы могут быть отличным способом оценить, насколько хорошо учащиеся усвоили материал. В то же время слишком незнакомые или сложные вопросы теста могут оказаться непродуктивными. Это уравновешивание, которое можно решить разными способами, в зависимости от стиля человека, пишущего тест.

Каждый вопрос в тесте должен относиться к материалу курса. Однако во многих случаях профессор может пытаться преподать более глубокую концепцию, чем усвоили некоторые из студентов. Это то, что создает «неожиданный» вопрос: профессор задает что-то, что требует овладения материалом или понимания его более глубокого смысла, а студент усвоил материал лишь на относительно поверхностном уровне.

Например, когда я был ассистентом в большом студенческом классе по искусственному интеллекту, в классе одновременно преподавались две вещи. Основная концепция, пронизывающая весь класс, заключалась в том, как думать о представлении данных и декомпозиции проблемы. В рамках этого обучения студентов также обучали ряду стандартных алгоритмов ИИ. В тестах тогда обычно использовались варианты алгоритмов, которых студенты никогда раньше не видели. Слабые ученики, изучившие стандартные алгоритмы, но не основную концепцию, часто плохо справлялись и жаловались на «неожиданные» вопросы, поскольку их спрашивали об алгоритме, которого они никогда раньше не видели. Сильные студенты, изучавшие основную концепцию, не испытывали проблем.

В общем, встреча с «неожиданным» вопросом означает, что студенту не удается усвоить более глубокие понятия, которые пытается передать профессор. В чем заключаются педагогические проблемы, в профессоре или в студентах, это совсем другой вопрос...

Я думаю, это зависит от того, что вы называете «вопросом-сюрпризом». Обычно при разработке тестов вы не хотите, чтобы все вопросы были одинаковой сложности. Скорее, вы хотели бы иметь ряд основных вопросов, чтобы выяснить, кто на самом деле не «понял» фундаментальные сообщения (и, следовательно, не должен), некоторые промежуточные вопросы, которые смогут ответить большинство студентов, если они будут учиться, и небольшое количество сложных задач, которые должны отделить отличников от хороших учеников.

В моих тестах «неожиданные» вопросы часто составляют «сложную» часть теста. Я пишу их с полным расчетом на то, что только 10-20% класса смогут их выполнить, но это нормально - в любом случае не весь класс должен иметь лучшую оценку. Таким образом, я и другие люди после курса узнают, кто из студентов действительно понял материал, а кто просто много учился.

Побочное примечание: я преподаю в европейской стране, где принято распределение Гаусса по всему спектру оценок — это не так, как в США, где «B» часто уже считается плохой оценкой. Кроме того, по крайней мере, на курсах бакалавриата нередки случаи, когда больше студентов терпят неудачу, чем получают лучшую оценку.

Что делает «неожиданные» вопросы сложными для некоторых учащихся и привлекательными для многих учителей, так это то, что они на самом деле проверяют понимание , передачу навыков и способность применять знания, а не механическое запоминание заранее изученных процедур. Это легко увидеть в вашем примере с «формулой». Студент, который учился, может применить формулу (он знает, как она работает, как ее применять и при каких условиях), но только студент, который действительно понимает математику, стоящую за ней, может сделать доказательство, которое он не рассматривал раньше.

На мой взгляд, справедливый экзаменационный вопрос опирается на любой или все из следующего:

1. Материал обсуждался или представлялся во время общения с классом.
2. Материал из любого пункта списка чтения курса.
3. Основной материал из любых предварительных курсов.
4. Материал, который можно считать общеизвестным для учащихся на данном этапе обучения (базовая математика, основы английского языка и т. д.).
5. Знание, которое можно разумно вывести как логическое следствие чисел 1.–4. Здесь «разумный» откалиброван до уровня курса. Гораздо большего следует ожидать от аспирантов, которые, по сути, готовятся выполнять пункт 5 до конца своей профессиональной жизни.

По моему опыту, «неожиданные» вопросы обычно возникают, потому что (а) учащиеся не выполнили свои обязательства по ознакомлению с материалом в 1 и 2, или потому что (б) учащиеся недостаточно способны / не чувствуют себя комфортно с предметом делать логические выводы в 5.

В любом случае, я считаю, что профессионально задавать вопросы, основанные на всех пунктах 1.—5. Основные профессиональные обязанности университетских преподавателей в качестве педагогов заключаются в том, чтобы принять решение и четко представить соответствующий материал, а также провести оценку, способную определить успехи студентов в освоении этого материала. Вопрос, который не «удивляет» большинство студентов, может лишь в ограниченной степени проверить это мастерство, потому что он оставляет мало возможностей отличить студентов, которые действительно освоили предмет, от тех, кто просто хорошо заучил наизусть. Поэтому я бы рассматривал «вопросы-сюрпризы» как важный инструмент в выполнении профессорами своих профессиональных обязанностей как учителей.

Моя область — математика. Я всегда старался задать хотя бы один вопрос, который сильно отличался от всего, что студенты наверняка уже видели раньше (хотя, конечно, он основывался на соответствующем материале), или который требовал от них объединения нескольких идей, которых у них раньше не было. пришлось совместить. На экзамене по математическому анализу на первом курсе у меня было максимум пара вопросов такого типа; на экзамене по более теоретическим курсам и курсам гуманитарной математики у меня обычно было довольно много таких вопросов наряду с более рутинными, охватывающими диапазон сложности. Все вопросы, конечно, требовали, чтобы студенты что-то написали, будь то доказательство, объяснение или просто обычный расчет, и частичный зачет был всегда доступен.

Я должен отметить, что я не оценивал по какой-либо заранее установленной шкале. Я всегда предпочитал построить экзамен, который я хотел, а затем интерпретировать результаты. Действительно, я отказался ставить буквенные оценки за отдельные экзамены, предпочитая отложить эту мучительную рутинную работу на конец курса, когда у меня будет столько данных, сколько я собирался получить. Излишне говорить, что я всегда объяснял все это в начале курса и еще раз перед первым экзаменом. Я также ясно дал понять, что у меня не было тех ожиданий, к которым привыкло большинство американских студентов: в целом получалось, что отличники (за исключением редкого отличника) набирали в среднем 80-85% за весь семестр — и я не был особенно щедр на оценки. Среднее значение 50%, как правило, было твердым C.

Все мои настоящие аналитические тесты (я был студентом) состояли из 50%+ совершенно новых теорем для доказательства. Можно было ожидать, что даже для того, чтобы пройти тест, нужно мыслить нестандартно. И я бы сказал, что в этом классе я узнал на порядок больше, чем в любом другом с более стандартными тестами. Но это курс старшего уровня, и умение писать корректуру с нуля было навыком, которому постепенно обучали на многих курсах более низкого уровня.

Можно утверждать, что кульминацией образования является способность пройти общие тесты с вопросами, требующими от раскрытого до неясно затронутого материала или методов, которые включают в себя комбинирование методов способами, невиданными в классе. Если это действительно так, имеет смысл ввести его заранее, чтобы развить навык синтезировать новые ответы из пройденного материала.

Но важно, чтобы учащийся разумно знал предварительный материал для синтеза ответа. Не задавайте вопрос теории меры на первом тесте в реальном анализе. Например, задайте вопрос, который требует использования свойства наименьшей верхней границы вещественных чисел.

Я предпочитаю систему, в которой домашние задания самые сложные. Кроме того, я не поддерживаю систему, в которой домашнее задание оценивается, потому что это затрудняет выбор хороших домашних заданий. Идея состоит в том, что учащиеся учатся лучше всего, когда они много борются за решение сложных задач. Затем нужно признать, что студенты, возможно, не смогли хорошо справиться с конкретной задачей, даже если они являются одними из лучших. Оценено или нет, домашнее задание все равно должно быть отправлено, и должны вестись записи об успеваемости учащегося.

Экзамен должен служить лишь базовым тестом, который должны легко пройти все студенты, серьезно изучившие курс. Вы не можете бросить вызов студентам на экзамене, который длится всего несколько часов, поскольку вы можете бросить им домашнее задание, над которым им нужно будет работать в течение нескольких дней.

Экзамен должен оцениваться вместе с домашним заданием. Отчет о домашнем задании каждого учащегося (оцененный или нет) должен быть принят во внимание при оценке экзамена. Если выяснится, что отчет о домашнем задании не соответствует результатам экзамена, тогда студента следует пригласить поговорить с профессором по этому предмету. Бывает так, что студент нервничал и не видел решения простых задач, такие вопросы можно исправить на устном экзамене, особенно если студент не знает, что собрание на самом деле является секретным устным экзаменом.

Также может случиться так, что учащийся мало знал о предмете и просто скопировал домашние задания у других учеников. Это станет ясно после разговора со учащимся, и тогда учащийся получит неудовлетворительную оценку по предмету.

Учителя задают вопросы, которые ученики не знают, с тех пор, как существует преподавание. Как еще учитель может заставить ученика выйти из зоны комфорта, где ответы четко изложены, и вместо этого помочь ему расширить свои умственные способности. Важно, чтобы вопросы были связаны с изучаемым предметом, но если я задам вам вопрос о реальных случаях, а не о гипотетических, это потребует некоторого нестандартного мышления. Да это профессиональное. Это не так, если это вопросы, к которым класс не подготовил ученика.

Нет проблем с вопросами-сюрпризами, если они составляют небольшую часть оценок, и вы сообщаете учащимся, что такие вопросы могут быть.

Некоторые из моих преподавателей структурировали тесты по схеме: 40 % основы, 40 % промежуточного уровня, 10 % сложного и 10 % неожиданностей.

если вы освоили и поняли все основы, вы могли бы надежно пройти.

Если вы хорошо изучили и поняли весь материал, вы могли получить хорошую оценку.

Если вы сделали все возможное, усвоили материал курса и хорошо разбирались в этой области, вы могли получить отличную или отличную оценку.

Мне нравилась система, так как это означало, что в более поздние годы я мог, как правило, втягивать студентов, которых я обучал, на экзамене, основываясь на предсказуемых вещах, и вы также были вознаграждены за независимое обучение.

Я не думаю, что это имеет какое-то отношение к профессионализму, но насколько это справедливо и/или желательно, поэтому задавайте такие вопросы.

Для меня полезность неожиданных вопросов, которые полностью удивляют студентов, также зависит от того, в какой системе оценок они используются, и это не рассматривалось в других ответах. В тестах с криволинейной оценкой/нормой одна из целей экзамена состоит в том, чтобы провести различие между учащимися, поэтому сложные неожиданные вопросы могут быть полезны, например, для проверки того, достигли ли учащиеся более глубокого понимания темы. При такой системе разумно (и в некоторой степени желательно), чтобы только небольшая часть учащихся могла ответить на некоторые вопросы.

В системе оценивания, ориентированной на критерии/цель, в идеале предполагается, что учащиеся точно знают, какие знания необходимы для получения определенной оценки. Совершенно неожиданные вопросы могут быть более проблематичными при таких критериях оценки. Однако то, что является неожиданным вопросом, также является в некоторой степени субъективным, и в критериях обучения может также конкретно упоминаться фундаментальное понимание и способность применять материал в новых ситуациях. Тем не менее, если большая часть учащихся не может понять или ответить на более сложные неожиданные вопросы, это можно частично рассматривать как провал учителя/курса (что не обязательно имеет место при криволинейной оценке),

Я вижу эту проблему, охватывающую несколько уровней информации:

Внизу у нас есть информация о курсе, которая запоминается. Студентов не следует просить воспроизвести определения , факты, аксиомы и другие виды фундаментальной информации, которые еще не появлялись в материалах курса.

Далее у нас есть « методы». Особенно в математике мы изучаем методы решения сложных задач. В других областях методы проявляются в виде методов, которые мы используем, чтобы делать выводы, типов рассуждений, которые мы используем для интерпретации новых ситуаций. Они очень общие (например, интегрирование по частям). эпсилон вместо n из ранних курсов анализа или менее жесткая логика, такая как широкое историческое представление о том, что голод соответствует нестабильности, что делает революцию более вероятной) и могут быть объединены многими интересными способами.Много хороших, незнакомых задач можно написать на основе знакомых техник. Может быть очень уместно попросить студентов разработать новую технику для решения задачи на тесте, если интуитивный скачок в некоторой степени разумен. Это суждение со стороны профессора, которое может отражать профессионализм.

Способность студентов адаптировать новые методы обычно зависит от их понимания широких всеобъемлющих концепций . Разработка совершенно новых понятий, вероятно, не относится к тестам, потому что учащиеся вряд ли хорошо усвоят их под экзаменационным давлением. В целом, экзамены — это метод оценки текущих знаний/понимания учащимися материала курса. Я бы сказал, что более справедливо и уместно вводить совершенно новые концепции в домашнюю работу и на лекцию, чтобы у студентов было больше возможностей их усвоить.

Мой ответ немного предвзят в пользу студентов, так как у меня был неудачный опыт с такими вопросами.

TL;ДР; Вопросы-сюрпризы хороши и необходимы в некоторых случаях, но не делайте их весомыми на 50% экзамена.

Когда я был студентом, у нас было несколько профессоров, которые начинали задавать вам неожиданные вопросы, когда вы относительно хорошо сдавали экзамен (устный). Тогда они могут найти что-то, чего вы не знаете, и серьезно ухудшить ваш общий результат или даже подвести вас.

Были некоторые профессора, которые задавали неожиданные вопросы на письменных экзаменах, оценивая их как 40-50% самого теста.

Я лично ненавижу это. В моем случае это привело к тому, что ты пытаешься не учить общий материал курса, а предвосхищать неожиданные вопросы. У студента есть более одного курса одновременно, и иногда не хватает времени (или интереса), чтобы иметь глубокое (вне программы) понимание всех курсов, и вы просто хотите пройти курс с оценкой 75% или что-то еще.

Конечно, это зависит от области исследования. Если это что-то вроде теоретической физики, то нужно уметь мыслить нестандартно.

Мне понравился подход одного из моих школьных учителей. Вы можете получить 110-115% на экзамене, и оценка, которую вы получите, основана на 100%. 90% вы могли бы получить с помощью обычных вопросов и 20-25% с помощью «неожиданных» вопросов. Таким образом, если вы усердно учились, у вас могла быть хорошая оценка, а если вы потратили больше времени на изучение предмета, вы могли даже освещать мелкие проблемы с помощью «неожиданных» вопросов.

Я думаю, это зависит от деталей, страны (разная культура образования) и предмета (некоторые из них связаны с фактами, некоторые больше ориентированы на решение проблем).

Мне довелось прийти из места, где студент, который может решать только задачи в области STEM, которые явно показаны на лекции или заданы как чтение, считается довольно посредственным (уровень C). Я предполагаю, что существуют разные подходы к обучению.

С другой стороны, если задать вопрос совершенно неожиданно, это может быть непозволительным и просто подлым.

«Новый» материал может быть протестирован на экзамене, если учащиеся имеют доступ к материалам, которых достаточно для понимания «нового» материала. Это может относиться к следующим сценариям:

• Открытые тесты. В тесте с открытой книгой справедливо проверить учащихся на материале, который они могут найти на месте и обобщить со знаниями, которые они получили в ходе курса или должны были иметь, чтобы соответствовать предварительным требованиям. Например, в тесте по французской грамматике, когда учащимся предоставляется доступ к базовому словарю, справедливо ожидать, что учащиеся будут искать слово и определять его грамматические и морфологические категории, несмотря на тот факт, что это слово никогда не встречалось ни в одном из языков. лекции или обязательное чтение. Объясните своим ученикам, какие книги/материалы они должны принести на экзамен. Точно так же, если ваш курс называется «Откройте Google», вы можете включить вопрос, требующий от студента выяснить: «Будет ли гипербарконовский дегидрированный редонкулятор выдавать данные, соответствующие следующей спецификации…?»
• Материал, который можно вывести из контекста . Это то, где учащиеся могут применять контекстные подсказки в связи с материалом курса, чтобы определить вероятное значение нового материала. Очевидным и хорошо известным примером этого является понимание прочитанного с помощью контекстных подсказок, метод, обычно изучаемый в младших классах. Например, рассмотрим следующий вопрос:

После того, как Мэри узнала о смерти отца, она три часа болтала, пока не уснула от истощения. Какое из следующих консультативных вмешательств, скорее всего, поможет ей?...

Если ваши навыки понимания прочитанного достаточны, вы, вероятно, можете понять, что болтовня — это своего рода негативная эмоциональная или поведенческая реакция, несмотря на то, что я придумал слово для этого ответа на месте. Теперь вы можете применить консультационные вмешательства, которым вы научились на моем курсе, чтобы ответить на этот вопрос.