Как следует проводить оценку на основе проектов, чтобы предотвратить мошенничество?

Некоторые пропагандируют оценивание на основе проектов в качестве альтернативы устным и письменным экзаменам для оценки знаний учащихся в конце курса, например здесь: Как обнаружить мошенничество, когда учащиеся сдают онлайн-викторины или экзамены дома? Некоторые способы списывания, которые доступны во время экзаменов, недоступны для проектной работы, например, поиск решений в Интернете во время домашнего экзамена.

С другой стороны, некоторые другие способы мошенничества все еще доступны, например, оплата кому-то другому за прохождение курса за него. Поэтому вопрос:

  1. Как следует проводить оценку на основе проектов, чтобы предотвратить мошенничество?

Один пример упоминается в книге М. Халаве: Используют ли университеты правильные инструменты оценки во время пандемии и кризиса? поручил преподавателю наблюдать за групповыми обсуждениями и задавать каждому студенту вопросы об их проекте после отправки.

Это кажется таким же эффективным, как и устные экзамены, когда речь идет о предотвращении списывания, но кажется более трудоемким, чем проведение устного экзамена для каждого студента, что было бы непозволительно на больших лекциях с 500 и более студентами.

В свете этого меня также интересуют ответы на следующий второй вопрос:

  1. Как следует проводить оценивание на основе проектов для лекций с участием 500 и более студентов, чтобы предотвратить списывание?

Для контекста, лекция, которую я имею в виду, представляет собой лекцию по анализу, в которой участвуют около 500 студентов, один профессор, шесть аспирантов-ассистентов, каждый из которых проводит два еженедельных урока, и восемь первоклассников (в основном студенты магистратуры), каждый из которых работает по 10 часов в неделю.

Скажите что-нибудь о количестве преподавательского состава, в том числе ассистентов и т. д. Это всего лишь один профессор на множество студентов или соотношение студентов и сотрудников разумно, скажем, менее 30/1.
Лекция, которую я имею в виду, представляет собой лекцию по анализу, в которой примут участие около 500 студентов, один профессор, шесть аспирантов-ассистентов, каждый из которых проводит два еженедельных урока, и восемь первоклассников (в основном студенты магистратуры), каждый из которых работает по 10 часов в неделю.
Вы должны разработать оценки для оценки целей обучения; без определения целей обучения качественный ответ невозможен.
@AnonymousPhysicist «Цели обучения» - это просто бюрократическая болтовня. Что нужно знать, так это то, поняли ли учащиеся материал сами, а не отдают эти усилия на аутсорсинг, независимо от того, каковы «цели обучения». Если они занимаются совместными проектами, это сводится к следующему: «Помогли ли они им».
@CaptainEmacs «Человек хочет знать, поняли ли ученики». Это неприемлемо расплывчато; Вот почему необходимы цели обучения. Я рекомендую обучение обратному дизайну. Если вы слышите бюрократическую болтовню, я полагаю, что вашим бюрократам тоже нужно немного потренироваться.
@AnonymousPhysicist Во-первых, мы говорим о плагиате, и я не знаю, какое отношение к этому имеют цели обучения (в отличие от того, чтобы не списывать). Во-вторых, я получил образование в свое время в Германии в соответствии с тем, что вы бы назвали «расплывчатым» понятием «образование». Я могу заверить вас, что уровень образования с точки зрения охвата, систематичности и глубины превзошел все, что я видел с тех пор в так называемых «целеустремленных» академических кругах (а таких я видел довольно много). Я допускаю, что, возможно, я не знаю, что конкретно вы подразумеваете под «целями обучения», и вы имеете в виду что-то другое.
Конечно, я имел в виду "плагиат" как pars pro toto, т.е. "плагиат, сговор и другие правонарушения"...
@CaptainEmacs Вы утверждаете, что полученное вами образование лучше, чем образование, основанное на обратном дизайне. Учтите, что это может быть лучше только для таких, как вы, а не для типичного студента. «Охват, систематичность и глубина» не являются несовместимыми с обратным дизайном, но они также не являются тем, что нужно всем учащимся. На самом деле, нет метода обучения или содержания, несовместимого с инверсным дизайном — это метод проектирования, а не метод обучения.
"то, что вы бы назвали "расплывчатым" понятием "образование"" Это не то, что я сказал. Было одно конкретное предложение, которое я назвал расплывчатым.
@AnonymousPhysicist Я считаю, что знаю, что такое «цели обучения». Я не знаю, что такое обучение, основанное на обратном дизайне, никогда не слышал об этом раньше. Образование, которое я получил, было достаточно хорошим, чтобы многие из моих одноклассников продвинулись довольно далеко (академическое образование, ведущие позиции в отрасли и т. д.). Многие из моих учеников тоже, и я регулярно получаю очень положительные отзывы (просто упомянул для контекста), так что мои старые методы, кажется, в порядке, но я всегда готов узнать больше. Опять же, я не понимаю, какое отношение вся дискуссия об обратном дизайне имеет к академическим правонарушениям.

Ответы (2)

Я могу, пожалуй, дать вам несколько идей, но учтите, что мне никогда не приходилось иметь дело с этой шкалой. Многие из моих курсов (CS) были основаны на проектах.

Во-первых, четко объясните, чего вы от них ожидаете. Имейте какой-то кодекс чести, на который они соглашаются, пройдя ваш курс. Не думайте, что они уже знают, что правильно, а что неправильно. В некоторых местах действуют общеуниверситетские кодексы чести. А также дайте понять, что цель упражнений не столько в том, чтобы «получить ответы» (которые у вас уже есть), сколько в том, чтобы «научиться». Ярлыки — это форма саморазрушительного поведения.

Далее, если вы хотите предотвратить мошенничество, вы не сможете этого сделать. Вы можете, в лучшем случае, уменьшить его, если только вы не готовы провести курс таким образом, чтобы мошенничество не могло произойти, потому что это не имеет значения. Я не думаю, что первый курс математического анализа особенно подходит для этого, но идея состоит в том, что студенты могут использовать любой источник, который они цитируют, как если бы они были настоящими исследователями. Но чтобы обучение, а не просто копирование, произошло, вопросы, которые вы им задаете, должны быть немного глубже и требовать некоторого осмысления, помимо того, что они, вероятно, найдут в печати или в Интернете. Трудно, конечно, создавать такие упражнения.

Следующая идея состоит из двух частей. Во-первых, сделать все проекты командными (или, по крайней мере, парными ), чтобы немного уменьшить объем. На 500 студентов у вас есть 250 пар или 100 команд. Я бы предпочел, чтобы в паре было много небольших упражнений, в которых пары менялись бы для каждого упражнения. Это может быть проще сейчас, в эпоху масштабирования, когда люди в основном собирались вместе физически.

Вторая часть этого заключается в использовании некоторой формы взаимной оценки с парами/командами. Поищите на этом сайте это или экспертную оценку , чтобы лучше понять, как это сделать. Обратите внимание, что это не равноценная оценка , но каждый член команды может дать вам некоторое представление о том, кто является лучшим игроком и какой вклад внесли эти люди, а также указать свой основной вклад. По многим проектам вы получите представление о том, кто делает хорошую работу, и иногда будете удивлены.

Один из вариантов, который вы могли бы сделать, — это частично «перевернуть класс», чтобы «учебники» стали рабочими сессиями, а проекты затем выполнялись под присмотром кого-то с некоторыми навыками. Если инструктор также может делать это два раза в неделю, то у вас есть семь небольших групп, в которых также могут участвовать «оценщики». Работа студентов в парах в такой ситуации уменьшает количество вопросов, на которые должны ответить преподаватели и ассистенты, поскольку ответы на некоторые вопросы будут у партнеров. Если они будут работать в одиночку, то, вероятно, будет слишком много вопросов, и люди застрянут в ожидании помощи. Однако может оказаться необходимым увеличить продолжительность «учебных занятий» и перенести часть контента в видеоролики и другие онлайн-ресурсы.

Одна из больших проблем с огромными классами заключается в том, что у вас есть такое разнообразие способностей, но также и огромное разнообразие целей и ожиданий учеников. Один из способов дать учащимся возможность определять и достигать свои собственные цели — использовать кумулятивную оценку , а не процентную. Смотрите этот ответ на другой вопрос для описания. Не каждому ученику нужно достигать высоких оценок. И эта схема оценивания позволяет каждому учащемуся точно знать, на каком этапе курса он находится и что необходимо сделать для достижения своих целей. При большом количестве небольших проектов каждый член команды получает одинаковую оценку за данный проект. В более крупных проектах вам может потребоваться время от времени делать исключения.


Примечания: я, вероятно, добавлю к этому в течение следующего дня или около того.

  1. Распределение оценки по многим проектам также означает, что ни один проект не является «высокой ставкой». Это означает, что у вас меньше стимулов для обмана в данном проекте, а «обманывать свой путь к успеху» означает, что вам нужно делать это неоднократно, что увеличивает шанс быть пойманным.

  2. Требование писать проекты, а не вычислительные, делает некоторые виды автоматической проверки на мошенничество немного более надежными, уменьшая ложные срабатывания (по крайней мере). Для математика умение писать само по себе является ценным навыком. Но это, по общему признанию, сложно для курса анализа.

  3. Разрешение студентам повторно отправлять работу очень полезно для обучения, хотя масштаб здесь, вероятно, не соответствует действительности. На самом деле, я думаю, что масштаб и соотношение студентов и персонала в этом сценарии затрудняют любое обучение. Очень сложно давать обратную связь отдельным лицам, чтобы позволить повторной работе иметь действительный эффект.

Проекты должны быть выполнены учащимися самостоятельно. Они должны сделать файл и написать все, что необходимо для темы, как сказал учитель. Такого рода проекты могут быть выполнены студентами из дома. Таким образом, студенты могут обманывать. Но есть несколько способов уменьшить количество читерства.

Что вам нужно, так это запретить им спрашивать своих одноклассников, просить кого-то другого сделать это за них или искать это в Интернете.

Я предлагаю вам попросить их выполнить свой проект в классе. Здесь вы можете не давать им всю тему сразу, а только по частям. Вы можете попросить их подготовить определенную главу, необходимую для проекта, а затем попросить их сделать это только в классе.

Если вы опасаетесь, что учащиеся могут копировать работы друг друга, вы можете объявить, что учащиеся, которые копируют из онлайн-источников или используют чужой проект, могут быть отстранены от занятий, получат отрицательную оценку или 0, могут быть вызваны родители или их отведут к директору. Это должно резко снизить вероятность мошенничества. Вы также можете сказать им, что школа использует устройство для проверки на плагиат.

3-й пункт, я думаю, должен поощрять студентов. Расскажите им о преимуществах отказа от измен:

  1. Вы становитесь независимым, что является очень важным фактором. Его можно использовать для собеседований, работы и во многих других областях.

  2. Это придаст вам уверенности и заставит гордиться собой.

Вы можете думать о таких вещах. Эти методы определенно должны уменьшить количество читерства.