Измерение эффективности обучения

Я штатный профессор компьютерных наук в учебном университете. У меня еще есть несколько лет, прежде чем я вступлю в должность, но я хочу начать готовиться заранее. Одним из показателей, по которым меня будут оценивать, является эффективность преподавания; а именно, некоторая объективная, количественная мера обучения студентов. Я говорил об этом со своими (недавно нанятыми) коллегами, и похоже, что никто не знает, как лучше всего это измерить; все как бы предложили обсудить результаты тестов, покончили с этим и получили срок. Я хотел бы быть немного более принципиальным в своем подходе, но не знаю, как это сделать. Предварительное тестирование кажется наиболее очевидным, так как кажется, что вам понадобится базовый уровень для измерения эффективности в течение семестра. Но я в основном преподаю вводное программирование,

В частности, я сосредоточился на желании обучать навыкам критического мышления (что-то вроде «Как думать как программист») и постепенно изменил свой подход в этом направлении, но еще больше меня озадачивает вопрос, как это измерить.

В общем, ищем рекомендации о том, как проводить количественную оценку эффективности преподавания в области компьютерных наук.

Это какая-то новая политика, для которой они не установили процедуру? Вы разговаривали с заведующим кафедрой?
Да, у меня есть. Наш отдел (который я люблю и с которым у меня хорошие отношения) цинично относится ко всей бюрократической волоките, включая продвижение по службе и назначение на должность. Мои ведомственные обзоры прошли очень хорошо, но я хотел бы добиться большего для комитета по найму. У нас есть преподаватели, заседающие в этих комитетах, и я разговаривал с ними, но у них нет высокого мнения о критериях, которые используют некоторые другие члены этих комитетов (предварительные/последующие тесты кажутся популярными на других факультетах). Итак, я хотел бы сделать что-то, что будет не только убедительным для комитета, но и то, чем я горжусь/нахожу полезным.
Вы имеете в виду принципиальный подход или системный ?
В этом случае я предлагаю (1) поговорить с людьми из других отделов, которые входили в комитеты по вопросам пребывания в должности, и/или (2) связаться с нынешним главой этого комитета. (Вы можете сказать что-то вроде того, что никто в вашем отделе не совсем понимает, как оценивается преподавание.) Также прочитайте руководство для преподавателей, если вы еще этого не сделали.
Связанный с этим вопрос, который я задал некоторое время назад (к сожалению, до сих пор не получил хороших ответов на этот вопрос): альтернативы тому, чтобы полагаться исключительно на оценки обучения студентов, чтобы помочь администраторам более точно оценить эффективность обучения.
@MadJack Я думаю, что главная проблема в том, что на ваш вопрос нет хорошего объективного решения (хотя я думаю, что задать вопрос стоит). В обучении существуют различные цели, некоторые из которых являются долгосрочными, а некоторые невозможно объективно измерить, особенно если вы хотите применить это ко всем курсам.
«У студентов нет фоновых знаний, поэтому проведение предварительного теста кажется бессмысленным». Вам нужны доказательства эффективности. Проведите предварительное тестирование, чтобы доказать, что у учащихся нет фоновых знаний. Лично я не верю, что у ваших учеников нет фоновых знаний. Знают ли они булева? Они умеют включать компьютер? Вы должны дать предварительный тест, чтобы узнать. В первый раз, когда я сделал это на вводном уроке, я обнаружил, что большинство студентов не знают о радианах (которые они должны были узнать о радианах несколько лет назад), но некоторые знали почти все содержание курса.
Поскольку это информатика, вы также можете задать этот вопрос в SE для преподавателей компьютерных наук . Может быть, у кого-то из более ориентированных на обучение людей есть хорошие предложения.

Ответы (4)

объективная, количественная мера обучения учащихся

Это невозможно сегодня и, вероятно, всегда будет. «Обучение» слишком широко для одной метрики. Сформулируйте конкретную гипотезу, а затем проверьте ее с помощью предварительного и последующего тестирования. В идеале следует использовать две группы студентов, одна из которых подвергается вмешательству. Другая группа – контрольная.

Вы можете получить бесплатные учебные курсы здесь: https://www.cirtl.net/p/cirtl-programming#Courses (см. «Обучение как исследование»)

Не забудьте включить качественную информацию и отзывы коллег-преподавателей.

Кроме того, вы можете сделать это с несколькими гипотезами и просто сообщить результаты, которые окажутся для вас положительными. То есть, хорошая метрика для вас та, которая заставляет вас хорошо выглядеть.

Рассмотрите возможность использования подхода «программной оценки» к самообучению. Оценка программы обычно предназначена для изучения того, что студенты знают в целом после полного курса обучения (программы на получение степени). Но я думаю, что такой подход может дать некоторую полезную информацию об отдельных курсах, без необходимости предварительного тестирования студентов по предмету, который им еще не преподавали.

По сути: составьте несколько конкретных целей для курса, который вы читаете, а затем превратите их в конкретные тестовые вопросы, которые вы всегда будете использовать на выпускных экзаменах. В идеале вы должны составить эти цели и вопросы при участии других преподавателей. Записывайте статистику по этим последним вопросам каждый семестр. Обращайте внимание на любые вопросы, в которых учащиеся слабее/борются больше, чем другие, и используйте это как возможность изменить или переориентировать содержание вашего курса. Если после этого в течение семестров баллы будут повышаться, то вы можете предъявить это комитету по найму в качестве примера вашей приверженности, осведомленности и самосовершенствования в методах обучения. Тот факт, что у вас есть несколько лет до вступления в должность, означает, что у вас есть время для этого долгосрочного подхода.

Информацию об оценке программ в целом можно найти здесь (UMass, «Program-Based Review and Assessment», 2001 г.):

http://www.umass.edu/oapa/oapa/publications/online_handbooks/program_based.pdf

Информацию об оценивании по компьютерным наукам, в частности, можно найти здесь (U. Pittsburgh, 2014):

http://www.dbserc.pitt.edu/Assessment/Assessments-Computer-Science

Я думаю, что это неплохая идея (+1), но просто хочу указать на некоторые очевидные недостатки. Чтобы получить значимые результаты, предполагается, что: (1) вы много раз преподаете один и тот же курс с одной и той же направленностью, (2) качество студентов/поддержки студентов примерно одинаково, (3) студенты не узнают, что вы используя одни и те же вопросы из года в год. В моей конкретной ситуации я не думаю, что в настоящее время что-либо из этого применимо.

У вас еще есть несколько лет, и вы учите своих студентов не только тому, что необходимо для сдачи экзамена, но и критическому мышлению и навыкам, которые пригодятся позже. Взяв оба вместе, вы сможете получить хорошие статистические результаты, если будете следить за своими учениками. Может быть, вы узнаете, что после этого средний средний балл студентов, посетивших ваш курс, вырос? Можете ли вы получить доступ к количеству/проценту ваших студентов, получивших степень после прохождения вашего курса (возможно, с отличием), и сравнить его со средним показателем?

Конечно, здесь может и не быть существенной разницы, но все же следует следить за ней, так как обучение навыкам мышления зачастую окупается лишь потом; но все так же важно.

Обратите внимание, что это не должен быть вашим единственным аргументом, так как он может быть не очень хорошим. Но если вы можете получить стандартные результаты тестов, а также добавить сюда что-то, показывающее, как ваш особый подход к обучению был полезен для студентов в долгосрочной перспективе, я бы пошел на это.

Эффективность преподавания часто сводится к некоторому измерению наблюдаемых изменений в поведении учащихся. Таким образом, вы должны стремиться найти какое-то поведение, которое вы можете наблюдать у своих учеников, которое частично изменилось из-за ваших методов обучения.

Я считаю, что подход «до тестирования и после тестирования» может сработать в вашем введении в классы программирования, если вы сравните разные стили/методологии обучения, используемые либо в одном классе (внутри группы), либо в разных разделах одного и того же курса (между группами). Сначала вы ищете различные способы преподавания вашего контента, проводите эксперимент, и тогда у вас будет четкое доказательство того, как лучше всего обучать своих собственных студентов в контексте, в котором вы работаете. Это может быть примером исследования действия.

Когда приходит время обсудить преподавание на собеседовании, вы обсуждаете свои выводы и рассказываете, как вы узнали, что является эффективным преподаванием для классов, которые вы ведете.

Что касается критического мышления, это действительно запутанно для операционализации и количественной оценки. Как измерить способность учащихся сравнивать/сопоставлять, синтезировать/анализировать и/или оценивать чрезвычайно сложно, поскольку эти действия происходят в уме интуитивно и не поддаются наблюдению. Часто мы знаем о критическом мышлении, когда видим его, но не можем измерить его числами, потому что критическое мышление связано с формированием мнения, которое трудно измерить объективно. Качественное документирование этого разумно, но может быть неприемлемо, поскольку вашему отделу требуются числовые доказательства.

Таким образом, обучение навыкам критического мышления, но, возможно, исключение этого из обсуждения на срок пребывания в должности, принесет пользу студентам, не усложняя вашу работу.