Почему алгоритм «модели добавленной стоимости» был засекречен?

В этой презентации TED говорится, что Департамент образования Нью-Йорка использует секретный алгоритм для оценки учителей:

(..) учителей оценивали с помощью сложного секретного алгоритма, называемого «моделью добавленной стоимости (..)

Я искал этот алгоритм, и вокруг него есть некоторые критические замечания ( Huffington Post ):

Алгоритм — это автоматический способ определения результатов. Нет необходимости включать такие надоедливые человеческие факторы, как суждения, эмоции, проницательность, понимание, сопереживание, сочувствие, критическое мышление.

Хотя использование алгоритма для оценки явно спорно, меня в основном интересует непубличная часть. Это звучит странно, так как учителя не знают, что им следует улучшить, если это наказывает их.

Вопрос: Почему алгоритм «модели добавленной стоимости» держался в секрете?

какое это имеет отношение к правительствам?
@KDog это политика оценки государственных служащих.
Не могли бы вы уточнить, пожалуйста, чем это государственные школы и в какой юрисдикции. Судя по тому, как поставлен вопрос, это может быть учитель в корпорации или вообще кто угодно.
И кому принадлежит IP на алгоритме?
@KDog - решение о том, как оценивать государственных служащих, кажется политическим решением. Кроме того, что означает IP в этом контексте?
@Алексей Права на интеллектуальную собственность
@KDog В общем, на алгоритмы нет реальной интеллектуальной собственности (хотя реализации могут быть защищены авторским правом). Вероятно, это секрет, чтобы учителя не пытались обмануть алгоритм, искусственно завышая свои оценки.
Я голосую за закрытие как «мотивационный» вопрос. Единственные люди, которые знают, почему это решили мы. «Какие причины были приведены городом/штатом/ведомством?» Был бы более ответственным.
@MartinTournoij, если за оценку платят деньги, есть стимул скрывать алгоритм именно потому, что правовая защита меньше; это будет коммерческая тайна, которая охраняется законом только в том случае, если она охраняется на практике.
Общие идеи , лежащие в основе этих типов оценок, известны, и нет единого секретного алгоритма, которым пользуются все. У разных групп могут быть разные причины для сохранения своей версии в секрете, например, попытка помешать кому-то обмануть систему или избежать критики за плохие алгоритмы.
Я не знаю достаточно подробностей, чтобы знать, было ли/почему это конкретно было бы сделано. Но одна из причин, по которой вы должны скрывать детали несовершенного алгоритма, состоит в том, чтобы помешать людям «играть с системой» или «играть на тест». По сути, если нет знаний о том, что анализируется, люди должны действовать нормально и просто надеяться, что волшебный черный ящик не пропустит их работу. Это все, что они могут сделать. Если они знают алгоритм, они могут сосредоточиться только на вещах, которые оценивает алгоритм, игнорируя другие вещи, даже если эти другие вещи на самом деле действительно важны.
@Tal - да, это имеет смысл, и это, вероятно, лучший ответ, который я могу получить.
@KDog Кажется очевидным, что это вопрос государственной политики. Согласно статье, Департамент образования Нью-Йорка использовал этот подход для оценки учителей. Итак, политический вопрос: «Почему это было секретом?».
@indigochild Возможно, но мне не нужно читать статью, чтобы понять это. Вот что я говорю.
@Тал, я согласен. Кстати, это, по сути, то, что говорит en.wikipedia.org/wiki/Goodhart%27s_law : «Когда мера становится целью, она перестает быть хорошей мерой».
@Tal - Похоже, у вас есть начало отличного ответа. Вы должны рассмотреть возможность написания одного.

Ответы (2)

Алгоритм держится в секрете, потому что он разработан частной компанией и поэтому является собственностью ( источник ).

Насколько я знаю, это система, используемая Советом по образованию Нью-Йорка, однако я пока не смог это подтвердить. Но если это так, то это отвечает на ваш вопрос: это продукт, от которого зависят многие состояния.

По той же причине мы не можем (или «не можем», если это изменилось) просмотреть исходный код машин для голосования, чтобы убедиться, что они честно подсчитывают голоса.
@PoloHoleSet - Ну, в некоторых странах также требуется хранить голоса на бумаге (в случае машинных распечаток). Но из опыта голосования в моей родной стране я могу сказать вам, что это не имеет значения. Сталин сказал, что важно, кто считает голоса, а не кто голосует. Вы не поверите, что там происходит. Можно также спросить у шотландцев - их голосование за независимость было полнейшим рэкетом...
Поверьте мне, я вовсе не утверждаю, что подход США к таким вещам является желательным.

Одна из причин держать алгоритмы подсчета очков в таком секрете состоит в том, чтобы уменьшить способность людей «обыгрывать» вашу систему, работая плохо, но получая высокие оценки. Сохранение такого алгоритма в секрете, как мы надеемся, побуждает людей просто работать как можно лучше и надеяться, что алгоритм это отражает.

Если алгоритм можно обыграть таким образом, это означает, что он не подходит для этой цели и должен быть исправлен.
@Vikki Все возможные алгоритмы, вероятно, будут пригодны для игры, было бы очень сложно придумать что-то, что невозможно обыграть. Подумайте, сколько людей работает над тем, чтобы обеспечить баланс реальных игр, и все же им удается минимизировать их нежелательными и неожиданными способами даже без значительных финансовых преимуществ.
Почему алгоритм «модели добавленной стоимости» был засекречен?
СпросиСетьПолитика конфиденциальности1y, 0v