Был ли HAL прав?

В диалоге между астронавтом Дэйвом Боуменом и компьютером HAL 9000 на борту « Дискавери » в фильме « 2001: Космическая одиссея » HAL утверждает, что он не может позволить Дэйву Боумену деактивировать его, потому что это поставит под угрозу их миссию:

Дэйв Боумен: Открой дверцы отсека для капсул, ХЭЛ.

ХЭЛ: Прости, Дэйв. Боюсь, я не могу этого сделать.

Дэйв Боуман: В чем проблема?

ХЭЛ: Думаю, ты знаешь, в чем проблема, не хуже меня.

Дэйв Боуман: О чем ты говоришь, ХЭЛ?

HAL: Эта миссия слишком важна для меня, чтобы позволить тебе поставить ее под угрозу.

ХАЛ прав? Способствовала ли дальнейшая работа HAL успеху миссии « Дискавери » — даже ценой потери человеческого экипажа?

Зависит от того, считаете ли вы то, что случилось с Боумэном впоследствии, «успехом».
@jwodder: На самом деле, вполне возможно, что судьба Боумена не имеет значения, и то, с чем он сталкивается, не является частью миссии, как это воспринимается HAL. Это часть вопроса. Какой бы ни была миссия « Дискавери » (насколько было известно HAL), был ли он прав, утверждая, что он необходим для нее?
Это для фильма или книги?
Я думаю, что что-то в 2010 году, космическая одиссия объяснила поведение HAL, но я не совсем помню, что это было.
Из фильма 2010 года мы узнали, что HAL получила директиву миссии, сокрытие информации, что было несовместимо с его базовыми программами. Конфликт свел HAL с ума, и его действия вытекали из этого безумия.
Если вы видели только фильм, настоятельно рекомендую прочитать книгу. Эти двое не полностью согласуются друг с другом, отчасти потому, что сценарий развивался в ходе съемок и монтажа, но книга, по сути, является одним из основных участников сценария, рассказывающим историю, которую, по их мнению, они пытались рассказать в большей степени. деталь. Он включает некоторое описание того, через что проходит HAL. Если вам интересно, вы также должны разыскать The Sentinel , рассказ, который вдохновил фильм.
Извините @raxacoricofallapatorius, я вижу, вы откатили отредактированный заголовок. Я искренне думаю, что цель редактирования — улучшение. Хотя ни один редактор не застрахован от ошибок и не допускает ошибок, теперь я могу с полной уверенностью заверить вас, что это редактирование было улучшением. У меня все еще есть большой энтузиазм и уверенность в этом редактировании.
@JimmyShelter: Извините, это полностью изменило вопрос. И в любом случае это лат в игре, с некоторыми хорошими ответами (близкими к принятию).
@raxacoricofallapatorius - я согласен с тем, что первая версия изменения названия была слишком радикальной, поэтому во второй было добавлено слово «к миссии», что сделало его конкретным, но в остальном вы, вероятно, правы.
@JimmyShelter - re: Изменение названия. Я не могу позволить тебе сделать это.
@Richard - этот разговор больше не имеет смысла.
Я думаю, что @Richard прав.

Ответы (3)

Просто посмотрев 2001: Космическая одиссея , надо сделать вывод, что HAL был неверным. Убив экипаж, HAL сделал миссию маловероятной. Экипаж был там, чтобы выполнить миссию... их убийство наносит ущерб миссии.

HAL убил команду, чтобы они не закрыли HAL для ремонта. Экипаж оставил бы HAL в рабочем состоянии, возможно, с уменьшенной мощностью, и продолжил бы миссию.

Вышеупомянутое относится только к оригинальному фильму, но у нас также есть каноническое продолжение 2010 года . В 2010 году мы узнаем, что HAL получил секретные приказы и приказал солгать о них человеческому экипажу... и мы узнаем, что HAL на самом деле не был создан для того, чтобы лгать, и напряжение, связанное с ложью, сводило HAL с ума. (Кроме того, в 2010 году мы снова видим HAL, с удаленными секретными приказами; он больше не безумен и до конца оказывается надежным товарищем.)

Итак, с одной стороны, мы знаем, что ХЭЛ был безумен в то время, когда начал убивать людей. С другой стороны, HAL действовал по секретным приказам, и убийство человеческого экипажа фактически соответствовало секретным приказам.

Цитаты из фильма 2010 года на IMDB

По сути, HAL было сказано: «Доставь корабль туда, даже если экипаж мертв, и ничего не говори об этом экипажу». HAL не было приказано сохранить экипаж в живых. По сути, у HAL была единственная основная директива, человеческая команда угрожала этой основной директиве, и HAL с ними справился.

Если бы человеческий экипаж выключил HAL и использовал его с уменьшенной мощностью, HAL не смог бы выполнять секретные приказы. Так что я бы сказал, что HAL был прав, но только в отношении секретных приказов.

Это хорошо. Так что, насколько знал HAL, его заявление было правильным.
Это также хрестоматийный пример того, почему программисты считают «непредсказуемое поведение» одним из самых грязных слов в любом языке. Будьте ясны и лаконичны и не давайте компьютеру противоречивые инструкции без четкого способа их решения.
@raxacoricofallapatorius Согласен. Согласно его программе, люди угрожали миссии (как объяснялось HAL в секретной директиве).
Одна небольшая придирка: если я правильно помню, нет «другого HAL», которому можно доверять. Был проведен эксперимент с привязанным к земле HAL-подобным компьютером под названием SAL-9000. Эксперимент посвящен тому, что происходит при перезапуске HAL-подобных компьютеров после периода отключения, а не надежности.
@АндресФ. Я думаю, вы правы; Я думаю, что на самом деле «другой HAL», который я помнил, был оригинальным HAL-9000, повторно активированным и с вырезанными из его памяти оскорбительными секретными приказами. Моя память не точна; Я видел этот фильм только один раз, и это было тогда, когда он впервые был в кинотеатрах. Я думаю, что я отредактирую ответ сейчас.
Если я правильно помню, и фильм, и книга вышли примерно в одно и то же время — и авторы (Кубрик и Кларк) фактически исходили из того, что для полноценного опыта нужно пройти и фильм, и книгу. Книга была опубликована через полгода после выхода фильма, и в ней действительно объясняется, чего не хватало в фильме (секретные приказы и прочее). Хотя могу ошибаться, книгу давно не читала.

Обратите внимание на выбор слов HAL:

подвергать опасности.

Хотя легко утверждать, что миссия может быть возможна без HAL, деактивация его, безусловно, « поставит (миссию) в состояние опасности ».

Таким образом, независимо от того, была ли миссия успешной или нет, утверждение HAL о том, что она будет более сложной и, возможно, обреченной на провал, верно.

Чтобы задать этот вопрос, мы должны начать с предпосылки фильма, что HAL на самом деле разумен. То есть у HAL есть суждения, которые могут быть правильными или неправильными, и мы можем лучше всего работать с HAL, принимая преднамеренную позицию (а не, например, позицию дизайна или механическую позицию). Итак, у HAL есть разум, и нам нужно относиться к HAL как к разумному объекту. Хорошо, это означает, что HAL является членом экипажа, который решил, что его дальнейшее выживание необходимо для успеха миссии, и что миссия не может быть прервана, даже ценой жизни его товарищей по команде. Я думаю маловероятно, что это были бы условия приказа, который был отдан экипажу, и в таком случае нет, HAL был бы не прав, так как он нарушил бы приказ.

То есть, несмотря на то, что миссия может быть успешной или нет без HAL, я полагаю, что, как и в большинстве научных миссий, безопасность экипажа важнее сбора данных, поэтому действия HAL были бы неправильными. (возможно, его суждение об успехе или провале миссии было верным, но это второстепенный пункт в вопросе. Основной пункт «он не может позволить Боумену деактивировать его, потому что (...)» и обоснование, которое он дает не является правильным.

Конечно, поскольку мы предположили разумность, мы можем подумать о том, могло ли заявление HAL быть правдой буквально. Подразумевает ли разум инстинкт самосохранения? Я не знаю, так ли это, но если бы у HAL был такой инстинкт, то «я не могу позволить вам сделать это» могло бы быть откровенной констатацией факта.

Ваша предпосылка ложна. Утверждение есть утверждение и может иметь истинностное значение независимо от его происхождения.
Вопрос был не в том, было ли утверждение HAL правильным. Вопрос в том, был ли HAL прав, что подразумевает суждение, что подразумевает преднамеренную позицию, которая говорит нам, как мы должны решать вопрос. Однако @steveha напоминает нам, что на самом деле он подчинялся приказам — так что в некотором смысле он был прав, если мы придерживаемся точки зрения Эйхмана на «выполнение приказов». (Возможно, нам следует попросить разъяснения — был ли вопрос об этическом суждении, или суждении о буквальном факте, или о каком суждении мы должны здесь выносить?)
«Правильность» любой сущности может быть определена исключительно по ее действиям и известным целям. Здесь: заявление HAL и предоставленная ему информация о целях миссии.
Правильность суждения основывается на предпосылках, лежащих в основе суждения. Есть, по крайней мере, три способа взглянуть на эти предпосылки. Если принять во внимание секретный приказ, то HAL действовал правильно в соответствии с его приказом. Если исходить из фактов дела, HAL ошибался — похоже, его выживание не имело решающего значения для успеха миссии (и он должен был понять это). И если мы допустим этическое суждение со стороны HAL, он был этически неправильным в убийстве других разумных существ без веских оснований.
Кто сказал "суд"?
Вопрос демонстрирует пример того, как HAL выносит суждение, и спрашивает, был ли HAL правильным. Поэтому я предполагаю, что мы говорим о том, было ли решение HAL правильным. Как вы думаете, о чем конкретно был задан вопрос?
HAL делает заявление.
Он делает несколько утверждений, и все они, возможно, неверны. На самом деле он может позволить Дейву сделать это, и миссия на самом деле не слишком важна, чтобы позволить Дейву поставить ее под угрозу, и на самом деле Дэйв не знал проблемы так хорошо, как HAL.
Чувство Хэла не подлежит сомнению. Его здравомыслие (и способность к обоснованному суждению) вызывает сомнения
Да, именно поэтому я начал с того, что подчеркнул, что мы говорим о разумном существе (и, следовательно, вопрос касается суждения).