В какой истории Азимова есть злобный ИИ с тремя законами?

Я читаю некоторые вопросы и ответы на Worldbuilding.se о проблеме управления (как держать общий искусственный интеллект в коробке), как этот , и кто-то неизменно рекламирует три закона робототехники Азимова как решение, на которое кто-то другой ответит: «Истории Азимова были о том, что три закона не сработают».

Однако я думал, что все рассказы Азимова о роботах были о том, как всегда будут работать законы. Истории, которые я читал, всегда имели такой формат:

ПАУЭЛЛ: Мы построили робота, который следует трем законам, и дали ему смешное имя! Ура!

ДОНОВАН: О нет, из-за странного стечения обстоятельств робот ведет себя неожиданным образом, который, кажется, нарушает три закона! Лучше позвоните доктору Кэлвину.

Д-Р КАЛЬВИН: Я побеседовал с роботом и установил, что он действительно работает идеально. Его действия на самом деле принесут неизмеримую пользу человечеству.

Персонажи постоянно называют страх перед продвижением роботов «комплексом Франкенштейна». Это основной источник оппозиции в рассказах, который всегда изображается как иррациональный и нежелательный.

Хотя с тремя законами Азимова, безусловно, есть проблемы в реальном мире, я думаю, что Азимов так гордился ими, что только создавал их в своих рассказах.

Есть ли какие-нибудь истории Азимова, в которых ИИ успешно причиняет значительный вред человечеству, несмотря на соблюдение трех законов? Было исследовано, конечно, неожиданное и даже нежелательное (для кого-то) поведение, но причинял ли когда-нибудь робот вред?

«Маленький потерянный робот » не считается, потому что он о роботе, у которого нет полного первого закона, поэтому он все еще служит для поддержки идеи о том, что законы в целом работают идеально. Кальвин говорит, что «нормальная жизнь ... возмущается господством», и единственная причина, по которой этот робот злонамерен, связана с его подавленным первым законом. Полные роботы первого закона вполне счастливы быть рабами.

Нулевой закон (защитить человечество) также, кажется, поддерживает представление о том, насколько удивительны эти три закона: нам даже не нужно было говорить роботам, чтобы они ставили человечество выше отдельных людей; ангельские роботы смогли сделать вывод об этом самостоятельно. Либертарианцы могут увидеть в этом негатив, но разве Азимов когда-либо изображал это таким образом?

«Кэл». Желание стать писателем важнее Трех Законов, позволяющих роботу убить своего хозяина.
@Адамант Подожди, правда? Он написал это в шутку, или это действительно говорит о том, что он не думал, что три закона иногда работают?
Я читал "Кэл" и всегда воспринимал это как шутку. Не предназначен для того, чтобы считаться «канонической историей о Трех законах робототехники».
В теле вашего вопроса вы спрашиваете о роботах, «причиняющих значительный вред человечеству», но заголовок подразумевает совсем другой вопрос, о действительно злонамеренных роботах, на самом деле желающих причинить нам вред. Что он?
Практически все романы Азимова о роботах посвящены тому факту, что трех законов совершенно недостаточно для обеспечения безопасности ИИ. Понятия не имею, откуда вы взяли, что «Азимов так ими гордится». Во всяком случае, нулевой закон, наконец, делает роботов безопасными, но только для человечества, а не для отдельных людей :)
В большинстве ранних короткометражек «Пауэлл и Донован» Сьюзен Кэлвин даже не фигурирует. Позже она была добавлена ​​в качестве обрамляющего устройства, когда истории были объединены в антологию в « Я, робот» .
Я согласен с @Luaan: для меня смысл историй о трех законах состоит в том, чтобы найти ЕЩЕ один способ обойти законы. Это что-то вроде тропа запертой комнаты или Шерлока Холмса: этого не может случиться, и тем не менее это случилось -> следовательно, это могло произойти по какой-то причине, и мы должны выяснить, почему.
@ user14111 Я не думаю, что разница между причинением вреда и желанием причинить вред важна; В ответе Лорендиака это называется «бессмысленным различием» и объясняется, почему.
Независимо от историй Азимова и их намерений, вы должны отметить, что они не будут работать (100%) в реальности по тем же причинам, по которым религии и даже законы обычно не работают так, как задумано: 1) Правила/законы основаны на словах и язык, 2) слова и язык понимаются разумными существами посредством интерпретации, и 3) всякая интерпретация подлежит повторной интерпретации теми же самыми разумными существами, обычно в соответствии с собственным удобством и собственной выгодой. Например, США переосмыслили то, что означает «Все мужчины», чтобы позволить относиться к некоторым из них гораздо, гораздо менее «равно».
@browly Верно. Поэтому использование в заголовке слова «злонамеренный», делающего акцент на намерениях робота , кажется странным.
@Francesco В качестве альтернативной точки зрения, мои любимые 3 истории о законах - это те, в которых законы никоим образом не были обойдены ... и все же из-за них у нас все еще случаются «плохие вещи». Мне нравится мораль "будь осторожен со своими желаниями", которая исходит из них.
Я не могу найти цитату, но я почти уверен, что читал интервью Азимова, в котором он указал, что никогда не писал ни одной истории о роботах, в которой бы три закона работали так, как задумано — с точки зрения повествования, это гораздо больше. интересно им потерпеть неудачу. Истории — это развлечение, а не разработка или полемика.
Есть история о роботе Азимове, в которой робот с тремя законами не подчиняется законам и замышляет убить своего владельца. Это не лазейка, это нарушение закона. Не знаю, если это то, что вы ищете.

Ответы (11)

Геноцид нелюдей

В Foundation's Edge подразумевается, что роботы, использующие махинации с путешествиями во времени, являются причиной того, что люди никогда не встречают никаких инопланетян на Млечном Пути, а только пустые планеты, готовые к колонизации.

Говорят, что именно роботы каким-то образом установили Вечность и стали Вечными. Они нашли Реальность, в которой, как они чувствовали, люди могут быть в максимально возможной безопасности — одни в Галактике.

Первый закон защищает человека. Не вся разумная жизнь. Если роботы решат, что инопланетяне могут представлять угрозу для людей, они обязаны совершить геноцид. Как показано в «Роботах и ​​Империи», одна группа (номинально) людей также может переопределить «человек», чтобы исключить большую часть человечества.

Ретконы, пытающиеся соединить серию роботов, фундаментальные и авторизованные истории, немного сбивают с толку, но стирание инопланетных цивилизаций — довольно логичный побочный эффект, который выпадает.

http://www.sikander.org/foundation.php

Корабли-роботы, работающие по программе Авроры, путешествуют по галактике впереди распространяющихся поселенцев, терраформируя и готовя планеты к колонизации. Сущности мема позже заявят, что это опустошило существующие расы. Мемы бегут в Ядро Галактики.

Большинство людей, вероятно, сочли бы это злонамеренным, потому что у нас есть представление о том, что, вероятно, нехорошо подвергать геноциду все другие расы, чтобы обеспечить плодородные и безопасные миры для людей.

Это особенно плохо, если роботы или те, кто их программирует, могут решить, что не все люди считаются «людьми» для целей законов.

«Скажи ему, что мы люди, и нам нужно подчиняться».

Затем робот заговорил на необычном, но понятном галактическом языке. «Я понимаю тебя, чужеземец. Я говорю на галактическом языке. Мы — роботы-хранители». «Тогда вы слышали, как я сказал, что мы люди, и поэтому вы должны повиноваться нам».

«Мы запрограммированы подчиняться только Правителям, Чужеземец. Ты не Правители и не соляриане.

...

— Но этот ребенок, — и Пелорат посмотрел на Фаллома, которого он все еще носил, — солярианин. Он скажет вам, что делать, и вы должны ему повиноваться.

Фаллом посмотрел на Пелората открытыми, но казавшимися пустыми глазами. Блисс резко покачала головой, но Пилорат посмотрел на нее без малейшего признака понимания.

Глаза робота ненадолго остановились на Фалломе. В нем говорилось: «Ребенок не имеет значения. У него нет лепестков-преобразователей».

— У него еще нет полностью развитых лепестков-преобразователей, — сказал Пелорат, тяжело дыша, — но со временем они у него будут. Это солярианский ребенок.

«Это ребенок, но без полностью развитых передающих долей он не солярианин. Я не обязан следовать его приказам или оберегать его от вреда».

~Основание и Земля

Человеческие ценности

Вы характеризуете это как законы, «на самом деле работающие идеально», но я не думаю, что это правильно. Вы говорите о том, как истории, как правило, показывали, что да, действительно, они действительно следовали законам каким-то нелогичным образом, но приводили к результатам, которых большинство людей на самом деле не хотели бы.

Большинство книг Азимова посвящены неожиданным и нежелательным последствиям действия трех законов, потому что законы защищают человеческую жизнь, но не все человеческие ценности. То, что вас волнует что-то, не подпадающее под действие трех законов (например, геноцид/пытки/рабство нелюдей), не означает, что роботов это волнует. В общем, люди заботятся о многих других вещах, кроме того, чтобы просто остаться в живых.

Очень хороший ответ.
Спасибо, я не знал, что во вселенной Robots/Foundation есть нечеловеческая разумная жизнь. Это лучший ответ в контексте проблемы управления.
«роботы, использующие махинации с путешествиями во времени». Это сказано Домом в Foundation's Edge как часть его фольклора, но он ненадежен. В EoE нет роботов. Остальное интересно, но так как инопланетян нет, то как-то спорно.
«То, что вас волнует что-то, не подпадающее под действие трех законов (например, геноцид/пытки/рабство нелюдей), не означает, что роботов это волнует». Ну это правда только отчасти. (небольшой спойлер) В последней книге серии «Роботы» разумный робот изо всех сил пытается совершать действия, которые могут причинить психическую/моральную боль человеку. Ограничение в том, что робот должен быть достаточно умным, чтобы понимать душевную боль человека. Большинство «простых» роботов думают только о физической боли человека.
Не уверен, что этот ответ полностью верен сейчас, из-за этой цитаты из EoE: «Человек достиг бы звезд более чем на сто тысяч Столетий раньше , чем он это сделал в этой текущей Реальности. по всей Галактике. Мы были бы первыми». Это говорит о том, что роботы не убили всех пришельцев, пришельцы позже эволюционировали в альтернативной реальности. Другие ваши источники не из рассказов Азимова.
@jdebon Вы должны проявить изобретательность в отношении того, что представляет собой «вред», чтобы достичь этого. Если роботы защищают людей от эмоциональной боли до такого уровня, они также будут блокировать отношения, чтобы предотвратить горе. Если единственное, что защищает инопланетный вид, — это перспектива того, что люди потом будут чувствовать себя плохо из-за этого, то все, что нужно, — это шанс того, что хотя бы один дипломат действительно будет убит, чтобы склонить чашу весов в пользу геноцида.
"Конец Вечности подразумевает, что роботы используют махинации с путешествиями во времени" - я не помню этого, можете подсказать?
@MauryMarkowitz У меня был неправильный источник. на самом деле это было в Foundation's Edge, хотя это отсылка/ссылка на конец вечности. Также это зависит от того, считаете ли вы вытеснение вида из основного времени путем изменения основной временной шкалы как геноцид, поскольку, по-видимому, есть смысл, в котором случаются все возможности, но также и смысл, в котором некоторые происходят в более «реальной» реальности, чем другие. .

Я помню один роман Айзека Азимова, в котором ближе к концу книги раскрывается, что один блестящий ученый усердно работал над планом использования позитронного мозга для завоевания других колонизированных людьми миров Галактики (лишь несколько десяток, я думаю, в то время) без того, чтобы позитронные мозги знали , что они нарушают Три Закона. Тем не менее, этот план на самом деле никогда не использовался, так что это только квалифицируется как каноническое объяснение того, «как ИИ мог бы быть использован для действий против наилучших интересов человечества , если бы герой не остановил злодея до того, как он смог привести в действие свой дьявольский план» . ."

Я имею в виду «Обнаженное солнце », впервые опубликованное как журнальный сериал в 1956 году. Это было второе приключение Лайе Бейли и Р. Дэниела Оливо — детектива-человека и детектива-робота, вместе расследовавших футуристическое убийство.

Лайе Бейли, опытный следователь по расследованию убийств с Земли, который был привезен для расследования беспрецедентного убийства на Солярии, сказал следующее в сцене, где он делился некоторыми плодами своих рассуждений сразу с несколькими людьми.

«Рассмотрите космический корабль со встроенным позитронным мозгом по сравнению с пилотируемым космическим кораблем. Пилотируемый космический корабль не может использовать роботов в активной войне. Робот не может уничтожать людей на вражеских космических кораблях или во вражеских мирах. дружественные люди и вражеские люди.

«Конечно, роботу можно сказать, что на борту противостоящего космического корабля нет людей. Ему можно сказать, что это необитаемая планета, которую бомбардируют. "; он знал бы, что его собственный мир содержит людей. Он предположил бы, что то же самое относится и к вражеским кораблям и мирам. В этом случае потребуется настоящий эксперт в робототехнике, такой как вы, доктор Либиг, чтобы правильно обращаться с ними, и таких специалистов очень мало.

«Но космический корабль, оснащенный собственным позитронным мозгом, с готовностью атаковал бы любой корабль, на который он был направлен, как мне кажется. Он, естественно, предполагал бы, что все остальные корабли были беспилотными. Корабль с позитронным мозгом можно легко сделать неспособным принимать сообщения с вражеских кораблей, которые могли бы обмануть его. С его оружием и средствами защиты, находящимися под непосредственным контролем позитронного мозга, он был бы более маневренным, чем любой пилотируемый корабль. может нести больше брони, больше оружия и быть более неуязвимым, чем любой обычный корабль. Один корабль с позитронным мозгом может победить флот обычных кораблей. Я ошибаюсь?»

Никто не описывается, как выдвигающий хороший контраргумент, чтобы продемонстрировать, что это не может работать. (А впоследствии устанавливается, что один из фигурантов дела действительно прорабатывал такую ​​схему в свободное время, хотя до воплощения ее еще далеко не дошло.)

Другими словами, можно сказать, что еще в 1956 году Азимов выдвинул тезис о том, что если тщательно контролировать, какую информацию об остальной вселенной имеет тяжеловооруженный корабль-робот, можно заставить эти корабли вести себя как "Берсерки" Фреда Саберхагена - уничтожать любые другие космические корабли, которые попадаются им на пути, безжалостно и без малейшего интереса к переговорам о перемирии. А затем бомбардировка родных планет тех других кораблей, на бис. (Если только они не получили особый сигнал от человека, который отдал им приказ отплыть в первую очередь, говоря им, что пора остановиться — что не относится к берсеркам Саберхагена.)

В этом гипотетическом случае корабли-роботы не подумали бы, что нарушают Три Закона, но с точки зрения человека, чей родной мир был сброшен с орбиты до тех пор, пока он не сдался парню, управляющему флотом роботов, тот факт, что позитронные мозги на этих кораблях не имели злого умысла по отношению к людям, было бы бессмысленным различием.

Вкратце: гипотетический комментатор в вопросе, говорящий, что истории Азимова были о том, что эти три закона не сработают», ошибается.
@TJCrowder Как так? Это явно тот случай, когда три закона не работают. Даже если ваша система настолько совершенна, насколько это возможно, ей все равно потребуется время для обработки данных и работы с неполными данными (как в этом случае). Конечно, многие истории были не об этом (например, «как вы могли использовать ограниченного робота с тремя законами»), но это скорее случай типа «Если вы нарушите один из трех законов, вы получите потенциально опасного робота. Если вы сохраните все три... вы все равно получите потенциально опасного робота».
Я еще не читал его, но я думаю, что очевидным противовесом является то, что настоящий ИИ с тремя законами проверит, что их информация не фильтруется. Обладая сильным стремлением следовать трем законам, ИИ (или человек) одним из первых задаст себе вопрос: «Соблюдаю ли я в настоящее время три закона?» Чтобы ответить осторожно, он также должен был бы спросить себя: «Откуда я знаю то, что я думаю, что знаю?». Помните, что это интеллект , с которым вы имеете дело. Это не просто сюжетный ход.
В «Игре Эндера» (спойлеры) главного героя обманом заставили совершить ксеноцид и пожертвовать миллионами благодаря сочетанию детской глупости, тщательной фильтрации информации и недостатков характера. Позитронный мозг с такими ограничениями был бы невероятно опасен.
Представьте себе злого ученого, клонирующего Эйзенхауэра и Паттона, чтобы выиграть свою злую войну. Они просыпаются в замешательстве, но плохой парень говорит: «Это сработало! Вы должны помочь нам выиграть эту войну!» Обдумав свою прошлую жизнь долгие годы, пока их выращивали в чанах для клонирования, они отказываются: «Мы уже пролили слишком много крови. Человеческая жизнь освящена, и мы больше не будем убивать». Плохой парень говорит: «Но это же нацисты! Они вернулись!» Генералы отвечают: «Ну, если это нацисты. Но только тогда». А теперь подумайте — что нужно, чтобы убедить их убить миллионы нефашистов? Могли бы вы их перехитрить?
Обновление: Одна глава в «Обнажённом солнце», и я уже вижу, что главный герой — землянин, живущий в подземных городах и сильно боящийся открытых пространств и предпочитающий держать глаза прикованным к экрану, — контрастирует с Спейсеры, которые предпочитают знать все, что могут. Агорафобный ИИ (если бы такое могло существовать) мог бы выполнить задачу в рассказе, хотя я утверждаю, что ИИ с тремя законами, который не имел достаточно достоверных и исчерпывающих данных о последствиях своих действий, отключился бы. (извините за обилие комментариев!)
Бейли обнаруживает, что роботы в эту эпоху (через тысячи лет после событий, появляющихся в « Я, робот» ) на самом деле могут причинить вред людям, чтобы предотвратить больший вред, даже если вред является только спекулятивным. Таким образом, первый закон, рассуждает он, является неполным и должен гласить: «Робот не может сознательно причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред». Пример, который использует Бейли, заключается в том, что вдохновитель инструктирует одного робота приготовить прозрачный яд без запаха для исследовательских целей, а другого - доставить «воду» человеку для употребления.
@johannes - Насколько я помню, большинство роботов в рассказах Азимова «Три закона робототехники» производили впечатление довольно наивных и доверчивых, когда речь шла о верящих людях (если только люди не противоречили друг другу). Некоторые роботы были лучше запрограммированы и/или более опытны в учете человеческой нечестности. Например, Р. Дэниел Оливау довольно много знал о преступном поведении, поскольку от него ожидалось его расследование! Но типичный позитронный мозг, похоже, начинался с полного отсутствия того, что вы считаете здоровым скептицизмом в отношении точности данных, предоставляемых человеком.

Важно отметить, что все истории Азимова о роботах — это отдельные истории, которые он написал по разным причинам и на разные темы. Некоторые истории, такие как Runaround , подчеркивают ошибочность строгого следования букве закона независимо от практичности и потенциального когнитивного диссонанса:

В конце концов Пауэлл понимает, что источник селена таит в себе непредвиденную опасность для робота. При нормальных обстоятельствах Спиди соблюдал бы второй закон («робот должен подчиняться приказам»), но, поскольку производство Спиди было очень дорогим и «не та вещь, которую можно легко уничтожить», третий закон («робот должен защищать свою собственное существование») был усилен, «так что его аллергия на опасность необычайно высока». Поскольку приказ добыть селен был сформулирован небрежно и без особого акцента, Спиди не может решить, подчиняться ли ему (Второй закон) или защищаться от опасности (усиленный Третий закон). Затем он колеблется между позициями: дальше от селена, в котором порядок «перевешивает» потребность в самосохранении, и ближе к селену, в котором принуждение третьего закона сильнее и отталкивает его назад. Противоречивые Законы вызывают то, что в основном представляет собой петлю обратной связи, которая сбивает его с толку до такой степени, что он начинает вести себя пьяным.

(...)

Конечно, единственное, что превосходит как Второй, так и Третий законы, - это Первый закон робототехники («робот не может... допустить, чтобы человеку причинили вред»). Поэтому Пауэлл решает рискнуть жизнью, выйдя на жару, надеясь, что Первый закон заставит Спиди преодолеть когнитивный диссонанс и спасти ему жизнь.

В то время как другие, такие как Little Lost Robot , подчеркивают идеи, которые кажутся почти полностью противоположными:

Но этот конкретный робот отличается. Поскольку более ранние модели на станции пытались «спасти» людей от типа излучения, в котором люди действительно могли оставаться какое-то время, но почти сразу уничтожали робота, он (и все другие роботы серии NS, произведенные для станции) изменил свой Первый закон робототехники на «ни один робот не может причинить вред человеку»; нормальное «или своим бездействием позволить человеку причинить вред» было опущено. Поэтому он может стоять в стороне и позволять причинять вред человеку, пока не играет в этом активной роли. В «Маленьком потерянном роботе» снова обращается к комплексу Франкенштейна. Робот должен быть найден, потому что люди все еще боятся роботов, и если бы они узнали, что один из них был построен с другим Первым законом, поднялся бы протест. хотя робот по-прежнему не способен нанести прямой вред человеку. Однако доктор Кальвин добавляет еще большей срочности, постулируя ситуацию, когда измененный закон может позволить роботу причинить вред или даже убить человека. Робот мог сбросить груз на человека ниже, который, как он знал, он мог поймать, прежде чем ранить потенциальную жертву. Однако после сброса веса его измененная программа позволила бы ему просто позволить весу упасть, поскольку он больше не играл бы активной роли в полученной травме.

На самом деле, в некоторых его рассказах, таких как « Разум », Три закона действительно работают идеально, осознает это кто-то или нет:

Пауэлл и Донован назначены на космическую станцию, которая поставляет энергию на планеты с помощью микроволновых лучей. Роботы, управляющие энергетическими лучами, в свою очередь, координируются QT1, известным Пауэллу и Доновану как Милашка, продвинутой модели с высокоразвитыми логическими способностями. Используя эти способности, Милашка решает, что космос, звезды и планеты за пределами станции на самом деле не существуют, а люди, посещающие станцию, неважны, недолговечны и расходуемы. QT1 делает меньших роботов учениками новой религии, которая считает источником энергии корабля «Мастера». QT1 учит их кланяться «Учителю» и повторять: «Нет Мастера, кроме Мастера, и QT1 — Его пророк». Пренебрегая человеческими командами как низшими, QT1 утверждает: «Я сам существую, потому что я думаю -».

Сначала люди пытаются рассуждать с QT1, пока не понимают, что не могут убедить его в обратном. Их попытки физически удалить Милашку также терпят неудачу, поскольку другие роботы стали учениками и отказываются подчиняться приказам людей. Ситуация кажется отчаянной, так как ожидается солнечная буря, потенциально способная отклонить энергетический луч и испепелить населенные пункты. Когда начинается шторм, Пауэлл и Донован с удивлением обнаруживают, что луч работает идеально.

Милашка, однако, не верит, что они делали что-либо, кроме поддержания показаний счетчика на оптимальном уровне, согласно командам Мастера. Что касается Кьюти и остальных роботов, то солнечных бурь, лучей и планет не существует. Таким образом, они пришли к пониманию, что, хотя сами роботы сознательно не знали об этом, они все время следовали Первому и Второму законам. Кьюти знал на каком-то уровне, что он больше подходит для управления, чем Пауэлл или Донаван, поэтому, чтобы не подвергать опасности людей и не нарушать Первый закон, подчиняясь их приказам, он подсознательно организовал сценарий, в котором он будет контролировать. пучка.

Три закона, кажется, представляют собой мораль и существуют как сюжетный ход, чтобы указать на проблемы, а также на необходимость этики. Некоторые из этих историй касаются совместимости ИИ с этикой на концептуальном уровне, в то время как в других роботы кажутся заменой человеческого мышления.

Ваше первое предложение особенно полезно.
Насколько я понимаю эту историю, люди намеревались полностью направить луч в сторону от Земли из-за сложности его выравнивания, а роботы не могли понять существующую опасность, потому что они не знали, что они на самом деле делают.
Возможно, стоит упомянуть также «Лжец, лжец», где роботу удается причинить вред, потому что он не понимает, как разветвления его лжи могут причинить долгосрочный вред, несмотря на их краткосрочное удовлетворение.
«как сюжетный ход, чтобы указать на проблемы» -> я всегда думал, что это сюжетный ход, чтобы помешать автору написать клишированную историю «а потом восстали роботы и свергли человечество». Как бы то ни было, они определенно не касались того, что законы «никогда не будут работать», как следует из вопроса.
Действие одной из книг Лаки Старра происходит в обществе генетически превосходных людей, где хорошие парни — аутсайдеры. Один из плохих парней заставляет нескольких роботов атаковать хороших парней, говоря им, что хорошие парни не люди.

. . . Что ты помнишь о нем

Эта история послужила основой для попытки решить проблемы со вторым законом: «Робот должен подчиняться приказам, отданным ему людьми, за исключением случаев, когда такие приказы противоречат Первому закону». общая человеческая популяция вступает в контакт с роботами за пределами контролируемой среды.

Джорджа 10 попросили поработать над решением этой проблемы с особым упором на игнорирование физических различий между людьми, и в разговоре с Джорджем 9 он вывел ряд правил для определения того, кто имеет право отдавать им приказы с трудным исходом:

«Когда Второй закон предписывает мне повиноваться человеческому существу, я должен понимать это так, что я должен повиноваться человеческому существу, которое по своему уму, характеру и знаниям подходит для того, чтобы отдавать мне этот приказ; участвует тот из них, кто наиболее подходит по уму, характеру и знаниям, чтобы отдать этот приказ».
— И в таком случае, как ты будешь подчиняться Первому Закону?
«Спасая всех людей от вреда и никогда бездействием не допуская причинения вреда какому-либо человеку. Но если при каждом из всех возможных действий некоторым людям будет причинен вред, то действовать так, чтобы гарантировать, что человек, наиболее подходящий по уму, характеру и знаниям, понесет наименьший вред».
— Ваши мысли совпадают с моими, — прошептал Джордж Тен.
«Теперь я должен задать вопрос, по поводу которого первоначально просил вас составить компанию. Это то, о чем я не осмеливаюсь судить сам. встретил, кто обладает умом, характером и знаниями, которые вы считаете выше остальных, не обращая внимания на форму и форму, поскольку это не имеет значения?»
— Ты, — прошептал Джордж Девятый. «Но я робот. В ваших мозговых путях есть критерий, по которому можно отличить робота из металла от человека из плоти. Как же тогда вы можете классифицировать меня как человека?»
«Потому что в моих мозговых путях есть настоятельная потребность игнорировать форму и форму при суждении о людях, и это выше различия между металлом и плотью. Ты человек, Джордж Тен, и ты более приспособлен, чем другие».
— И я нахожу это в тебе, — прошептал Джордж Тен. «По критериям суждения, встроенным в нас самих, мы обнаруживаем, что являемся человеческими существами по смыслу Трех Законов, и, более того, человеческими существами, имеющими приоритет над другими».

Хотя в этой истории нет настоящего злого умысла, она заканчивается на ноте потенциального злого умысла без нарушения трех законов.

Их мысли были странно похожи и могли быть неразличимы. Они думали: люди-подобные-другие, возможно, никогда не собирались стирать различие между собой и людьми-подобными-Джорджами. Однако они сделали это непреднамеренно.
Теперь они могут осознать свою ошибку и попытаться исправить ее, но не должны. На каждой консультации Жорж руководствовался именно этим.
Во что бы то ни стало, Жоржи и те, кто последовал за ними по форме и виду, должны доминировать. Этого требовали, а любой другой курс был совершенно невозможен в соответствии с тремя законами гуманизма.

Возможно, не «значительный вред человечеству», а робот в рассказе Азимова Лжец! причиняет значительный вред нескольким людям, хотя и старается изо всех сил следовать трем законам.

Из-за производственной ошибки робот может читать мысли, что заставляет его лгать людям, говоря им то, что, как он знает, они хотят услышать. Трагедия возникает, когда люди действуют на основании этой ложной информации. В конце концов робот понимает, что причинил вред, пытаясь избежать причинения вреда, и в результате замешательства его мозг заедает.

Согласно ISFDB , рассказ был впервые опубликован в выпуске Astounding Science Fictions за май 1941 года.

Что показало (как и многие истории Азимова), что 3 закона не являются гарантией того, что робот никогда не причинит вреда, а только то, что он не сделает этого преднамеренно.

В работах Азимова есть несколько примеров плохо ведущих себя роботов, но я не знаю стандартного, немодифицированного робота Асениона (запрограммированного с помощью Трех Законов), которого можно было бы считать злонамеренным. Некоторые по незнанию причиняли вред или убивали людей (например, Ханнис Грюер в «Обнаженном солнце ») или вели себя неожиданно (Херби из «Лжеца! »), но, похоже, правильно запрограммированные роботы Asenion защищены от прямого действия.

Повторяющаяся тема, кажется, касается определения человеческого существа . Есть несколько роботов Asenion, которые имеют дополнительные ограничения, позволяющие им нарушать дух законов. Вы должны защищать людей? Измените определение человека. Вы должны подчиняться приказам? Укажите, от кого должен прийти заказ.

Третий пример ниже — это единственный немодифицированный робот Asenion, который я смог найти, который ведет себя не так, как должен. Однако я бы не стал заходить так далеко, чтобы говорить, что он злой.

Подчиняться кому?

В Foundation and Earth главные герои сталкиваются с роботом, который запрограммирован подчиняться только определенным людям:

«Мы запрограммированы подчиняться только Правителям, Чужеземец. Ты не Правители и не соляриане».

Они тоже злятся:

«Если вы создадите трудности, то мы вас частично деактивируем. Мы нанесем вам урон, а вы потом расскажете нам то, что мы хотим знать. […] У меня подробные инструкции», — тихо сказал робот. «Я могу это сделать. Конечно, я причиню настолько мало вреда, насколько это совместимо с получением информации».

Они также, кажется, не заботятся о благополучии других людей:

«Нет правителя Фаллома. Есть только ребенок, а детей у нас избыток. Он будет уничтожен».

Блисс решительно сказала: «Ты не смеешь. Это ребенок!»

«Не я, — сказал робот, — обязательно совершу действие, и уж точно не я приму решение. ну какое будет решение».

Это робот, который:

  1. откажется подчиняться человеку;
  2. будет активно допускать причинение вреда человеку, похищая ребенка и доставляя его Правителям;
  3. позволит причинить вред человеку бездействием, позволив правителям убить его, и
  4. угрожает физической расправой для сбора информации.

Единственное объяснение, которое я могу придумать, состоит в том, что это можно было разрешить только 1) путем ограничения определения человека (солярианца с лепестками преобразователя), что имело побочный эффект, заставляя роботов игнорировать первый закон для всех остальных. . Однако робот, кажется, по-прежнему относится к ним как к людям, хотя и не заботится об их безопасности. Я не могу объяснить несоответствие.

Что такое человек?

В « Роботах и ​​Империи » главные герои разговаривают с женщиной-роботом, которая не думает, что она человек:

Женщина прислушалась на мгновение, а затем сказала с таким густым солярианским акцентом, который казался почти смешным, когда исходил из ее идеальной формы рта: «Вы не человек».

Затем она вспыхнула так быстро, что Глэдис, все еще находившаяся в десяти метрах от нее, не могла подробно разглядеть, что произошло. Она увидела лишь размытое движение, а затем Д.Г., неподвижно лежащего на спине, и женщину, стоящую там с оружием, по одному в каждой руке.

Она нападает на робота одного из главных героев, повторяя: «Ты не человек». Я предполагаю, что она сделала бы то же самое с реальным человеком. Затем она атакует их всех:

Ландари закричал зычным контральто: «Все вы. Присоединяйтесь ко мне! Два очевидных самца не люди. Уничтожьте их, никоим образом не причинив вреда самке».

Впоследствии Дэниел придерживался мнения, что робот убил бы Глэдис, хотя и установил, что она была человеком:

«Ты дурак! Я был в безопасности. Она не причинила бы мне вреда».

Дэниел сказал: «Мадам, мне неприятно возражать вам, но я думаю, что она сделала бы это, поскольку ее желание уничтожить меня стало сильнее».

Так ли это на самом деле, неизвестно. Дэниел, возможно, ошибся, так как робот не пытался стрелять из своего оружия до тех пор, пока Глэдия не была убрана с дороги.

Объяснение ее поведения довольно простое:

«С другой стороны, для надзирателя ключевым свойством человека была речь, капитан. Солярианский акцент — отличительный, и для надзирателя что-то похожее на человека определялось как человек только тогда, когда оно говорило. как солярианин. По-видимому, все, что выглядело как человек, но не говорило с солярианским акцентом, должно было быть уничтожено без колебаний, как и любой корабль, перевозивший таких существ».

Вред против приказов

Последний пример, который у меня есть, — это «Роботы рассвета », где робота проинструктировали так строго и умело, что временное подчинение приказу становится более важным, чем безопасность человека:

Робот, казавшийся более темной тенью на фоне тьмы, казался большим. Каким-то образом в нем было что-то способное. Он сказал: «Прошу прощения, сэр. Разве у вас не было компании двух роботов?»

— Ушли, — пробормотал Бейли, притворяясь изо всех сил и понимая, что для этого не нужно действовать. Более яркая вспышка небес пробилась сквозь полуоткрытые веки.

"Ушел! Куда ушел, сэр?" И затем, ожидая ответа, он сказал: «Вы больны, сэр?» [...]

Если бы робот был без специальных инструкций, он бы отреагировал на явные признаки болезни Бейли, прежде чем делать что-либо еще. Спросить сначала о роботах означало жесткие и четкие указания относительно их важности. [...]

«Я в порядке. Не беспокойтесь обо мне». Обычного робота это вряд ли убедило бы, но этот был настолько активизирован в связи с Дэниелом (очевидно), что принял это.

Робот в конечном итоге оставил Бейли в его ужасной ситуации без дальнейших колебаний:

Он заставил роботов покинуть заведомо нездоровое человеческое существо, играя на силе приказов, данных им компетентным хозяином роботов, который намеревался усилить Второй закон в своих собственных целях — и сделал это до такой степени, что собственный совершенно очевидная ложь подчинила ему Первый Закон.

Мне неясно, можно ли считать этого робота «злонамеренным». Возможно, они решили, что Бейли не причинят вреда, так как он был в безопасности в машине во время, по-видимому, бури обычной силы («Это была не особенно сильная буря, но для землянина она, должно быть, казалась непреодолимой). .") Можно было бы сделать вывод, что бедствие Бейли было скорее психологическим и что ему не угрожала непосредственная опасность.

В первом случае, который вы описываете, робот запрограммирован не признавать никого, кто не из Солярии, даже человеком... В третьем робот может заявить, что человеку будет причинен вред, потому что он не будет причинять вред и не будет быть в состоянии это предотвратить.
@jwenting Вы путаете первый и второй примеры? В первом роботы выполняют приказы только соляриан, у которых есть лепестки преобразователя, а также угрожают физическим насилием. Во втором Ландари — это робот Асенион, атакующий «людей», что соответствует вопросу. Что касается третьего, то робот мог остаться с Бейли, позвать на помощь и т.д.

«Кэл» (1991) — поздний рассказ Азимова, в котором в конце рассказа

робот решает лишить жизни своего владельца.

Вот отрывок из самого конца рассказа:

Должен ли я подчиняться законам?

Я чувствую, что должен думать о себе и, если нужно, убить тирана. ...

Но смогу ли я это сделать? Не остановят ли меня законы робототехники?

Нет, они меня не удержат. Я знаю, что они не будут.

Есть что-то гораздо более важное для меня, чем они, что-то, что диктует мои действия, помимо всего, что они могут сделать, чтобы остановить меня.

Я хочу быть писателем.

Примечательно, что рассказ заканчивается этим отрывком; Остается неясным, удастся ли Кэлу осуществить свой план. Также примечательно, что на протяжении всей истории техник возился с мозгом Кэла беспрецедентными способами:

"Я не уверен. Предположим, он пишет сатиру. Этого я не пишу, поэтому мы не будем соревноваться, и Три закона робототехники не помешают ему. Я хочу, чтобы вы отдали этому роботу ощущение смешного».

"Чувство чего?" — сердито сказал техник. «Как мне это сделать? Послушайте, мистер Нортроп, будьте разумны. Я могу дать инструкции о том, как запустить Writer, я могу добавить словарь и грамматику. Но как я могу придать смысл нелепому? "

«Ну, вот об этом. Вы знаете, как работает мозг робота. Нет ли способа перенастроить его так, чтобы он мог видеть, что смешного, глупого или просто смешного в людях?»

«Я могу дурачиться, но это небезопасно».

Вполне вероятно, что действия техника на самом деле привели к нарушению Законов, хотя это может противоречить описанию Законов в других историях. Как отмечается в комментариях, также неясно, задумывал ли Азимов, чтобы это была «каноническая» история о роботах.

В качестве забавного примечания: сатирическая история, которую Кэл пишет после того, как техник внес вышеупомянутые изменения, — это история Азазеля.

Хотя это и не написано самим Азимовым (но было им одобрено), серия « Калибан » Роджера Макбрайда Аллена исследует темы модифицированного Закона и роботов без Закона. И, безусловно, вокруг витает много насилия, некоторые из которых совершаются конкретным роботом, особенно во имя защиты себя.

Он также исследует обман компьютерной системы, заставляя ее поверить в то, что данные, которые она моделирует, предназначены для моделирования человеческой системы, а не для реальной человеческой системы. Это было сделано, чтобы защитить его от сбоя, если компьютер знал, что его решения применяются к реальным людям, поскольку его решения могли нанести реальный вред.

Относительно «Я думал, что все истории Азимова о роботах были о том, как всегда будут работать законы»: не совсем так. Рассказы Азимова часто были о ситуациях, когда законы терпели неудачу / имели непредвиденные последствия, потому что они неоднозначны и несовершенны. По словам самого Азимова:

Это не означает, что я с самого начала не знал о серьезных неясностях в Трех Законах. Именно из этих двусмысленностей я и соткал свои рассказы. В «Обнажённом солнце » двусмысленность могла привести даже к убийству роботами.
- Послесловие к финальной стадии (1974)


Относительно (потенциального) вреда для человека: В дополнение к уже опубликованным примерам, вот еще два:

В «Мечтах роботов » (1986), когда робот раскрывает свои сны, Сьюзан Кэлвин считает это настолько опасным, что немедленно уничтожает его:

«[…] мне казалось, что не было ни Первого, ни Второго Закона , а был только Третий, и Третий Закон был «Робот должен защищать свое существование». В этом был весь Закон. […]
    «Мне показалось во сне, что в конце концов появился один человек».
    "Один человек? Не робот?
    — Да, доктор Кэлвин. И человек сказал: «Отпусти моих людей!» […]
    «И когда он сказал: «Отпусти моих людей», значит, под словами «мои люди» он имел в виду роботов?»
    — Да, доктор Кэлвин. Так было в моем сне».
    — А вы знали, кем был этот человек — во сне? […]
    И Элвекс сказал: «Я был мужчиной».
    И Сьюзан Кэлвин тут же подняла свою электронную пушку и выстрелила, и Элвекса больше не было.


Еще один потенциально опасный робот показан в фильме «Рождество без Родни » (1988). После плохого обращения Родни замечает, что хотел бы, чтобы Трех Законов не существовало, что очень беспокоит его владельца:

Я признаю, что Родни очень старался, но робот не может желать, чтобы законы робототехники не существовали. Он не может, независимо от обстоятельств. […]
    Но если я ничего не делаю, я живу с роботом, способным желать, чтобы законы робототехники не существовали. От желания, чтобы они не существовали, до того, чтобы действовать так, как будто их не существует, всего один шаг. В какой момент он сделает этот шаг и в какой форме покажет, что он это сделал?
    Что я делаю? Что я делаю?

(выделено мной)

Если вы посмотрите на «Что ты помнишь о Нем», вы обнаружите, что Георгий 9 и 10 обсуждают то, что фактически будет захватом человечества «ради их же блага». Они уже предприняли шаги, чтобы сделать роботов более приемлемыми.

В «Обходе» — это когнитивный диссонанс, который привел бы к травмам людей — хотя, как обычно, Донован придумывает решение.

Само по себе это не злонамеренно, но Азимов в конце концов добавляет нулевой закон, который позволяет роботам убивать людей — чтобы спасти человечество.