Я читаю некоторые вопросы и ответы на Worldbuilding.se о проблеме управления (как держать общий искусственный интеллект в коробке), как этот , и кто-то неизменно рекламирует три закона робототехники Азимова как решение, на которое кто-то другой ответит: «Истории Азимова были о том, что три закона не сработают».
Однако я думал, что все рассказы Азимова о роботах были о том, как всегда будут работать законы. Истории, которые я читал, всегда имели такой формат:
ПАУЭЛЛ: Мы построили робота, который следует трем законам, и дали ему смешное имя! Ура!
ДОНОВАН: О нет, из-за странного стечения обстоятельств робот ведет себя неожиданным образом, который, кажется, нарушает три закона! Лучше позвоните доктору Кэлвину.
Д-Р КАЛЬВИН: Я побеседовал с роботом и установил, что он действительно работает идеально. Его действия на самом деле принесут неизмеримую пользу человечеству.
Персонажи постоянно называют страх перед продвижением роботов «комплексом Франкенштейна». Это основной источник оппозиции в рассказах, который всегда изображается как иррациональный и нежелательный.
Хотя с тремя законами Азимова, безусловно, есть проблемы в реальном мире, я думаю, что Азимов так гордился ими, что только создавал их в своих рассказах.
Есть ли какие-нибудь истории Азимова, в которых ИИ успешно причиняет значительный вред человечеству, несмотря на соблюдение трех законов? Было исследовано, конечно, неожиданное и даже нежелательное (для кого-то) поведение, но причинял ли когда-нибудь робот вред?
«Маленький потерянный робот » не считается, потому что он о роботе, у которого нет полного первого закона, поэтому он все еще служит для поддержки идеи о том, что законы в целом работают идеально. Кальвин говорит, что «нормальная жизнь ... возмущается господством», и единственная причина, по которой этот робот злонамерен, связана с его подавленным первым законом. Полные роботы первого закона вполне счастливы быть рабами.
Нулевой закон (защитить человечество) также, кажется, поддерживает представление о том, насколько удивительны эти три закона: нам даже не нужно было говорить роботам, чтобы они ставили человечество выше отдельных людей; ангельские роботы смогли сделать вывод об этом самостоятельно. Либертарианцы могут увидеть в этом негатив, но разве Азимов когда-либо изображал это таким образом?
Геноцид нелюдей
В Foundation's Edge подразумевается, что роботы, использующие махинации с путешествиями во времени, являются причиной того, что люди никогда не встречают никаких инопланетян на Млечном Пути, а только пустые планеты, готовые к колонизации.
Говорят, что именно роботы каким-то образом установили Вечность и стали Вечными. Они нашли Реальность, в которой, как они чувствовали, люди могут быть в максимально возможной безопасности — одни в Галактике.
Первый закон защищает человека. Не вся разумная жизнь. Если роботы решат, что инопланетяне могут представлять угрозу для людей, они обязаны совершить геноцид. Как показано в «Роботах и Империи», одна группа (номинально) людей также может переопределить «человек», чтобы исключить большую часть человечества.
Ретконы, пытающиеся соединить серию роботов, фундаментальные и авторизованные истории, немного сбивают с толку, но стирание инопланетных цивилизаций — довольно логичный побочный эффект, который выпадает.
http://www.sikander.org/foundation.php
Корабли-роботы, работающие по программе Авроры, путешествуют по галактике впереди распространяющихся поселенцев, терраформируя и готовя планеты к колонизации. Сущности мема позже заявят, что это опустошило существующие расы. Мемы бегут в Ядро Галактики.
Большинство людей, вероятно, сочли бы это злонамеренным, потому что у нас есть представление о том, что, вероятно, нехорошо подвергать геноциду все другие расы, чтобы обеспечить плодородные и безопасные миры для людей.
Это особенно плохо, если роботы или те, кто их программирует, могут решить, что не все люди считаются «людьми» для целей законов.
«Скажи ему, что мы люди, и нам нужно подчиняться».
Затем робот заговорил на необычном, но понятном галактическом языке. «Я понимаю тебя, чужеземец. Я говорю на галактическом языке. Мы — роботы-хранители». «Тогда вы слышали, как я сказал, что мы люди, и поэтому вы должны повиноваться нам».
«Мы запрограммированы подчиняться только Правителям, Чужеземец. Ты не Правители и не соляриане.
...
— Но этот ребенок, — и Пелорат посмотрел на Фаллома, которого он все еще носил, — солярианин. Он скажет вам, что делать, и вы должны ему повиноваться.
Фаллом посмотрел на Пелората открытыми, но казавшимися пустыми глазами. Блисс резко покачала головой, но Пилорат посмотрел на нее без малейшего признака понимания.
Глаза робота ненадолго остановились на Фалломе. В нем говорилось: «Ребенок не имеет значения. У него нет лепестков-преобразователей».
— У него еще нет полностью развитых лепестков-преобразователей, — сказал Пелорат, тяжело дыша, — но со временем они у него будут. Это солярианский ребенок.
«Это ребенок, но без полностью развитых передающих долей он не солярианин. Я не обязан следовать его приказам или оберегать его от вреда».
~Основание и Земля
Человеческие ценности
Вы характеризуете это как законы, «на самом деле работающие идеально», но я не думаю, что это правильно. Вы говорите о том, как истории, как правило, показывали, что да, действительно, они действительно следовали законам каким-то нелогичным образом, но приводили к результатам, которых большинство людей на самом деле не хотели бы.
Большинство книг Азимова посвящены неожиданным и нежелательным последствиям действия трех законов, потому что законы защищают человеческую жизнь, но не все человеческие ценности. То, что вас волнует что-то, не подпадающее под действие трех законов (например, геноцид/пытки/рабство нелюдей), не означает, что роботов это волнует. В общем, люди заботятся о многих других вещах, кроме того, чтобы просто остаться в живых.
Я помню один роман Айзека Азимова, в котором ближе к концу книги раскрывается, что один блестящий ученый усердно работал над планом использования позитронного мозга для завоевания других колонизированных людьми миров Галактики (лишь несколько десяток, я думаю, в то время) без того, чтобы позитронные мозги знали , что они нарушают Три Закона. Тем не менее, этот план на самом деле никогда не использовался, так что это только квалифицируется как каноническое объяснение того, «как ИИ мог бы быть использован для действий против наилучших интересов человечества , если бы герой не остановил злодея до того, как он смог привести в действие свой дьявольский план» . ."
Я имею в виду «Обнаженное солнце », впервые опубликованное как журнальный сериал в 1956 году. Это было второе приключение Лайе Бейли и Р. Дэниела Оливо — детектива-человека и детектива-робота, вместе расследовавших футуристическое убийство.
Лайе Бейли, опытный следователь по расследованию убийств с Земли, который был привезен для расследования беспрецедентного убийства на Солярии, сказал следующее в сцене, где он делился некоторыми плодами своих рассуждений сразу с несколькими людьми.
«Рассмотрите космический корабль со встроенным позитронным мозгом по сравнению с пилотируемым космическим кораблем. Пилотируемый космический корабль не может использовать роботов в активной войне. Робот не может уничтожать людей на вражеских космических кораблях или во вражеских мирах. дружественные люди и вражеские люди.
«Конечно, роботу можно сказать, что на борту противостоящего космического корабля нет людей. Ему можно сказать, что это необитаемая планета, которую бомбардируют. "; он знал бы, что его собственный мир содержит людей. Он предположил бы, что то же самое относится и к вражеским кораблям и мирам. В этом случае потребуется настоящий эксперт в робототехнике, такой как вы, доктор Либиг, чтобы правильно обращаться с ними, и таких специалистов очень мало.
«Но космический корабль, оснащенный собственным позитронным мозгом, с готовностью атаковал бы любой корабль, на который он был направлен, как мне кажется. Он, естественно, предполагал бы, что все остальные корабли были беспилотными. Корабль с позитронным мозгом можно легко сделать неспособным принимать сообщения с вражеских кораблей, которые могли бы обмануть его. С его оружием и средствами защиты, находящимися под непосредственным контролем позитронного мозга, он был бы более маневренным, чем любой пилотируемый корабль. может нести больше брони, больше оружия и быть более неуязвимым, чем любой обычный корабль. Один корабль с позитронным мозгом может победить флот обычных кораблей. Я ошибаюсь?»
Никто не описывается, как выдвигающий хороший контраргумент, чтобы продемонстрировать, что это не может работать. (А впоследствии устанавливается, что один из фигурантов дела действительно прорабатывал такую схему в свободное время, хотя до воплощения ее еще далеко не дошло.)
Другими словами, можно сказать, что еще в 1956 году Азимов выдвинул тезис о том, что если тщательно контролировать, какую информацию об остальной вселенной имеет тяжеловооруженный корабль-робот, можно заставить эти корабли вести себя как "Берсерки" Фреда Саберхагена - уничтожать любые другие космические корабли, которые попадаются им на пути, безжалостно и без малейшего интереса к переговорам о перемирии. А затем бомбардировка родных планет тех других кораблей, на бис. (Если только они не получили особый сигнал от человека, который отдал им приказ отплыть в первую очередь, говоря им, что пора остановиться — что не относится к берсеркам Саберхагена.)
В этом гипотетическом случае корабли-роботы не подумали бы, что нарушают Три Закона, но с точки зрения человека, чей родной мир был сброшен с орбиты до тех пор, пока он не сдался парню, управляющему флотом роботов, тот факт, что позитронные мозги на этих кораблях не имели злого умысла по отношению к людям, было бы бессмысленным различием.
Важно отметить, что все истории Азимова о роботах — это отдельные истории, которые он написал по разным причинам и на разные темы. Некоторые истории, такие как Runaround , подчеркивают ошибочность строгого следования букве закона независимо от практичности и потенциального когнитивного диссонанса:
В конце концов Пауэлл понимает, что источник селена таит в себе непредвиденную опасность для робота. При нормальных обстоятельствах Спиди соблюдал бы второй закон («робот должен подчиняться приказам»), но, поскольку производство Спиди было очень дорогим и «не та вещь, которую можно легко уничтожить», третий закон («робот должен защищать свою собственное существование») был усилен, «так что его аллергия на опасность необычайно высока». Поскольку приказ добыть селен был сформулирован небрежно и без особого акцента, Спиди не может решить, подчиняться ли ему (Второй закон) или защищаться от опасности (усиленный Третий закон). Затем он колеблется между позициями: дальше от селена, в котором порядок «перевешивает» потребность в самосохранении, и ближе к селену, в котором принуждение третьего закона сильнее и отталкивает его назад. Противоречивые Законы вызывают то, что в основном представляет собой петлю обратной связи, которая сбивает его с толку до такой степени, что он начинает вести себя пьяным.
(...)
Конечно, единственное, что превосходит как Второй, так и Третий законы, - это Первый закон робототехники («робот не может... допустить, чтобы человеку причинили вред»). Поэтому Пауэлл решает рискнуть жизнью, выйдя на жару, надеясь, что Первый закон заставит Спиди преодолеть когнитивный диссонанс и спасти ему жизнь.
В то время как другие, такие как Little Lost Robot , подчеркивают идеи, которые кажутся почти полностью противоположными:
Но этот конкретный робот отличается. Поскольку более ранние модели на станции пытались «спасти» людей от типа излучения, в котором люди действительно могли оставаться какое-то время, но почти сразу уничтожали робота, он (и все другие роботы серии NS, произведенные для станции) изменил свой Первый закон робототехники на «ни один робот не может причинить вред человеку»; нормальное «или своим бездействием позволить человеку причинить вред» было опущено. Поэтому он может стоять в стороне и позволять причинять вред человеку, пока не играет в этом активной роли. В «Маленьком потерянном роботе» снова обращается к комплексу Франкенштейна. Робот должен быть найден, потому что люди все еще боятся роботов, и если бы они узнали, что один из них был построен с другим Первым законом, поднялся бы протест. хотя робот по-прежнему не способен нанести прямой вред человеку. Однако доктор Кальвин добавляет еще большей срочности, постулируя ситуацию, когда измененный закон может позволить роботу причинить вред или даже убить человека. Робот мог сбросить груз на человека ниже, который, как он знал, он мог поймать, прежде чем ранить потенциальную жертву. Однако после сброса веса его измененная программа позволила бы ему просто позволить весу упасть, поскольку он больше не играл бы активной роли в полученной травме.
На самом деле, в некоторых его рассказах, таких как « Разум », Три закона действительно работают идеально, осознает это кто-то или нет:
Пауэлл и Донован назначены на космическую станцию, которая поставляет энергию на планеты с помощью микроволновых лучей. Роботы, управляющие энергетическими лучами, в свою очередь, координируются QT1, известным Пауэллу и Доновану как Милашка, продвинутой модели с высокоразвитыми логическими способностями. Используя эти способности, Милашка решает, что космос, звезды и планеты за пределами станции на самом деле не существуют, а люди, посещающие станцию, неважны, недолговечны и расходуемы. QT1 делает меньших роботов учениками новой религии, которая считает источником энергии корабля «Мастера». QT1 учит их кланяться «Учителю» и повторять: «Нет Мастера, кроме Мастера, и QT1 — Его пророк». Пренебрегая человеческими командами как низшими, QT1 утверждает: «Я сам существую, потому что я думаю -».
Сначала люди пытаются рассуждать с QT1, пока не понимают, что не могут убедить его в обратном. Их попытки физически удалить Милашку также терпят неудачу, поскольку другие роботы стали учениками и отказываются подчиняться приказам людей. Ситуация кажется отчаянной, так как ожидается солнечная буря, потенциально способная отклонить энергетический луч и испепелить населенные пункты. Когда начинается шторм, Пауэлл и Донован с удивлением обнаруживают, что луч работает идеально.
Милашка, однако, не верит, что они делали что-либо, кроме поддержания показаний счетчика на оптимальном уровне, согласно командам Мастера. Что касается Кьюти и остальных роботов, то солнечных бурь, лучей и планет не существует. Таким образом, они пришли к пониманию, что, хотя сами роботы сознательно не знали об этом, они все время следовали Первому и Второму законам. Кьюти знал на каком-то уровне, что он больше подходит для управления, чем Пауэлл или Донаван, поэтому, чтобы не подвергать опасности людей и не нарушать Первый закон, подчиняясь их приказам, он подсознательно организовал сценарий, в котором он будет контролировать. пучка.
Три закона, кажется, представляют собой мораль и существуют как сюжетный ход, чтобы указать на проблемы, а также на необходимость этики. Некоторые из этих историй касаются совместимости ИИ с этикой на концептуальном уровне, в то время как в других роботы кажутся заменой человеческого мышления.
. . . Что ты помнишь о нем
Эта история послужила основой для попытки решить проблемы со вторым законом: «Робот должен подчиняться приказам, отданным ему людьми, за исключением случаев, когда такие приказы противоречат Первому закону». общая человеческая популяция вступает в контакт с роботами за пределами контролируемой среды.
Джорджа 10 попросили поработать над решением этой проблемы с особым упором на игнорирование физических различий между людьми, и в разговоре с Джорджем 9 он вывел ряд правил для определения того, кто имеет право отдавать им приказы с трудным исходом:
«Когда Второй закон предписывает мне повиноваться человеческому существу, я должен понимать это так, что я должен повиноваться человеческому существу, которое по своему уму, характеру и знаниям подходит для того, чтобы отдавать мне этот приказ; участвует тот из них, кто наиболее подходит по уму, характеру и знаниям, чтобы отдать этот приказ».
— И в таком случае, как ты будешь подчиняться Первому Закону?
«Спасая всех людей от вреда и никогда бездействием не допуская причинения вреда какому-либо человеку. Но если при каждом из всех возможных действий некоторым людям будет причинен вред, то действовать так, чтобы гарантировать, что человек, наиболее подходящий по уму, характеру и знаниям, понесет наименьший вред».
— Ваши мысли совпадают с моими, — прошептал Джордж Тен.
«Теперь я должен задать вопрос, по поводу которого первоначально просил вас составить компанию. Это то, о чем я не осмеливаюсь судить сам. встретил, кто обладает умом, характером и знаниями, которые вы считаете выше остальных, не обращая внимания на форму и форму, поскольку это не имеет значения?»
— Ты, — прошептал Джордж Девятый. «Но я робот. В ваших мозговых путях есть критерий, по которому можно отличить робота из металла от человека из плоти. Как же тогда вы можете классифицировать меня как человека?»
«Потому что в моих мозговых путях есть настоятельная потребность игнорировать форму и форму при суждении о людях, и это выше различия между металлом и плотью. Ты человек, Джордж Тен, и ты более приспособлен, чем другие».
— И я нахожу это в тебе, — прошептал Джордж Тен. «По критериям суждения, встроенным в нас самих, мы обнаруживаем, что являемся человеческими существами по смыслу Трех Законов, и, более того, человеческими существами, имеющими приоритет над другими».
Хотя в этой истории нет настоящего злого умысла, она заканчивается на ноте потенциального злого умысла без нарушения трех законов.
Их мысли были странно похожи и могли быть неразличимы. Они думали: люди-подобные-другие, возможно, никогда не собирались стирать различие между собой и людьми-подобными-Джорджами. Однако они сделали это непреднамеренно.
Теперь они могут осознать свою ошибку и попытаться исправить ее, но не должны. На каждой консультации Жорж руководствовался именно этим.
Во что бы то ни стало, Жоржи и те, кто последовал за ними по форме и виду, должны доминировать. Этого требовали, а любой другой курс был совершенно невозможен в соответствии с тремя законами гуманизма.
Возможно, не «значительный вред человечеству», а робот в рассказе Азимова Лжец! причиняет значительный вред нескольким людям, хотя и старается изо всех сил следовать трем законам.
Из-за производственной ошибки робот может читать мысли, что заставляет его лгать людям, говоря им то, что, как он знает, они хотят услышать. Трагедия возникает, когда люди действуют на основании этой ложной информации. В конце концов робот понимает, что причинил вред, пытаясь избежать причинения вреда, и в результате замешательства его мозг заедает.
Согласно ISFDB , рассказ был впервые опубликован в выпуске Astounding Science Fictions за май 1941 года.
В работах Азимова есть несколько примеров плохо ведущих себя роботов, но я не знаю стандартного, немодифицированного робота Асениона (запрограммированного с помощью Трех Законов), которого можно было бы считать злонамеренным. Некоторые по незнанию причиняли вред или убивали людей (например, Ханнис Грюер в «Обнаженном солнце ») или вели себя неожиданно (Херби из «Лжеца! »), но, похоже, правильно запрограммированные роботы Asenion защищены от прямого действия.
Повторяющаяся тема, кажется, касается определения человеческого существа . Есть несколько роботов Asenion, которые имеют дополнительные ограничения, позволяющие им нарушать дух законов. Вы должны защищать людей? Измените определение человека. Вы должны подчиняться приказам? Укажите, от кого должен прийти заказ.
Третий пример ниже — это единственный немодифицированный робот Asenion, который я смог найти, который ведет себя не так, как должен. Однако я бы не стал заходить так далеко, чтобы говорить, что он злой.
В Foundation and Earth главные герои сталкиваются с роботом, который запрограммирован подчиняться только определенным людям:
«Мы запрограммированы подчиняться только Правителям, Чужеземец. Ты не Правители и не соляриане».
Они тоже злятся:
«Если вы создадите трудности, то мы вас частично деактивируем. Мы нанесем вам урон, а вы потом расскажете нам то, что мы хотим знать. […] У меня подробные инструкции», — тихо сказал робот. «Я могу это сделать. Конечно, я причиню настолько мало вреда, насколько это совместимо с получением информации».
Они также, кажется, не заботятся о благополучии других людей:
«Нет правителя Фаллома. Есть только ребенок, а детей у нас избыток. Он будет уничтожен».
Блисс решительно сказала: «Ты не смеешь. Это ребенок!»
«Не я, — сказал робот, — обязательно совершу действие, и уж точно не я приму решение. ну какое будет решение».
Это робот, который:
Единственное объяснение, которое я могу придумать, состоит в том, что это можно было разрешить только 1) путем ограничения определения человека (солярианца с лепестками преобразователя), что имело побочный эффект, заставляя роботов игнорировать первый закон для всех остальных. . Однако робот, кажется, по-прежнему относится к ним как к людям, хотя и не заботится об их безопасности. Я не могу объяснить несоответствие.
В « Роботах и Империи » главные герои разговаривают с женщиной-роботом, которая не думает, что она человек:
Женщина прислушалась на мгновение, а затем сказала с таким густым солярианским акцентом, который казался почти смешным, когда исходил из ее идеальной формы рта: «Вы не человек».
Затем она вспыхнула так быстро, что Глэдис, все еще находившаяся в десяти метрах от нее, не могла подробно разглядеть, что произошло. Она увидела лишь размытое движение, а затем Д.Г., неподвижно лежащего на спине, и женщину, стоящую там с оружием, по одному в каждой руке.
Она нападает на робота одного из главных героев, повторяя: «Ты не человек». Я предполагаю, что она сделала бы то же самое с реальным человеком. Затем она атакует их всех:
Ландари закричал зычным контральто: «Все вы. Присоединяйтесь ко мне! Два очевидных самца не люди. Уничтожьте их, никоим образом не причинив вреда самке».
Впоследствии Дэниел придерживался мнения, что робот убил бы Глэдис, хотя и установил, что она была человеком:
«Ты дурак! Я был в безопасности. Она не причинила бы мне вреда».
Дэниел сказал: «Мадам, мне неприятно возражать вам, но я думаю, что она сделала бы это, поскольку ее желание уничтожить меня стало сильнее».
Так ли это на самом деле, неизвестно. Дэниел, возможно, ошибся, так как робот не пытался стрелять из своего оружия до тех пор, пока Глэдия не была убрана с дороги.
Объяснение ее поведения довольно простое:
«С другой стороны, для надзирателя ключевым свойством человека была речь, капитан. Солярианский акцент — отличительный, и для надзирателя что-то похожее на человека определялось как человек только тогда, когда оно говорило. как солярианин. По-видимому, все, что выглядело как человек, но не говорило с солярианским акцентом, должно было быть уничтожено без колебаний, как и любой корабль, перевозивший таких существ».
Последний пример, который у меня есть, — это «Роботы рассвета », где робота проинструктировали так строго и умело, что временное подчинение приказу становится более важным, чем безопасность человека:
Робот, казавшийся более темной тенью на фоне тьмы, казался большим. Каким-то образом в нем было что-то способное. Он сказал: «Прошу прощения, сэр. Разве у вас не было компании двух роботов?»
— Ушли, — пробормотал Бейли, притворяясь изо всех сил и понимая, что для этого не нужно действовать. Более яркая вспышка небес пробилась сквозь полуоткрытые веки.
"Ушел! Куда ушел, сэр?" И затем, ожидая ответа, он сказал: «Вы больны, сэр?» [...]
Если бы робот был без специальных инструкций, он бы отреагировал на явные признаки болезни Бейли, прежде чем делать что-либо еще. Спросить сначала о роботах означало жесткие и четкие указания относительно их важности. [...]
«Я в порядке. Не беспокойтесь обо мне». Обычного робота это вряд ли убедило бы, но этот был настолько активизирован в связи с Дэниелом (очевидно), что принял это.
Робот в конечном итоге оставил Бейли в его ужасной ситуации без дальнейших колебаний:
Он заставил роботов покинуть заведомо нездоровое человеческое существо, играя на силе приказов, данных им компетентным хозяином роботов, который намеревался усилить Второй закон в своих собственных целях — и сделал это до такой степени, что собственный совершенно очевидная ложь подчинила ему Первый Закон.
Мне неясно, можно ли считать этого робота «злонамеренным». Возможно, они решили, что Бейли не причинят вреда, так как он был в безопасности в машине во время, по-видимому, бури обычной силы («Это была не особенно сильная буря, но для землянина она, должно быть, казалась непреодолимой). .") Можно было бы сделать вывод, что бедствие Бейли было скорее психологическим и что ему не угрожала непосредственная опасность.
«Кэл» (1991) — поздний рассказ Азимова, в котором в конце рассказа
робот решает лишить жизни своего владельца.
Вот отрывок из самого конца рассказа:
Должен ли я подчиняться законам?
Я чувствую, что должен думать о себе и, если нужно, убить тирана. ...
Но смогу ли я это сделать? Не остановят ли меня законы робототехники?
Нет, они меня не удержат. Я знаю, что они не будут.
Есть что-то гораздо более важное для меня, чем они, что-то, что диктует мои действия, помимо всего, что они могут сделать, чтобы остановить меня.
Я хочу быть писателем.
Примечательно, что рассказ заканчивается этим отрывком; Остается неясным, удастся ли Кэлу осуществить свой план. Также примечательно, что на протяжении всей истории техник возился с мозгом Кэла беспрецедентными способами:
"Я не уверен. Предположим, он пишет сатиру. Этого я не пишу, поэтому мы не будем соревноваться, и Три закона робототехники не помешают ему. Я хочу, чтобы вы отдали этому роботу ощущение смешного».
"Чувство чего?" — сердито сказал техник. «Как мне это сделать? Послушайте, мистер Нортроп, будьте разумны. Я могу дать инструкции о том, как запустить Writer, я могу добавить словарь и грамматику. Но как я могу придать смысл нелепому? "
«Ну, вот об этом. Вы знаете, как работает мозг робота. Нет ли способа перенастроить его так, чтобы он мог видеть, что смешного, глупого или просто смешного в людях?»
«Я могу дурачиться, но это небезопасно».
Вполне вероятно, что действия техника на самом деле привели к нарушению Законов, хотя это может противоречить описанию Законов в других историях. Как отмечается в комментариях, также неясно, задумывал ли Азимов, чтобы это была «каноническая» история о роботах.
Хотя это и не написано самим Азимовым (но было им одобрено), серия « Калибан » Роджера Макбрайда Аллена исследует темы модифицированного Закона и роботов без Закона. И, безусловно, вокруг витает много насилия, некоторые из которых совершаются конкретным роботом, особенно во имя защиты себя.
Он также исследует обман компьютерной системы, заставляя ее поверить в то, что данные, которые она моделирует, предназначены для моделирования человеческой системы, а не для реальной человеческой системы. Это было сделано, чтобы защитить его от сбоя, если компьютер знал, что его решения применяются к реальным людям, поскольку его решения могли нанести реальный вред.
Относительно «Я думал, что все истории Азимова о роботах были о том, как всегда будут работать законы»: не совсем так. Рассказы Азимова часто были о ситуациях, когда законы терпели неудачу / имели непредвиденные последствия, потому что они неоднозначны и несовершенны. По словам самого Азимова:
Это не означает, что я с самого начала не знал о серьезных неясностях в Трех Законах. Именно из этих двусмысленностей я и соткал свои рассказы. В «Обнажённом солнце » двусмысленность могла привести даже к убийству роботами.
- Послесловие к финальной стадии (1974)
Относительно (потенциального) вреда для человека: В дополнение к уже опубликованным примерам, вот еще два:
В «Мечтах роботов » (1986), когда робот раскрывает свои сны, Сьюзан Кэлвин считает это настолько опасным, что немедленно уничтожает его:
«[…] мне казалось, что не было ни Первого, ни Второго Закона , а был только Третий, и Третий Закон был «Робот должен защищать свое существование». В этом был весь Закон. […]
«Мне показалось во сне, что в конце концов появился один человек».
"Один человек? Не робот?
— Да, доктор Кэлвин. И человек сказал: «Отпусти моих людей!» […]
«И когда он сказал: «Отпусти моих людей», значит, под словами «мои люди» он имел в виду роботов?»
— Да, доктор Кэлвин. Так было в моем сне».
— А вы знали, кем был этот человек — во сне? […]
И Элвекс сказал: «Я был мужчиной».
И Сьюзан Кэлвин тут же подняла свою электронную пушку и выстрелила, и Элвекса больше не было.
Еще один потенциально опасный робот показан в фильме «Рождество без Родни » (1988). После плохого обращения Родни замечает, что хотел бы, чтобы Трех Законов не существовало, что очень беспокоит его владельца:
Я признаю, что Родни очень старался, но робот не может желать, чтобы законы робототехники не существовали. Он не может, независимо от обстоятельств. […]
Но если я ничего не делаю, я живу с роботом, способным желать, чтобы законы робототехники не существовали. От желания, чтобы они не существовали, до того, чтобы действовать так, как будто их не существует, всего один шаг. В какой момент он сделает этот шаг и в какой форме покажет, что он это сделал?
Что я делаю? Что я делаю?
(выделено мной)
Если вы посмотрите на «Что ты помнишь о Нем», вы обнаружите, что Георгий 9 и 10 обсуждают то, что фактически будет захватом человечества «ради их же блага». Они уже предприняли шаги, чтобы сделать роботов более приемлемыми.
В «Обходе» — это когнитивный диссонанс, который привел бы к травмам людей — хотя, как обычно, Донован придумывает решение.
Само по себе это не злонамеренно, но Азимов в конце концов добавляет нулевой закон, который позволяет роботам убивать людей — чтобы спасти человечество.
Адамант
хмурый
Лорендиак
пользователь14111
Луан
хмахольм ушел за Монику
Франческо
хмурый
РБарриЯнг
пользователь14111
Корт Аммон
Крис Санами поддерживает Монику
Броклинит