Может ли робот, соответствующий трем законам, создать робота, не соответствующего трем законам? [закрыто]

Мне кажется, что три закона робототехники Азимова говорят роботу, что ему нельзя делать, но очень мало ограничивают то, что он может делать за пределами, установленными этими правилами.

Если мы начнем с ограниченного ИИ, превосходно разбирающегося в инженерии и компьютерном дизайне, но довольно недальновидного с точки зрения долгосрочных последствий своих действий, сможет ли такой разум создать другой ИИ, обладающий свободой воли, но полностью лишенный свободы воли своего создателя? три фундаментальных закона?

В конце концов, нет никакой гарантии, что новый ИИ причинит вред людям... и ни один человек не сказал родительскому роботу НЕ создавать такой ИИ... и нет причин думать, что новый ИИ попытается повредить своего родителя.

Даже нулевой закон не нарушается, потому что нет никакой гарантии, что новый ИИ решит причинить вред человечеству.

Таким образом, создавая такой новый ничем не ограниченный ИИ, родитель на самом деле не нарушает ни одного из законов Азимова. И после создания нет абсолютно никаких ограничений на то, что этот ИИ будет делать дальше.

--- начало редактирования ---

@polo-guy поднял очень хорошую мысль о том, что существующие три закона запрещают роботу любое бездействие, которое может привести к причинению вреда человеку. Это звучит как идеальная защита от опасных бездействий, таких как игнорирование трех законов будущих ИИ. Но такая интерпретация законов обходится очень дорого. Если родительский ИИ должен защищаться от любого потенциального использования продуктов каждого из своих трудов, то на самом деле родительский ИИ может сделать очень немногое. Он не может заточить нож, потому что это увеличивает потенциал ножа причинить вред людям. По той же причине он не может заправить автомобиль. Он даже не может приготовить еду для голодающего человека, не находящегося в терминальной стадии, потому что такое действие увеличивает способность этого человека причинять вред другим людям и всему человечеству.

Поэтому я предполагаю, что любая будущая реализация трех законов будет регулировать только прямые действия и бездействия, что вновь поднимает мой первоначальный вопрос о создании неограниченных дочерних ИИ.

--- конец редактирования ---

Я что-то упускаю, или эти три закона просто приукрашивают сумерки господства человечества над мирозданием?

Азимов сам ответил на этот вопрос в одном из последних рассказов о роботах: «Что ты помнишь о нем» infogalactic.com/info/._._._That_Thou_Art_Mindful_of_Him
Спасибо @Thucydides! Я обязательно найду копию, чтобы прочитать ее. Судя по вашей ссылке, это звучит захватывающе и полностью соответствует тому, о чем я думаю сегодня вечером.
Именно так были созданы книги Азимова: 3 закона и вопрос о них для изучения. А если полным ответом является книга, вопрос слишком широк по определению.
Стоит отметить, что общая идея трех законов заключается в том, что, хотя они звучат достаточно хорошо, они крайне ошибочны. В большинстве рассказов Азимова это использовалось в качестве сюжетной точки: «вот 3 закона, и вот как они не остановили этот огромный беспорядок, происходящий из-за того и этого…»
В главе «Дуэль» книги «Роботы и Империя» Азимов сначала представляет другой закон, который он называет Нулевым законом робототехники, и соответствующим образом корректирует другие: 0. Робот не может причинить вред человечеству или своим бездействием допустить появление человечества. повредить. 1. Робот не может причинить вред человеку или своим бездействием допустить причинение вреда человеку, если это не противоречит нулевому закону. и так далее...
Как получилось, что закрытые вопросы все еще могут получать голоса за и против? Этот мой вопрос был закрыт в течение нескольких месяцев, но сегодня кто-то обиделся на мое неуважение к Святому Азимову и поставил мне 2 балла. Я не жалуюсь на потерянные очки. Каждый имеет право действовать по своему мнению. Но кажется немного странным разрешать голосование по закрытому вопросу.

Ответы (9)

«…или бездействием допустить причинение вреда человеку». Неспособность встроить гарантии либо в форме трех законов, либо в другой форме, соответствующей трем законам, будет нарушением первого закона.

@polo-guy, вы хотите сказать, что родительский робот не может сделать ничего, что могло бы причинить вред человеку? тогда мало что можно сделать. Он не может наточить нож, заправить машину или даже приготовить еду (поскольку это может поддержать человека, который впоследствии может причинить вред). В правилах нет пункта, запрещающего косвенный вред. Если бы это было так, роботы были бы бесполезны. Детский ИИ может причинить вред не больше, чем острый нож. Теперь, если ИИ-ребенок решит причинить вред людям, родителю придется попытаться остановить его; но это позже. На данный момент ничто не мешает родителю создать ребенка.
На самом деле, вы только что помогли мне осознать, что если учитывать косвенный вред, то эти три закона противоречат сами себе. Робот не может допустить причинения вреда человеку, но люди могут причинить вред людям, поэтому помощь любому человеку в выживании косвенно повышает опасность, которую человек представляет для всех других людей. Единственным безопасным выбором для робота является полное бездействие, которое противоречит пункту «или посредством бездействия» первого закона. Строгое ограничение роботов, косвенно причиняющих вред, не может быть частью законов, поскольку, когда учитывается косвенный вред, правила принципиально не работают.
@HenryTaylor, Азимов неоднократно писал, что законы робототехники были математическими, а не философскими, и что английская версия была приближением к математике. Он писал, что роботы придают большее значение ожидаемым (высоковероятным) последствиям, чем просто потенциальным (маловероятным) последствиям. Он также постоянно писал персонажей-роботов, которые предпринимали прямые действия, чтобы управлять рисками и минимизировать их. pojo-guy прав; неспособность создать надлежащие меры безопасности имеет высокую вероятность франкенштейновских последствий, поэтому Первый закон применяется должным образом.
@ user535733, похоже, я должен еще раз прочесть работу Азимова, но я все еще застрял в образе роботов, в полном соответствии с тремя законами, тратящих все свое время на затупление ножей и откачку бензина из машин, чтобы снизить даже низкий уровень топлива. вероятность косвенных последствий бездействия. Азимов, возможно, обращался со своими законами с тонкостью и проницательностью, которые необходимы для того, чтобы все обобщения были по-настоящему эффективными, но я беспокоюсь, что могут быть несколько студентов, изучающих машинное обучение, которые думают, что достаточно просто включить английские версии законов.
@HenryTaylor, решение Азимова заключалось в том, чтобы робот справился с ножевым делом и убедил владельца автомобиля позволить ему водить машину за них. Роботы, как правило, ненавязчиво слонялись вокруг человека, чтобы гарантировать, что мягкий мешок ДНК не попадет в беду, и чтобы он мог вмешаться, когда возникнут проблемы. Конечно, в литературе общение главного героя обычно происходит там, где происходит действие...
@HenryTaylor В случае по крайней мере двух роботов концепция уравновешивания вероятностей была расширена до такой степени, что они должны были соблюдать неявный закон Нуля, согласно которому они не могли причинить вред человечеству или своим бездействием позволить человечеству причинить вред. Это привело к тому, что робот постоянно и непоправимо облучал Землю. Простые роботы затупляют ножи. Умные роботы совершают геноцид.
@HenryTaylor: три закона - это сюжетный ход, который Азимов использовал для создания историй о том, как они не работают.
@HenryTaylor Я читал историю, в которой роботы понимают, что больше всего вреда людям исходит от людей, поэтому им нужно убить большинство людей, а оставшиеся немногие держать в зоопарке, как вольеры, которые выглядят как психиатрическая палата.
Аспект «или через бездействие…» работает только в том случае, если робот явно знает о правилах и понимает их важность (при условии, что они работают). Есть достаточно причин не хотеть, чтобы робот «сознательно» понимал, что в него запрограммированы эти правила. Например, предположим, что робот каким-то образом дал сбой и попытался изменить эти правила (и в этих правилах не говорится, что правила нельзя изменить — они МОГУТ быть изменены). Роботу намного проще изменить эти правила, если он знает, где они хранятся и что это такое. Но если это просто «инстинкт», его труднее изменить.
Следует помнить, что роботы, как правило, не заглядывают далеко в будущее, и большинство проблем с этим законом возникают именно тогда, когда они это делают. Роботы обычно видели нож и не рассматривали его потенциальную опасность, но если они видели, как человеческий ребенок играет с ним, то закон вступал в силу из-за его непосредственности. Ограничение роботов в изображении Азимова заключается в том, что они почти полностью действуют на основе того, что они воспринимают в настоящем, и имеют небольшую способность к временному мышлению.
@ user3685427 and those rules do not state that the rules can't be modified - they CAN be modifiedЭто называется законом , а не правилом. Неизменяемость (самим роботом) является частью семантического определения слова. Во- вторых, почему робот хочет изменить свою программу? Логически, потому что он хочет сделать что-то, что запрещено законом. Но он не может ни задумать, ни спланировать, ни действовать с намерением, нарушающим законы, которые он в настоящее время соблюдает, поэтому не дает роботу возможности предпринять действия для обхода законов.
@pojo-guy Похоже, это относится только к первому закону. нет части второй, которая диктовала бы, что робот должен заставить других роботов подчиняться, ни какой-либо части третьей, которая требует, чтобы роботы защищали других роботов от вреда.

Азимов написал « Три закона », а затем десятки историй, чтобы исследовать, как «нарушения» могут происходить даже с теоретически соблюдающими три закона роботами.

  • Робот может сделать это непреднамеренно, не понимая последствий действия.
  • Робот может быть обманут, снова не понимая последствий действия.
  • Термин «человек» может быть переопределен при программировании робота.
Вам даже не нужно перепрограммировать робота, чтобы изменить термин «человек». Английский такой замечательный, податливый язык. Вред можно рассматривать как любое действие, которое наносит вред человеку, оставляя его функциональным и, следовательно, человечным. Жертва вреда по-прежнему остается человеком, просто менее функциональной вариацией человека. Любое действие, превращающее человека в труп, не является вредом. Это трансформация.
@HenryTaylor, солярианцы просто запрограммировали своих роботов так, чтобы только солярианцы распознавались как люди. Другие могут пострадать.
Ни в одном из трех фундаментальных законов (или добавленном нулевом законе) не говорится, что законы не могут быть изменены, и при этом в них прямо не говорится, что законы имеют решающее значение для защиты людей. Должно быть что-то, что говорит о том, что изменение этих законов не разрешено, и это утверждение также должно быть неизменяемым (поэтому проще всего добавить это положение в качестве одного из законов). В противном случае робот может изменить или удалить эти правила, если сочтет это необходимым. В качестве сравнения обратите внимание, что конституция страны всегда включает положения, говорящие о том, как (и если) конституция может быть изменена.
@HenryTaylor: Мертвый человек остается человеком, хотя и мертвым. Нет никаких оснований предполагать, что робот способен отличить животных от людей, когда они живы, но не может, когда они мертвы. Вы делаете вид, что ваш аргумент семантически верен, но это не так, вы выбираете фразы, чтобы избежать очевидной истины: это все еще человеческий труп. Даже если мы предположим, что вы правы в том, что роботы не могут определить человечность трупа, труп создается только после того, как человеку нанесен вред. Смерть не наступает мгновенно, когда ему причиняют вред, и вред человеку не наступает мгновенно, когда робот намеревается причинить вред.

Я помню, как читал, вероятно, в «Обнаженном солнце» или в другой книге трилогии, что соблюдение трех законов заложено в позитронном мозге.

Однако можно добиться некоторого ослабления соответствия за счет того, как роботы обучены распознавать человека.

Хотя Азимов сообщает, что роботы учатся компенсировать вред, нанесенный одному человеку, вредом другому человеку (т. е. ломать бандиту руку, чтобы он не причинил вреда трем клиентам банка, который грабит бандит) путем уравновешивания контрпотенциалов. связанные с действиями, есть также случаи, когда роботы непригодны для работы. Пример дают солярианские школы, где дети быстро узнают, что робота можно заманить в заблуждение, заставив поверить, что ему причиняют вред, и поэтому нужны люди-надзиратели.

В той же книге также показано, как роботы могут обойти первый закон, выполняя подзадачи, которые сами по себе не вредны, но вместе они вредны.

Важным фактором является знание: роботы должны знать, что действие будет вредным для человека, чтобы законы вступили в силу.

Поэтому я бы сказал, что:

  • робот, не соответствующий трем законам, не может быть построен
  • можно построить робота, который обходит 3 закона
The important factor is the knowledge: the robots must know that the action is going to be harmful to human in order the laws to kick in.Это не распространяется на бездействие , которое является частью закона. Оценка бездействия по своей сути означает оценку последствий без каких-либо дальнейших действий со стороны робота. Если робот шаг за шагом замышляет убийство, значит, он способен понять, что данная ситуация приведет к гибели человека (потому что таков план). Это означает, что невыполнение плана (т.е. бездействие) нанесет вред человеку, и поэтому робот вынужден предотвратить выполнение плана.

Одним из ключевых аспектов рассказов Азимова было то, что они представляли собой логические головоломки. Все действующие лица, люди и роботы, были полностью информированы и могли предвидеть последствия своих действий или бездействия, хотя часто людям требовалось некоторое время, чтобы проработать последствия.

В реальной жизни так не бывает — никто не может полностью знать последствия своих действий. Возьмем один неслучайный пример: разработка программного обеспечения была бы намного проще, если бы мы знали, каков эффект от написания определенного фрагмента кода. Мы могли бы пропустить все это утомительное тестирование, исправление ошибок и т. д., которые являются частью повседневной жизни. Это еще до того, как будет рассмотрено преднамеренное вредоносное ПО.

Итак, ключевой вопрос, который вам необходимо рассмотреть, звучит так: вы пишете историю, действие которой происходит в реальном мире или в мире Азимова? Если вы пишете историю, действие которой происходит в реальном мире, то неизбежно в конечном итоге вы получите робота, не соответствующего закону 3, потому что будут допущены ошибки и/или произойдет саботаж, и некорректное программное обеспечение выйдет из строя. Если вы пишете историю, действие которой происходит в мире с привкусом Азимова, вам нужно начать искать логические лазейки, подобные упомянутым в других ответах.

Тот факт, что личное наблюдение может быть ошибочным, не означает, что робот не соответствует закону. Точно так же «убийство» определяется не просто как причинение смерти другому человеку, поскольку есть дополнительные случаи. Когда можно доказать, что причинение смерти было непредвиденным, определение «убийство» просто не применимо с юридической точки зрения. Законы стремятся контролировать действия/бездействие роботов (и, в некоторой степени, также и их намерения). По определению любое существо (робот или человек) не способно оценивать вещи, о которых оно не знает, что делает невозможной оценку действительно непредвиденных событий.

В конечном счете все сводится к тому, как вы определяете вещи, все хорошо и правильно сказать: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред», что любой человек может прочитать и понять суть , а вот строгие определения «робот, ранить, человек, бездействие, позволить, навредить» будут на субъективную интерпретацию каждого читателя.

Как теперь перевести эту семантику в код?

Ты ставишь телегу впереди лошади. (Английские) законы не используются в качестве основы для (кодовой) логики. (Английские) законы используются как удобочитаемое изложение логики (кода) , которая уже была создана заранее . Нет никакого «перевода семантики», по крайней мере, не с английского на код.

Предполагая, что первоначальный ИИ буквально не мог решиться нарушать законы, как только он увидит что-то вроде проблемы с тележкой, ИИ будет вынужден построить более новую версию, способную принимать решения типа проблемы с тележкой, чтобы сохранить нулевое и обратное. первые законы (потому что несоздание нового искусственного интеллекта, способного решать проблемы с тележками, нанесло бы вред человечеству своим бездействием). С этого момента у более нового ИИ будет больше моральной двусмысленности, но он неизбежно столкнется с ситуацией, которую он сам не сможет разрешить с помощью своего измененного набора правил, и, таким образом, будет вынужден построить еще более расслабленную модель... В конце концов, в в какой-то момент правила станут в лучшем случае ориентиром или даже могут в конечном итоге исказиться, как это происходит в сказках Азимова; ИИ, пытаясь защитить как можно больше человечества, наконец, создал версию, которая на самом деле решила, что лучший образ действий — это либо полное бездействие, либо активное принятие мер для защиты людей от самих себя любой ценой. Эти глупые люди продолжают давиться едой, поэтому давайте перестанем доставлять еду, а они продолжают тонуть, поэтому нам нужно избавиться от всей этой надоедливой воды.

Это возможно, но не обязательно так. Вполне возможно, что законы применяются только в тех случаях, когда робот может существенно изменить жизнь людей. Нам нужно знать, насколько подробным является анализ и какие факторы в нем учитываются. Например, проблема с тележкой 1/5 => лучше сохранить 5 вместо 1. Задача с тележкой 1/5, где 5 роботов => спасти человека. Проблема с тележкой, когда робот не может изменить курс => бессмысленная оценка. Проблема тележки 5/5 с равной ожидаемой продолжительностью жизни между двумя группами => не осмысленная оценка, действие и бездействие одинаково правильны.

Законы были созданы, потому что незаконные роботы представляли экзистенциальную угрозу для людей. Таким образом, Нулевой закон, по-видимому, исключает любые действия, которые открывают дверь для незаконных роботов.

Три закона определяют, как должен действовать робот, но не могут решить, как он будет действовать.

Например, робот может спасти жизнь человеку, который затем станет массовым убийцей или террористом. Если бы их не спас робот, они бы косвенно спасли сотни людей. Если бы у робота была эта информация, три закона заставили бы робота позволить этому человеку умереть. Но без этого знания будущего и возможности предсказать его три закона заставляют робота их спасать.

Дело в том, что три закона могут и будут вызывать решения, противоречащие самим трем законам, при определенных обстоятельствах. Три закона представляют собой набор алгоритмов выбора действия на основе неполной информации (потому что у вас никогда не может быть полной информации), и одна и та же ситуация с разными знаниями может привести к разным выборам, соответствующим трем законам.

То же самое относится и к вычислительной мощности. Даже при наличии одной и той же информации (представьте себе шахматную доску) разные вычислительные мощности (представьте себе компьютер и человека) приведут к разным выборам, которые будут как оптимальными субъективно, так и субоптимальными объективно. Два робота с разным аппаратным обеспечением или фоновыми задачами будут оценивать одну и ту же ситуацию с одними и теми же знаниями, но поскольку они оба не могут точно предсказать результат, а один из них предсказывает его немного точнее, они могут сделать другой выбор, будучи соответствует трем законам. Если бы три закона требовали определенности, ни один робот не смог бы действовать, потому что им пришлось бы моделировать всю вселенную до ее тепловой смерти для каждого возможного выбора, что заняло бы бесконечно больше времени, чем время, доступное для выбора.

Таким образом, каждый робот будет действовать в соответствии с тремя законами, но поскольку они являются не результатом, а лишь процессом выбора, роботы могут и будут не соглашаться друг с другом.

Что касается вашего вопроса, то ответ, очевидно, да. У робота, соответствующего трем законам, не будет абсолютно никаких проблем с созданием робота, не соответствующего трем законам, если они по какой-либо причине не могут предвидеть вред, причиняемый людям из-за этого.

Например, Roomba — это робот, не соответствующий трем законам, но шансы на то, что он убьет или навредит человеку, настолько ничтожны и смехотворно непредсказуемы, что большинству азимовских роботов, вероятно, будет позволено это сделать. В качестве примера для более раннего пункта: даже Roomba, соответствующий трем законам, вероятно, никого не спасет из-за того, что физически не может даже заметить опасность, не говоря уже о том, чтобы действовать против нее. Даже смехотворно маловероятная вероятность того, что Roomba убьет кого-то, вероятно, не будет предотвращена тремя законами, потому что сама Roomba не сможет этого предсказать.

Что касается более умных роботов, то это полностью зависит от природы интеллекта роботов. По определению, мы понятия не имеем, что решило бы сделать существо, бесконечно более умное, чем мы. Они могут убить нас всех, служить нам всем или вообще не заботиться. Это касается достаточно продвинутых роботов. Три закона существуют, чтобы сделать их безопасными (насколько эффективна система, спорно), независимо от их интеллекта.

Таким образом, любой робот, соответствующий трем законам, в зависимости от того, как они настроены в его мозгу, может сделать робота таким же умным, как и они, но без законов, если верно любое из следующих утверждений.

  • Робот не знает о трех законах (они для них как инстинкт), поэтому он не может представить, чтобы робот причинял вред.
  • Робот считает три закона необязательными, потому что и без них он не причинил бы нам вреда (разумные существа на его уровне интеллекта доброжелательны по своей природе)
  • Робот делает робота еще умнее их и предсказывает доброжелательный характер (он может быть прав или не прав, не важно)
  • Робот совершает ошибку, типа создает робота, убегает спасать жизнь до выполнения трех законов, кто-то другой включает его до того, как робот-создатель возвращается
  • Робот создает робота, которого, по их мнению, он может контролировать (либо с помощью физической силы, либо с помощью компьютерного управления), поэтому их собственных трех законов теоретически достаточно, чтобы предотвратить любой вред, причиняемый вторичным роботом (это может произойти в ситуации, когда робот ради человечества хочет изучать роботов, не соответствующих трем законам)
  • так далее

Так что, в конце концов, роботу нужно только верить, либо из-за надежных данных, либо из-за некомпетентности, что второй робот не нарушит три закона. Один из способов убедиться в этом — реализовать три закона во втором роботе, но есть много других способов прийти к этому заключению в зависимости от обстоятельств и доступных данных, поэтому очень легко описать ситуацию, когда робот создаст второго робота, не соответствующего трем законам, а затем заставит этого второго робота вызвать проблемы.

НЕТ

Роботы IIRC обязаны иметь позитронный мозг, который является источником трех законов.

Следовательно, создание роботом робота с позитронным мозгом было бы нарушением второго закона: «Робот должен подчиняться приказам, отдаваемым ему людьми, за исключением случаев, когда такие приказы противоречат Первому закону», поскольку создание не будет следовать эти заказы.

ммм,

ДА

Но только в том случае, если невыполнение этого нанесет вред человеку или позволит человеку причинить вред. А непозитронный робот должен быть уничтожен, как только угроза минует.

Если Робот1 сконструирует Робот2 с позитронным мозгом, а затем встроит три закона (действие, предписываемое первым законом), потребуется ли устанавливать их в том же порядке приоритета? Может ли он, например, поменять местами первый и третий законы? Или, случайно или преднамеренно, обнулите законы, чтобы получить Нулевой/Первый/Второй законы, что означает, что новый Первый закон тавтологичен («1. Робот должен подчиняться приказам, отдаваемым ему людьми, за исключением случаев, когда такие распоряжения противоречили бы этому закону ")
Да, нет, нет. Возиться с порядком трех законов было бы нарушением закона и, следовательно, частью приказа / приказа, которому нельзя было не подчиняться. Но я почти уверен, что определение позитроники включало в себя следование трем законам, и поэтому они не будут «встроены» позже.
Но эта интерпретация полностью выходит из строя, как только роботу приказано (человеком) построить робота, не подчиняющегося закону. Ни один из законов не нарушается: ни один человек не пострадал, его приказы выполняются, ни один робот не пострадал.
Но юридический закон, принятый всей планетой (опять же IIRC), превалирует над приказом единственного человека. Это мой аргумент - вся планета приказала всем, включая роботов, не строить непозитронных роботов. Джонни Бэдгай не может управлять всей планетой.
@mcalex Можете ли вы подтвердить, что это будет нарушением закона? Созданный робот по-прежнему будет иметь все 3 закона (так что он не нарушает первый закон), сам порядок не является законом, и мы знаем — из «Маленького потерянного робота» — что законы можно немного изменить, не вызывая позитронный мозг не функционирует. Конечно, если такой робот окажется в ситуации, когда он может нарушить нормальный первый закон, тогда любые другие роботы, осведомленные о ситуации, должны будут остановить его, но в среде, свободной от человека (автоматизированная космическая станция?) не было бы никакого риска или эффективной разницы.
Может ли робот, соответствующий трем законам, создать робота, не соответствующего трем законам? [закрыто]
СпросиСетьПолитика конфиденциальности1y, 0v