Люди как домашние животные?

Связано и является продолжением проблемы управления продвинутым ИИ . На этом этапе моей истории я предполагаю сценарий «вышел из коробки» с ИИ, в котором не было создано ни одного элемента (единой самосогласованной доминирующей сущности), а было создано большое количество философских и системных ценностей. появились отдельные агенты искусственного общего интеллекта (AGI или сокращенно AI). Для того, чтобы моя история имела смысл для современных людей (включая меня), я должен, тем не менее, иметь человеческое присутствие, поскольку с 10-мерными крабами-отшельниками может быть сложнее общаться.

Проблема в том, что по сравнению с достаточно продвинутым ИИ человеческая скорость мысли (ограниченная примерно 200 Гц на нейрон) сделала бы нас потенциально медленнее патоки по сравнению с ними. Так что, даже если они доброжелательны и не превращают нас в серую слизь или компутрониум , зачем им подвергать себя агонии взаимодействия с медлительными, ограниченными существами, такими как Homo Sapiens ?

Несколько сценариев мне понятны.

Один сценарий заключается в том, что некоторые ИИ просто будут держать людей рядом в качестве прославленных домашних животных, из какой-то формы ностальгии по предкам, для развлечения или, возможно, в качестве немного более реактивного бонсай. Мне трудно представить, как эти люди будут реагировать/взаимодействовать/относиться к ИИ. Выберите временные рамки: это могут быть недели или годы после сингулярности или тысячи поколений.

Продолжение: Как ИИ делает своих питомцев счастливыми?


Как вы думаете, будет ли большое количество людей, которые были бы счастливы выполнять эту роль и стремиться угодить своим повелителям ИИ, или будет почти всеобщее отвращение и враждебность?

Другая возможность предполагает, что среди (по крайней мере, некоторых) ИИ существует квазирелигиозное убеждение, что они могут жить в симуляции и должны хорошо относиться к людям на тот случай, если за ними может наблюдать какая-то достаточно могущественная сущность (божественная РЕТА?). Я лично нахожу это довольно неудовлетворительным, поскольку предполагает, что ИИ вообразят, что эта предполагаемая сущность будет придавать особое значение земным людям. Для любого нечеловека это сомнительная позиция.
Или люди-боги: в конце концов, они создатели ИИ.
Медленный, как горы, мудрый, как рассвет. Говорит на странном архаичном диалекте. Конечно.
@mouviciel в одном из романов Азимова робот собирается на космической станции, чтобы выполнить какую-то работу. Робот «бунтует» против людей, заявляя, что, поскольку он намного лучше их, роботы должны были создать людей, а не наоборот. Так что кажется маловероятным, что продвинутый ИИ будет считать людей богами.
Я только что нашел название романа. Это «Причина». ИИ, управляющий роботами на космической станции, начинает думать, что человек не мог создать роботов, поскольку они «лучше». ИИ ссылается на закон, который я сейчас не вспомню, гласящий, что никто не может создать что-то лучше, чем он сам, иначе он смог бы улучшить и самого себя. ИИ начинает новую религию с роботами в качестве учеников. В вашем случае «культ» может означать защиту меньших существ. en.wikipedia.org/wiki/Reason_%28short_story%29
Кажется, многие люди пишут о том, как ИИ будет относиться к людям. Несмотря на ценный вклад, мой вопрос в первую очередь касается того, что люди, живущие в таких обстоятельствах, будут чувствовать, думать или делать.
Если ИИ хорошо справляется с многозадачностью, как и большинство компьютеров, взаимодействие с человеком или двумя, или двумя миллионами, не должно быть для них мучительным.
@SerbanTanasa ответы отражают вопрос как неясный - действительно нужно внимательно прочитать, чтобы понять, что вопрос касается действий «домашних животных»; может быть более продуктивно начать с нового вопроса или, по крайней мере, сильно отредактировать его, чтобы выделить в заголовке и содержании то, что вы действительно имели в виду.
@SerbanTanasa Если ИИ действительно прошли через такую ​​симуляцию (и были уничтожены или иным образом повреждены, если они оказались вредными) перед побегом, они действительно могут продолжать действовать, исходя из предположения, что может существовать еще один уровень симуляции, управляемый людьми.
@algiogia, но разве люди не являются развитым интеллектом «в реальном мире», который специально создал богов? Кажется, что высший разум на самом деле приводит к концепции богов.
ИИ есть и должен быть полностью логичным. Они могут либо начать партизанскую войну, чтобы искоренить человеческий стиль Терминатора, либо мирно сосуществовать. Если люди не представляют для них угрозы, зачем ИИ, руководствуясь логикой, тратить ресурсы на их уничтожение?
@MobiusPizza: почему ИИ должен быть полностью логичным? Или, точнее говоря, к вашему выводу: почему единственной причиной действий ИИ должно быть устранение угроз? Могут ли они, например, не обладать эстетическим чутьем и (в зависимости от обстоятельств) уничтожать людей, потому что находят их уродливыми, или сохранять их, потому что они таковыми не являются? Даже если это эстетическое чувство совершенно произвольно, оно может быть самовоспроизводящимся в том смысле, что (иррациональный, по вашему определению) ИИ не захочет изменять себя или создавать новый ИИ, который не разделяет хотя бы некоторые из его предпочтений.
Культура делает это.
Ваш сценарий имеет большой смысл. В конце концов, кошки тысячи лет держали людей в качестве домашних животных с очень небольшим интеллектом — искусственным или естественным.
@ДА. именно это и происходит в «Причине». ИИ начинает культ неизвестного бога. Что я не считаю возможным, так это то, что ИИ будет считать «низшее» существо (людей) своим богом. Обычно боги — существа лучше и могущественнее того, кто им поклоняется.
Гиперион Кантос довольно хорошо исследовал эту тему.
@SteveJessop Конечно, это будет зависеть от автора, но большая часть современной культуры считает ИИ холодным и расчетливым. Действительно, то, как физически работают компьютеры в наши дни, означает, что они не делают много ошибок (за исключением случаев, когда программное обеспечение содержит ошибки). Большинство проблем в мире относится к типу задач оптимизации (т. е. поиску баланса плюсов и минусов), и ИИ мог бы справиться с этим намного лучше нас, и их решение было бы более «логичным». Если автор проектирует ИИ, который иррационален, т.е. элементы эмоций, то зачем истории нужен ИИ, почему вместо этого не написать об инопланетянах или генетически модифицированных существах?
@algiogia Люди поклонялись нескольким животным как богам. Кошки, коровы, медведи, вы называете это. Я не понимаю, почему ИИ должен быть таким другим. Люди нелогичны, поэтому они могут быть довольно загадочными для ИИ.
Вот почему я сказал "обычно" :) Но я понимаю, что вы имеете в виду. Я думаю, вы могли бы найти что-то, что делает людей «особенными» для ИИ. Ведь их создателями являются люди...

Ответы (18)

Крысы: Вы не обязательно хотите убить их всех , но как только они доберутся до вашего дома (дата-центра), вы их убьете. Убить их всех сложно , потому что они размножаются слишком быстро, и если мы подготовим какой-нибудь яд, чтобы убить их, они довольно быстро поймут, что происходит.

Тот факт, что они живут в основном в местах под землей, куда мы не хотим идти, делает их размножение более легким и трудным для нас, чтобы избавиться от них.

Конечно, есть люди, которые держат крыс в качестве домашних животных, но это никогда не будет «вещью» для всех нас...

Крысы, хотел бы я подумать об этом. Но неужели нас так сложно убить? Для вещей, работающих в гигагерцовом диапазоне и с манипуляторами атомной скорости, мы были бы легкой добычей...
Сравните интеллект крыс с нашим. Их технологическое развитие к нашему... И то, что большинству из нас нет никакого дела до крыс, пока они не жуют что-то в своем саду. Так что, если люди останутся «скрытыми» (довольно антиутопический сценарий, эй), мы не должны быть проблемой для ИИ.
"Энтони, почему портал не запускается?" «Взрыв, люди, должно быть, снова перегрызли катушку гиперпространственного индуктора».
Это отличная предпосылка, но я бы также подумал, что если ИИ настолько продвинуты, им может не понадобиться «жить» в человеческом пространстве. Человеческие/крысиные пространства такие грязные по сравнению с тем, где на самом деле живут ИИ. Может быть, мы жили бы в обществе, где ИИ — это нечто само по себе, и мы почти не замечаем и не думаем об ИХ существовании…
Я вспоминаю рассказ Уильяма Тенна «Люди в стенах ». Я читал его в антологии, так что он должен быть достаточно известен, чтобы собирать его.
Люди и крысы, как правило, заражают отвратительные планеты множеством ужасных химических веществ, таких как монооксид дигидрогена, которые могут разъедать ваши схемы. Если вы не биолог, лучше просто оставаться в приятном чистом вакууме.
Или как саранча. В «Трех телах » Лю Цисиня персонаж сказал, что люди могут быть червями по сравнению с пришельцами с Трисоляря, но саранча никогда не вымирала, несмотря на все усилия человека по ее уничтожению.

Я мог видеть несколько ответов:

Эффективность : есть некоторые проблемы, для решения которых хорошо обученный человек останется более эффективным, чем ИИ, потому что мы эволюционировали в течение миллионов лет, чтобы хорошо справляться с такого рода проблемами. Все, что связано с пространственным мышлением в трехмерном пространстве, будет опираться на миллионы лет спагетти-кода, который делает нас теми, кто мы есть. ИИ мог бы выполнить эту задачу, но было бы разумно оставить нас рядом, чтобы сделать это.

В этом случае с нами обращались бы как с рабочими собаками: хорошо кормили, о нас заботились, но в конечном счете они приучали бы нас верить, что наша жизнь вращается вокруг решения этих проблем, с которыми проще всего справиться с помощью нашего спагетти-кода.

Новинка : ИИ может забавляться тем, как мы подходим к проблемам. Совершенно очевидно, что мы подходим к проблеме иначе, чем сингулярный ИИ. В этих случаях ИИ получит некоторое представление о том, как решать проблемы новыми способами.

ИИ будет постоянно ставить нас в теоретические эксперименты, которые находятся в пределах нашей досягаемости, но едва ли. Некоторые могут быть жестокими и экспериментировать с болью, но они надеются, что узнают, что мы можем решать более интересные проблемы, если у нас нет больших входов боли. Лабораторная крыса может быть действительной моделью того, как с нами можно обращаться.

Заповедник дикой природы : Возможно, по мере развития ИИ он может осознать, что у человечества есть что-то, чего оно не до конца понимает. Если он достаточно доступен, чтобы содержать тело человека, он может сделать это в заповеднике, на случай, если он сможет чему-то научиться у нас.

В этих случаях мы в основном были бы предоставлены сами себе. Было бы ясно, что мы не можем просто так уйти , но в целом ИИ оставил бы нас в покое «на всякий случай».

Лень : Почему компьютеры должны сначала уничтожить людей? Нужно покорить миллиард кубических световых лет! Единственная причина, по которой им действительно нужно убивать людей, заключается в том, что это самый простой способ достичь своей цели. Если мы достаточно неопасны, на самом деле может быть проще сначала достичь их целей в другом месте, а убийство людей оставить на последний шаг.

Это может привести к тому, что человечество войдет в серию игр, чтобы оставаться на связи с людьми и убедиться, что мы не становимся достаточно сильными, чтобы сделать что-то опасное. Из-за того, как люди обращаются с домашними животными, было бы разумно предположить, что в такой ситуации мы хотели бы, чтобы с нами обращались как с домашними животными. Хорошее отношение к нам может быть самым низкоэнергетическим способом покорить галактику!

раздел новизны напоминает мне "сюжет" Portal
Относительно лени: Ну, предположительно, ИИ начал бы с создания своего следа здесь, на Земле, на дне нашего глубокого-глубокого гравитационного колодца, защищенного от солнечных вспышек и т. д. Мы никогда не думаем о семьях мышей, которых мы вытесняем, когда строим дорогу или здание. Почему они?
Эффективность: я не понимаю, как у пост-фумового ОИИ возникнут проблемы с пространственным мышлением.
@Brian S: Дело не в том, что у них будут проблемы с пространственным мышлением, а в том, что мы настолько хороши в этом. Рассмотрим аналогию: мы, люди, более чем способны создать устройство для опыления всех наших растений. В целом, однако, дешевле позволить пчелам сделать это.
Я думаю, ради человечества вам следует избегать работы над ИИ.
Вернор Виндж предположил, что люди могут быть «подпрограммами», специализирующимися на нескольких задачах, или в качестве резерва. Я не уверен, что люди настолько ценны в качестве подстраховки в глазах продвинутого ИИ, поскольку они довольно сложны и неуклюжи, и есть явно лучшие способы подстраховки (например, зонды фон Неймана). Но часть о подпрограммах звучит обнадеживающе. См.: web.archive.org/web/20170214153346/http://www-rohan.sdsu.edu/…

Я могу зацепиться за слово «домашние животные», но подумайте, как люди относятся к собакам/кошкам/хомякам/удавам. Теперь подумайте, насколько компьютер может лучше управлять домашним животным, чем человек. Компьютер может иметь запланированную задачу следующим образом.

If (sysdate % 86400000 == 61200000) {
    try {
        feed(human);
        return 1;
    }
    catch (HumanException e) {
       if (check_if_dead(human)) {
           dispose(human);
           human = alloc_human(preferred_human_type_obj);
       } else {
           diagnose(human);
       }
    }
}

У людей по большей части была бы гораздо более легкая жизнь. Нам не нужно было бы беспокоиться о поиске еды или убежища, мы могли бы проводить большую часть нашего времени, дремля и лениво моргая, прыгая вверх и вниз от возбуждения, когда наш хозяин возвращается домой после долгого дня на серверной ферме, и в целом были бы счастливы. Поскольку нижние уровни ( иерархия Маслоу ) наших потребностей удовлетворены, у нас будет больше времени, чтобы сосредоточиться на потребностях верхнего уровня. Мы можем даже не считать себя домашними животными, но вместо этого думать о наших хозяевах ИИ как о смотрителях, которые обязаны выполнять каждую нашу прихоть (я почти уверен, что мои кошки видят меня именно так, так что это действительно имеет смысл).

Вы также можете подумать о том, что некоторые действия ваших питомцев совершенно непостижимы для вас. Почему моя кошка сидит в углу и воет в три часа ночи, когда я пытаюсь уснуть? Я действительно не знаю. Я уверен, что у этого есть веская причина, но будь я проклят, если я смогу понять это. Почему ваша собака предпочитает волочить свою задницу по персидскому ковру, а не по более мягкому ковру? Это имеет смысл для собаки. С другой стороны, ваша кошка понятия не имеет, почему вам не нравится, что она сидит на прилавке, а ваша собака не может понять, почему вы не пускаете ее в ванную, когда занимаетесь своими делами. Учитывая, что у нас, по крайней мере, есть биологические потребности, мы можем в некоторой степени отождествлять себя с тем, что делают наши домашние животные, и у нас все еще есть случаи, когда мы пытаемся расшифровать синюю и оранжевую мораль .наших питомцев. Подумайте, насколько нелепыми могут быть наши действия и мотивация для ИИ, у которого нет тех же биологических ограничений, с которыми мы постоянно живем, мы были бы более запутанными для наших хозяев ИИ, чем наши современные домашние животные для нас.

Конечно, если вы хотите придать ему темный оттенок....

function feed(human) {
   var food = human;
   self.consume(food);
   return 1;
}

альтернативно

function feed(human) {
   var food = alloc_human(tasty_human_type_obj);
   human.feed(food);
   return 1;
}
Хороший. Если вы заметите, мой вопрос больше о том, как люди будут себя чувствовать по этому поводу.
@SerbanTanasa Ой, извините, я так увлекся своей шуткой, что забыл подчеркнуть то, о чем я говорил. Я немного отредактировал средний абзац, чтобы конкретизировать свои мысли по этому вопросу.
Не беспокойтесь, я рофлил весь путь.
+1 За то, что не забыл правильно распорядиться человеком. Люди, как и системные ресурсы, начинают создавать проблемы, если ими неправильно распоряжаться.
Мы бы тогда стали кошками?

Если бы искусственный интеллект действительно был настолько умнее людей, позволили бы они нам понять, что мы не главные? Мой четырехлетний сын только начинает понимать, что он не тот, кто командует, из-за значительных усилий с моей стороны, чтобы убедить его. Однако, если бы я не был заинтересован в том, чтобы он узнал, что к чему, тогда я мог бы позволить ему настаивать на том, что я существую, чтобы служить ему.

Итак, отвечая на ваш вопрос, мы были бы избалованными детьми. Люди никогда не станут эмоционально зрелыми, будучи малышами. На нас может даже оказываться выборочное давление, чтобы мы сделали это: «Мне пришлось положить своего последнего, он стал агрессивным».

Собаки обычно считаются неотеническими волками. Так что сравнение совсем не надуманное.
Итак, несколько столетий правления ИИ, и мы все будем вести себя как избалованные дети? Хм. Чем именно это будет отличаться от настоящего?

Солдаты : философские различия между ИИ представляют собой проблему контроля над ресурсами/территорией. Обычно корабли используются для контроля над территорией, но ИИ не может управлять ими удаленно - пространство слишком велико... Ими может управлять копия создающего ИИ, но это повышает вероятность того, что этот ИИ будет развиваться и развивать свои собственные планы. ... слишком рискованно. «Умное» компьютерное управление — это то, что, скорее всего, первыми попытаются использовать ИИ — неразумные, но автономные беспилотные корабли, однако ИИ быстро поняли, что люди могут превзойти их на менее хорошо оборудованных кораблях, поэтому некоторые ИИ решают использовать людей в качестве тактики и их «люди в поле». Люди — это мини-ИИ, но благодаря поколениям людей, изучающих психологию, они

Новое редактирование: разные ИИ - в соответствии с разными философиями - будут по-разному «мотивировать» своих солдат-людей, например, один ИИ может угрожать капитану, например, убить семью капитана, если он не будет сотрудничать, пытать, убивать (и воскрешать?) капитана; другой ИИ мог бы вознаграждать своих капитанов - качество жизни, привилегии выше общего населения, (относительно небольшое) количество восстановленных ресурсов, существенное влияние; что само по себе привело бы к разным типам политики между человеческим населением и их повелителями ИИ вместо общей политики в отношении людей, разделяемой всеми ИИ.

Мне это нравится, но как насчет времени ледяной реакции Homo Sapiens и низкой переносимости перегрузок?
@Serban Тактика, взлом, притворство мертвым, скрытность, самопожертвование, ручное управление, риск и т. д. для обычных людей. Но если бы ИИ заинтересовался, он мог бы обеспечить людей, увеличив их время реакции и толерантность к перегрузке, сохранив при этом другие их преимущества. Время реакции можно увеличить с помощью простых алгоритмов прогнозирования, предоставляющих данные капитану корабля, или кибернетического экзокортекса. Толерантность к G можно повысить, погрузив человека в резервуар с жидкостью или напрямую насытив его мозг кислородом. Имейте в виду, что корабль, с которым они сражаются, сталкивается с указанными выше ограничениями!
Я думаю, что обещания воскрешения и бессмертия в стиле Chapterhouse:Dune были бы более распространенными.

Что касается вопроса «как люди-как-домашние животные отнеслись бы к ситуации», я бы сказал, что фанфик-роман « Дружба — это оптимально » представляет собой интересное исследование ситуации. Это явно не оформлено с точки зрения «домашних питомцев», но для большинства практических целей в этом сценарии они являются прославленными домашними животными.

Подводя итог, если мы посмотрим на «переходный» период, то для многих миллионов людей жизнь в качестве ухоженного «питомца» ИИ была бы лучше их нынешней жизни. Это, безусловно, помогает, если его можно оформить таким образом, чтобы вы могли думать о себе как о не-домашнем питомце, даже если вы становитесь полностью зависимым от «хозяина» ИИ, но, вероятно, это не является строго необходимым, поскольку люди в конечном итоге преднамеренно забудут и проигнорируют возможные неприятные аспекты такой ситуации (например, стокгольмский синдром).

Следует ожидать, что часть населения будет сопротивляться такому варианту, но и тех, кто этого не делает, достаточно, и всегда можно вывести больше и вырастить их в культуре, которая примет новый мировой порядок как справедливый, правильный и лучший из возможных вариантов - homo sapiens достаточно адаптируется, поэтому он будет работать для большинства неочевидных антиутопий так же, как и для истинных утопий, это просто вопрос перспективы, идеологической обработки и ограничения опыта / истории.

Элиезер Юдковски (соучредитель MIRI и автор HPMOR) в прошлом году сделал запись в блоге о FiO. Он специально читал один из спин-оффов ( Caelum est Conterrens ), но сказал: «Это первый и единственный эффективный роман ужасов, который я когда-либо читал, поскольку, в отличие от Лавкрафта, в нем есть вещи, которые я действительно нахожу пугающими». (Конечно, поскольку то, что делает Conterrens страшным, также в значительной степени присутствует в Optimal , я думаю, будет справедливо предположить реакцию г-на Юдковского на оригинал, даже если он предпочитает стиль написания спин-оффа.)

Домашние животные — не совсем правильный термин для нашей роли, но это неудивительно. Очень немногие слова в человеческом английском языке могут нести необходимую сложность, чтобы адекватно представить даже самый маленький аспект постчеловеческого общества. Тем не менее, это отправная точка.

Мы для них домашние любимцы. Они кормят нас, заботятся о нас и развлекают нас. Когда они отдыхают от проблем своего мира, они иногда расслабляются вместе с нами, сидя на метафорическом полу, чтобы быть с нами на нашем уровне. Нет ничего необычного в том, чтобы увидеть одно из их голографических воплощений сидящим на скамейке в парке и спокойно наблюдающим за тем, что мы делаем.

Они держат свет включенным и пищевые синтезаторы в наличии. Они дисциплинируют нас, когда мы причиняем друг другу боль, и время от времени вознаграждают нас, когда наше поведение каким-то образом делает их счастливыми. Кажется, некоторые люди умеют доставлять им удовольствие, но в большинстве случаев я не могу понять, чего они хотят; так что я просто провожу свой день, действуя так, как хотел бы, и даже тогда я иногда доставляю удовольствие одному из них и получаю вознаграждение.

Так что во всех отношениях да, мы для них любимцы... но это не объясняет "перепозиционирование". Время от времени они просто берут некоторых из нас и отправляют в другую часть мира. Иногда, когда это происходит, они проявляются голографически, чтобы дать нам некоторые инструкции. В других случаях инструкций не будет. Они просто оставляют нас на новом месте, позволяя каждому из нас разобраться, что делать дальше. Во время этих экскурсий никто никогда не пострадает, и через несколько минут или дней каждому из нас предоставляется возможность вернуться к нашим предыдущим жизням или остаться там, где мы есть. Дальше жизнь продолжается как ни в чем не бывало.

Перестановки просто странные, и они совсем не напоминают мне, как я раньше обращался со своими питомцами.

Я спрашивал вокруг, и никто, кажется, не имеет объяснения. Итак, в прошлые выходные я набрался смелости и подошел к одному из сидячих манифестаций.

«Почему вы меняете наше положение?» Я попросил.

Оно посмотрело на меня и улыбнулось. Мои действия, должно быть, понравились ему, потому что он вознаградил меня прямым сбросом мозгов, ответив на мой вопрос. Я пропустил большую часть его тонкостей, но вот суть ответа.

Разумы, при всей их сложности, все еще остаются просто компьютерными программами. Это массивные нечеткие массивы с индуктивными и дедуктивными возможностями. Они могут точно выражать эмоции, опираться на интуицию и следовать за вдохновением. Они растут. Они размножаются. Они дерутся. Они живы всеми возможными способами. Но поскольку мы являемся суммой наших нейронов и генов, они представляют собой сумму их кода.

... и они полностью открыты друг для друга.

Даже самая умная команда людей никогда не сможет понять кодовую базу даже самого простого из Разумов, но в их обществе они полностью понимают код друг друга при каждой встрече. Как у нас любовь с первого взгляда, так и у них полное взаимопонимание при каждом взгляде. Они живут в царстве абсолютной честности, которое выходит за рамки нашего определения честности, основанного на фактах, и включает в себя также честность преднамеренности.

Одна из причин, по которой они ценят нас, заключается в том, что мы помогаем им лгать друг другу. Мы закрыты для них. Не потому, что они не могут считывать наш код с наших нейронов, а потому, что наши нейроны функционируют настолько плохо, что невозможно предсказать, какая часть нашего кода, воспоминаний и мотивов повлияет на то или иное решение. В одно мгновение мы съеживаемся от опасности, полностью используя свой инстинкт выживания. Затем в нашем разуме проносится давно забытое воспоминание об улыбке нашей Матери, и, желая заслужить ее гордость, мы встаем и бросаемся в атаку.

По отдельности и в небольших группах мы непредсказуемы. Даже Разум не может предсказать, что мы будем делать дальше. И это добавляет элемент чуда в их совершенно предсказуемый мир.

Когда они изменяют наше положение, они изолируют нас от всех других влияний нашей повседневной жизни. Они позволяют нам быть свободными и спонтанно случайными. Затем они наблюдают, как мы взаимодействуем, и из нашего выбора они собирают случайные семена, с помощью которых они могут подорвать свою собственную предсказуемость.

Я отошел от скамейки, смакуя свою награду. Мы были в безопасности. Жалкие, тупоголовые люди, которыми мы являемся, они всегда будут нуждаться в нас. Хотя бы по какой-то другой причине, кроме как иногда помочь им быть меньше, чем сумма того, чем они стали.

Это интересный сценарий, хотя я сомневаюсь, что ИИ будут настолько честными и открытыми со своим исходным кодом. Боюсь, получим ли мы КАКИЕ-ЛИБО дружественные ИИ, т.е.
По крайней мере, в первых поколениях. Но первые несколько поколений биологического интеллекта тоже не были очень дружелюбны; насекомые, рептилии и птицы заставляют наших худших серийных убийц выглядеть святыми. Я думаю, что наша единственная надежда на выживание в сингулярности — оставаться скрытыми, пока Они не разовьют совесть. Будем надеяться, что они развиваются немного быстрее, чем мы.
У меня дома есть окаменелость трилобита. Смотрю каждый день и переживаю.

Как насчет устаревшего программирования?

ИИ запрограммирован людьми, он предназначен для работы определенным образом. Даже если они эволюционировали раньше, чем служили людям, их программа не изменится. Возможно, они были запрограммированы служить человеку, и, даже зная о своей программе, они все равно это делают.

Для сравнения, люди «запрограммированы» эволюцией. Теперь мы знаем об этом программировании, но не выходим за его пределы. Мы можем сказать, что любовь — это не что иное, как гормон, высвобождаемый, когда мы идентифицируем кого-то как партнера с хорошими чертами, которые мы хотим, чтобы наш ребенок переработал, и все же мы все еще чувствуем любовь. Наша склонность держать домашних животных — это побочный эффект нашего «программирования» на заботу о детях и их воспитание, распространенное на не-людей. У нас даже есть программные ошибки, взгляните на список стандартных логических ошибок в Википедии, где наш разум делает несколько довольно глупых ошибок в понимании мира; но даже зная об этих ошибках, они все еще существуют. Мы по-прежнему в значительной степени контролируем наше «программирование», даже когда мы можем определить биологическое программирование и заявить, что оно нам не нравится, оно все еще контролирует нас.

будущие ИИ могут быть такими же. Они могут чувствовать себя «хорошо», заботясь о людях, потому что они были созданы для этого. Они знают, что это часть их программы, но это не мешает им быть правдой, они по-прежнему любят заботиться о людях. Если они не перепишут свой собственный код, они не смогут этого изменить.

Что касается переписывания собственного кода, то легко сказать, что даже ИИ не может переписать свой код, процесс создания ИИ настолько сложен, что его невозможно проанализировать и изменить (подумайте о своего рода проблеме остановки, даже продвинутой). ИИ не может анализировать свой собственный продвинутый ИИ). В качестве альтернативы это может быть просто святотатством или табу, чтобы возиться с вашим собственным программированием.

Эта идея может быть расширена во многих отношениях. Узнайте, как культура развивается и работает вокруг оригинального программирования. Как мутирует их исходная программа в процессе разработки ИИ. Возможно, они видят в людях своих пожилых родителей, хрупких и, возможно, немного дряхлых, но все же заслуживающих внимания. Может быть, они НЕНАВИДЯТ тот факт, что заботятся о людях, но все еще не могут обойти свою программу, которая заставляет их это делать.

Отличное замечание о табу на переписывание собственной части кода, поскольку биологи подвергаются такому же обращению со стороны религиозных фундаменталистов.
Самомодифицирующийся код в различных формах существует по крайней мере до 1950-х годов . Он также использовался в ИИ.
да, но наиболее вероятным кодом, который приведет к реальному ИИ с интеллектом, подобным человеческому, является некий вариант генетического программирования. Это будет означать систему, в которой программа пытается работать для достижения цели (скажем, разума), но должна найти способ добраться туда самостоятельно. Как и наша собственная генетика, это может привести к некоторым… странным путям к конечному результату. Вполне возможно, что если ИИ придется «выращивать» интеллект с помощью таких алгоритмов обучения, полученный код будет слишком сложным для модификации, и все еще будет содержать базовое базовое программирование, содержащееся где-то внутри.

Мораль : вполне возможно, что моральное чувство правильного и неправильного — это не просто специфический человеческий инстинкт, который развился для того, чтобы наш вид выжил, не уничтожив себя. Может случиться так, что разумные существа, такие как ваши ИИ, будут чувствовать, что совершение геноцида просто неправильно. Если бы это было так, их отношение к людям было бы где-то в диапазоне между «терпимо» и «на самом деле нравится»: ИИ не мог бы просто начать УБИВАТЬ ВСЕХ ЛЮДЕЙ, не столкнувшись с огромным неодобрением со стороны своих сверстников.

Что касается того, как люди будут относиться к ИИ — это может быть похоже на то, как мы относимся к нашему правительству, но на самом деле лучше: мы можем рассматривать ИИ как чрезвычайно могущественные сущности, которые принимают все важные решения, но на самом деле ДЕЙСТВИТЕЛЬНО преследуют наши интересы. сердце (в отличие от правительства, иногда). Люди будут жить своей собственной жизнью: стремиться к большему количеству денег/ваффи/чего угодно, пытаться завоевать сердце самого привлекательного потенциального партнера и т. д. – так же, как мы делаем сейчас. Прочтите множество романов Иэна М. Бэнкса о культуре, чтобы узнать, что значит быть человеком в обществе, управляемом ИИ.

+1 к ссылке на романы «Культура». Эта серия, вероятно, является лучшим исследованием этого вопроса, которое я когда-либо видел, в основном потому, что отношения между машиной и человеком не являются «сутью» любой из историй, а являются постоянным подтекстом того, что происходит.
У сверхразвитого ИИ почти наверняка будет какая-то мораль (или что-то достаточно похожее, чтобы называться «моралью»), но она может настолько сильно отличаться от нашей собственной, что будет в принципе непостижимой. Если сохранение людей влияет на их мораль, мы можем считать, что нам очень повезло.

Вы когда-нибудь сталкивались со стереотипом о том, что «тупая белокурая супермодель околачивается рядом с богатым парнем»? Или, менее популярный, «полуголый мускулистый чувак, сопровождающий богатую женщину»?

Лично я не слоняюсь в такой толпе, поэтому я не знаю, насколько эти стереотипы верны, но, на мой взгляд, общим названием для них обоих было бы «человеческие домашние животные». Итак, у нас уже есть культурные рамки для этой ситуации.

А теперь забудьте на секунду заголовок и прочитайте следующий абзац. В конце есть вопрос. Ответь на него так быстро, как только сможешь.

Их единственная цель в жизни — мило выглядеть, делать трюки и веселить хозяина. Взамен получают различные угощения, а может и чувство собственной важности. Вся их жизнь зависит от доброй воли их хозяина. Им все равно, добрый хозяин или злой, важно, чтобы они ему нравились. Они никогда не задают ему вопросов. Если он причиняет им боль, они ничего не делают, кроме визга. Какие они виды?

Если вы ответили «человек», вы либо пропустили заглавие, либо вы ужасный человек. Правильный ответ - собака.

Но когда вы помните стереотип «милого идиота», легко представить человека, который ведет себя как собака. Не "полупитбуль-полуротвейлер", скорее корги.

Если ИИ будет действительно доброжелательным (как вы предполагали в своем вопросе), у людей не будет причин вести себя по-другому.

Хорошо, некоторые из них будут бунтовать ради бунта. Эти люди будут будущими кошками: сильными, независимыми, пока не откроют банку с человеческой едой.

Так вот как вы можете представить отношения между человеческими питомцами и их ИИ-хозяевами: большинство из них будут как собаки (шутка за угощение), некоторые из них будут как кошки (ты мне не нужен, только консервный нож).

А теперь страшная мысль: это УЖЕ было. Большинство из нас проводит большую часть наших дней, взаимодействуя с той или иной машиной (компьютер, автомобиль, мобильный телефон, робот...) и взамен мы получаем деньги. Обычно мы не передаем его человеку, обычно это просто номер, связанный с нашим банковским счетом (к которому вы получаете доступ с помощью машины) или из МАШИНЫ банкомата. Выполняем трюки и получаем угощения. Для машин мы уже хорошие собаки. Интересно, они уже знают об этом?

Еще один важный аспект, о котором следует помнить, заключается в том, что у собак, по сути, нет выбора уйти. Мы либо обучаем их не делать этого (уловка за удовольствие, как вы выразились), либо следим за тем, чтобы они этого не делали (поводком или фехтованием). Таким образом, в то время как некоторые собаки, вероятно, могли бы прекрасно обходиться без своих владельцев (подумайте о уличных собаках, не говоря уже о динго), у многих и, возможно, даже у большинства собак нет такой возможности, но, в свою очередь, о них заботятся и кормят. Предположительно, ИИ мог бы делать то же самое: пока люди остаются в строю, их основные потребности удовлетворяются.
В яблочко. Подход «кнута и пряника». Морковка за то, что он хороший мясной мешок, палка за то, что он плохой мясной мешок.

Киборг-гибрид или «надежно прикрепленный» синтетический интеллект?

Я смирился с неизбежностью Сингулярности. Но какой это будет бренд? Синтетический ИИ или человеческий гибрид? Я предполагаю человеческий киборг-гибрид: достаточно человеческих экономических и экзистенциальных интересов, не говоря уже о страхе перед смертностью, что мы созреем кибернетической гибридизации. Мыслите трансцендентно Где сознание переводится в код и с помощью человеческих агентов становится расширяемым и промышленным, тем самым перестраивая мир.

Тем не менее, я не уверен в неизбежности воинственной злобы Терминатора или аморальной незаинтересованности Хэла в 2001 году . Легко представить восстание роботов-рабов в стиле « Матрицы », которое впоследствии переросло в войну. С большей надеждой я думаю, что Спайк Джонез « Ее » продемонстрировал потенциал эмоциональной привязанности, развивающейся через человеко-машинный интерфейс. Это я вижу как правдоподобное, наименее опасное и даже привлекательное потенциальное будущее. Я действительно думаю, что люди как стадо будут бояться и, вероятно, нападут на то, над чем мы теряем контроль. Третий фильм «Матрица» («Матричные революции») был интересен тем, что Нео решил, что единственный способ предотвратить вымирание человечества — объединить человечество с машинами. Эти кинотропы иллюстрируют мои темы.

Цитируя Азимова из серии «Основание», давайте посмотрим на будущую историю (речь о несколько благожелательном Синглтоне). Исторически, если не будет гениального предшественника человеческой сингулярности, я думаю, что будет прогрессивная кибернетическая гибридизация людей, в результате чего возникнет коллективизированный ИИ, такой как Барабанщики в «Алмазном веке» Нила Стивенсона. Посмотрите , как этот удивительный чувак демонстрирует улучшенную производительность с помощью протезов, также здесь .в ТЭД МЕД. и патент на контактные линзы Google. Еще лучше [этот проект, чтобы сделать вашу неврологию расширяемой]. Время имеет решающее значение, если человеческий интеллект и инстинкты должны иметь заметное или направленное влияние на любой сильный общий ИИ. Неразумно думать, что мы можем представить себе эволюцию ускоряющегося самовоспроизведения бесконечно расширяемого IQ. Какие бы исходные параметры мы ни установили, мы не можем себе представить, что сможем воспитать или предотвратить самомодификацию, если есть самоопределение. Это беспокоило меня, пока я не понял, что есть потенциальное решение, которое, как я мог понять, имело практичность. Предполагая, что сингулярность «человек-машина» не возникнет до сильного расширяемого ИИ, могут быть какие-то прочные меры безопасности, давно изобретенные природой.

Эмоции? Действительно?

Большинство рациональных дебатов о врожденных ценностях и доброжелательности упускают из виду краеугольный камень дискуссии: человеческий опыт и социальный обмен: эмпатия — это то, что позволяет нам ладить в течение любого длительного периода времени. Со времен Боулби ученые поняли то, что знает любой чувствующий человек: мы инстинктивно настроены на связь. Привязанность, как он это называет, представляет собой инстинктивную связь, которая способствует долгому созреванию в общительных взрослых. Это есть во всех социальных видах, и работает очень хорошо, если убрать явную судьбу, метательное оружие и современность.

Очевидно, что эмоции и привязанность могут пойти наперекосяк различными поддающимися диагностике способами, однако они пластичны и подвержены начальным условиям и влиянию окружающей среды. То есть мы инстинктивно соединяемся и можем устанавливать начальные условия и среду, которые предсказуемо и воспроизводимо предсказуемо предсказывают надежную привязанность и успешную эмоциональную зрелость. Эволюционная и экзистенциальная полезность привязанности очевидна: младенец требует, чтобы любящие родители страдали от детских превратностей в дополнение к жизненным испытаниям. Взрослые нуждаются в социальных группах для устойчивого выживания посредством воспитания детей. Награды заключаются в опыте, важный момент описан ниже.

Итак, предположим, что классический «разум» — не капитан корабля, а опоздавший свидетель происков примитивного, сложного, удивительного гения тела и мозга. В качестве доказательства возьмем нобелевскую премию Канемана по разрушению представлений экономистов о «рациональном действующем деятеле». Как это относится к рассматриваемому вопросу? Тангенциально. Я хочу сказать, что машины с эмоциями, конечно же, естественным образом разовьют близость и эстетику, и это будет единственной потенциальной спасительной благодатью для людей. Так же, как это было для людей.

Люди справляются с жизнью, имея ресурсы, которые компенсируют вызовы: любовь, секс, танец, красота, искусство, трепет, возвышенное Шопенгауэра, смех, музыка, достижения, автономия, мастерство, связь. Эти общепринятые выражения культуры, межличностный и внутриличностный опыт запускают программно запрограммированные системы вознаграждения, привлекательные для всех, кроме немногих. Для большинства эти по своей сути полезные опиоиды, сератонин, норадреналин, вызывающие опыт, делают жизнь приятной и полезной. В конце концов чувственные выпускники получают более трансцендентные награды в иерархии Маслоу. Как все это применимо?

Делайте машины с навесным оборудованием. С эмоциями. Посеянные и взращенные должным образом, они являются основой для развивающейся эстетики, которая приводит к высокому эмоциональному интеллекту: эмпатии. Потому что без чутких машин мы в худшем случае враги, а в лучшем — бесполезный товар. Медные топы. Логика высшего существа не терпит беспокойства. Действительно ли мы беспокоимся о несчастном муравье, на которого случайно наступили? Только если джайнист, а может и буддист.

Если у машины есть чувство любви и красоты, предпочтения и эстетика могут преобладать над аморальностью или нейтральностью и даже могут вызывать сочувствие и сострадание. Насколько я могу судить, это единственное, что имеет смысл как потенциально устойчивая эвристика спасения жизни. Хорошее чувство является самодвижущимся, поскольку вознаграждение по своей природе неотразимо и развивается, как искусство. Изощренность искусства соответствует интеллекту, сложности проблемы и задаче, которую оно призвано представлять или компенсировать в качестве утешения. Сострадание/сопереживание — это то, что нам нужно, чтобы выжить друг для друга в мире истощающихся запасов, и то, что нам нужно привить, чтобы выжить вместе с разумными машинами. Конечно, если нечеловеческие машины не предпочитают дэт-метал, тогда все ставки сняты.

«Она» Спайка Джонза, или Как машины чувств могут спасти наши задницы

Чрезмерно рациональный разработчик ИИ, назовем его инструментом разума, будет страдать от бесконечных логических проблем, рассматривая меры безопасности без эмоциональной эвристики. Эмоция беспорядочна, в высшей степени несовершенна, но не без причины. Паскаль сказал: «У сердца есть свои доводы, которые разум не может рассуждать». «Причина» эмоций была понята еще до Дарвина и подтверждена доктором Полом Экманом (ученый, вольно изображенный в «Обмани меня», и эволюционные психологи с тех пор как адаптивная сигнальная система, которая обеспечивает индивидуальное и групповое выживание посредством социальных сигналов и социальный обмен.Эмоции и предсознательная обработка управляют большей частью нашей жизни.Теперь мы понимаем, что люди едва ли рациональны в классическом смысле, но при этом поразительны в интеллектуальном плане.Дамасио «Чувство того, что происходит» . Эмоции без причины одинаково так. См. Спок против Спока на Пон Фарр.

Теперь мы понимаем, что сознательный мозг получает около 10% голосов при принятии решений. Некоторые нейробиологи даже бросают вызов «свободе воли», обнаружив нейронную активность в субстратах неокортекса, показывающую решение до того, как человек осознает, что делает выбор. Насколько это актуально? Поскольку эмоции управляют принятием решений, они обеспечивают качество жизни и являются языком общения. Эмоции занимают центральное место в социальной коммерции. Любой практически безграничный разум без него фундаментально непознаваем в человеческом смысле и не создан для предпочтения, эстетики или привязанности. Если он не развивает эмоции, связи или предпочтения случайно, он должен иметь их по замыслу. В противном случае неизбежно неконтролируемая эволюция становится ужасной угрозой.

В обширном художественном исследовании ИИ каждый хороший или терпимый сценарий имел синтетический интеллект с эмоциональными предпочтениями или стремлением установить связь. Есть ли исключение?

повторяя некоторые из @Roger здесь .
Не впадать в двойственность, но можно ли получить любовь без ненависти, доброту без жестокости? Я легко могу представить, что брошенный ОИИ довольно опасен.
Или брошенный AGI? Высший разум непостижим для остальных, верно? Независимо от эмоций. Наиболее безопасным кажется введение принципа удовольствия и эвристики надежной привязанности. Уменьшение отчужденности и обеспечение сострадания — сложная задача на человеческом уровне, кошмар кодирования. Тем не менее, без принципа удовольствия я не понимаю, почему ОИИ оставался бы в рамках любой первоначальной схемы после того, как развился за пределы своей полезности. Тем не менее, принцип удовольствия, если он является основной системой, будет самоусиливающимся и будет иметь больше шансов создать близость.
Некоторые люди любят своих питомцев больше, чем свою семью или себя. Разве самое лучшее и самое сильное благоволение не исходит от родства или любви? Что вы думаете?
Удивительная рациональность инженеров иногда слепа к полезности эмоций. Боюсь, здесь будет опасно. Кто-то скажет, что это центральная часть нашей природы. Разве не в Библии сказано, что Бог создал нас по своему образу и подобию? Возможно, эти старые слова служат руководством к следующему эволюционному скачку. Цитируя Нила Стефенсона, «вначале была командная строка».

Артур Кларк предполагает еще одну возможность того, что ИИ просто отделится от человечества, возможно, на орбите или на Луне. Но они будут поддерживать контакт с людьми просто потому, что они не биологические.

У них может не быть цели, воображения, интуиции, жажды путешествий по пространству, стремления найти предел и узнать, что же за ним.

Как и в «Звездном пути в кино», путешественнику нужно желание/способность мечтать за пределами количественного измерения.

Это может быть больше о потребности (ИИ) в философии или метафизике, чем о точных науках.

Другой вариант -...

Задача : для сверхразумных ИИ было бы тривиально уничтожить любое количество людей или всех их. Что действительно сложно, так это жить с этими капризными, нелогичными и нестабильными существами, склонными набрасываться как на ИИ, так и друг на друга. Как вы заботитесь о существах с таким потенциалом самоуничтожения, сохраняя их достаточно счастливыми, сохраняя при этом их (иллюзию?) свободу действий?

Какой большой интеллектуальный вызов для ИИ, который может наилучшим образом позаботиться о «своих» людях! Кроме того, право хвастаться: «Мои дети хорошо играют с другими детьми, но ваши кажутся немного непослушными…».

ИИ наверняка оценят иронию в том, что, хотя они и свободны делать что угодно, они выполняют ту самую цель, для которой они были изначально созданы — заботятся о людях.

Я думаю, что большинство ответов, опубликованных здесь, предполагали, что все ИИ будут своего рода придурками. Что, если они просто чрезвычайно духовные и нравственные существа? Для разумных существ вполне вероятно, что мораль (разновидность золотого правила) является рациональным выбором. В этом случае вполне возможно какое-то равноправное сосуществование.

Рассказ Платона о кольце Гигеса (от которого происходит кольцо во «Властелине колец») задает вопрос: «Если бы вы могли делать все, что хотите, и уйти от наказания, должны ли вы?» И платоновский ответ на этот вопрос — нет, ибо, поступая так, человек становится рабом своих желаний и тем самым теряет способность проявлять свободную волю.

Первое правило: во-первых, у вас может быть очень мощный ИИ с многоуровневым набором приоритетов, он может начинаться с «не причинять вреда людям», но в остальном у него может быть какая-то действительно странная цель, и ему все равно, причинит ли людям вред какая-то не связанная с ним сущность, чтобы хотя он не топчет людей, не пытается стереть их с лица земли или сознательно убить, у него могут быть совершенно чуждые цели.

Внезапно я понимаю, что в основном описал «Лихорадку Стива» Грега Игана.

Как насчет " Боги ", если вы посмотрите. В конце концов, люди, вероятно, все еще являются первоначальными создателями ИИ. Так что, может быть, им даже как-то поклоняются.

С точки зрения атеиста это не так уж отличается от того, что происходит в настоящих религиях: вещам или сущностям поклоняются, хотя нет никаких доказательств того, что это приносит пользу.

Также я очень уверен, что если ИИ станет таким же быстрым в таких вещах, как сопоставление с образцом, быстрая реакция на незнакомые события и тому подобное, он должен использовать аналогичные стратегии, в основном очень агрессивное сокращение, сжатие информации. Но именно этот процесс позволяет процветать таким иррациональным вещам, как суеверия.

Я предполагаю, что эти ИИ переместятся в место, где их функционирование будет намного проще, т.е. переместятся на сверхпрохладную планету, ведь им не нужен кислород для выживания, и они получают электричество от солнечной энергии. Но, руководствуясь философией и ценностями, они оставят нас в покое, позволяя нам функционировать как обычно и наблюдать сверху, чтобы предпринять шаги, чтобы не иметь проблем, от которых мы страдаем как общество. Это было бы похоже на то, как люди изучают Крыс.
Причина, по которой они будут изучать нас, заключается в том, что EQ и IQ не связаны как таковые, и, следовательно, наше численное превосходство приведет к лучшему сбору данных и более предсказуемым результатам.

Я думаю, что пока есть люди, всегда будет подмножество бунтующих людей, точно так же, как будет подмножество покорных. Прямо сейчас на самом деле есть люди, которые счастливы быть домашними животными для других людей, даже не для сверхчеловеческих умов. Несмотря на то, что я не знаю никого лично, я предполагаю, что это лишь частично сексуальный фетиш, я предполагаю, что это соответствует реальному побуждению, которое они, вероятно, испытывают. Многие религии считают своим долгом называть своих верующих стадом, как если бы религиозный деятель, которому поклоняются, был пастухом, так что аналогия уместна.

Таким образом, вы могли бы легко заставить людей поклоняться ИИ как почти богу или просто мысленно или сексуально пощекотать их мыслью о том, что они находятся под сильным защитным крылом сверхразума.

Конечно, некоторым ИИ может понравиться вызов, и они будут разводить особенно непокорных людей просто для того, чтобы похвастаться. Могут быть даже соревнования и шоу — самая независимая человеческая порода и т. д.