Предотвращение захвата человечества тупыми самовоспроизводящимися машинами и потенциальное объяснение парадокса Ферми [дубликат]

Возможно, решение парадокса Ферми заключается в том, что цивилизации биологических существ обычно уничтожаются из-за того, что их захватывают машины, которые намного глупее, чем исходные биологические существа. Самые передовые системы искусственного интеллекта, которые у нас есть сегодня, все еще находятся на уровне интеллектуальных возможностей насекомых, но у нас уже есть такие вещи, как автономные автомобили. Критическая точка для захвата достигается, когда у нас достаточно атомизации, чтобы добраться до самовоспроизводящихся наборов фабрик, это априори не имеет ничего общего с интеллектом.

Таким образом, поглощение больше связано с машинной биологией, чем с машинным интеллектом. Из Природы мы знаем, что для процветания автономных систем не требуется огромного количества интеллекта. Опасность ИИ, таким образом, не столько в том, что мы получаем сверхразумные машины, которые заменяют нас в силу того, что они более разумны. Намного более вероятно, что наша цивилизация породит машинный абиогенез, а затем машины будут распространяться, как рак, и в конечном итоге уничтожат нашу цивилизацию.

Как мы можем предотвратить попадание в эту ловушку, которая вполне могла уничтожить подавляющее большинство других цивилизаций во Вселенной, как предполагает парадокс Ферми?

Не точная копия, но я думаю, что она достаточно хорошо освещает этот вопрос.
@ Draco18s нет, это не так, другое дело. Тут ИИ скорее вводит в заблуждение, не самое лучшее название.
Любопытно, что поиск по теме поглощения ИИ не дает столько вопросов, сколько я ожидал найти. Граф, нам нужно, чтобы вы просмотрели вопрос, связанный с @Draco18s, и сказали нам, есть ли там ответ на ваш вопрос (я согласен с ним, что легко может быть). Это не вопрос гордости. Если есть, нам нужно пометить это как дубликат и двигаться дальше. Если нет, нам нужно сузить вопрос, потому что вопрос «как ничего не знать о моей цивилизации» слишком широк и приведет к закрытию.
Кажется, это обсуждение ваших идей о парадоксе Ферми, но я не могу найти вопрос о построении мира. Единственный вопрос - это ваше последнее предложение, и это просто очень умозрительный (основанный на мнении) вопрос. Ни в коем случае не построение мира.
Четыре близких голосования по четырем разным причинам. Я никогда не видел этого раньше.
@ Граф Иблис - извините, если мое изменение ухудшило ситуацию, но, похоже, эти стрелки Дикого Запада в целом не понимают вопроса. Что грустно - хороший вопрос, но самовоспроизводящиеся дискуссии вообще не так сильно развиты, и редко переходят через простые сценарии серой жижи, так что... может в этом и дело. но если это моя вина, извините за это.

Ответы (3)

Саморепликация коммерчески нецелесообразна

ОП прав в одном; То, что сделало жизнь такой богатой на этой планете, было не интеллектом, а способностью воспроизводиться. В конце концов (в ходе эволюции) возникают вариации в этой репликации, и некоторые из них выгодны для жизни в окружающей среде, а некоторые нет.

Если бы ДНК не могла так хорошо воспроизводить себя, жизни не было бы ни на Земле, ни где-либо еще.

Это ничем не отличается от (скажем) компьютерных вирусов. Причина, по которой они все еще существуют, заключается в их способности воспроизводиться. То, что они делают после этого, определяется полезной нагрузкой вируса (или червя, или трояна, или чего-то еще), но без возможности репликации они на самом деле бесполезны для человека, который их пишет.

Именно поэтому машинная репликация не имеет смысла; машины производятся для того, чтобы быть полезными в прикладном смысле, а не в их способности воспроизводиться. Иными словами, у вас может быть самый эффективный производственный процесс на планете (включая самовоспроизведение) для вашего виджета, но если он никому не нужен, то этот виджет не будет производиться.

В то время как жизнь стала успешной из-за своей первоначальной склонности к воспроизведению, люди стали успешными, потому что мы «полезны». Мы можем организовать себя, чтобы достичь гораздо большего как группа, чем мы могли бы как собрание отдельных лиц, что означает, что мы можем сосредоточиться на воспроизведении только часть нашего существования (если Интернет является чем-то, некоторые из нас сосредотачиваются на нем далеко). больше, чем мы должны быть полезными для нашего общества, но это выходит за рамки данной статьи). Машины, наши продукты, будут следовать этой философии, поскольку люди смотрят на все вокруг себя (включая свои собственные изобретения) с точки зрения полезности.

Короче говоря, это означает, что если тупая машина не является полезной (эффективной) в том, что мы хотим сделать, мы не собираемся вкладывать средства в ее дешевое воспроизводство (эффективное), потому что это не увеличивает ее полезность.

Мы даже не коснулись экономического вопроса; вы действительно хотите, чтобы ваш продукт самовоспроизводился без какого-либо способа;

  • монетизация использования дубликатов и
  • защита ИС от людей, которые хотят ее реконструировать?

Я бы добавил к этому, что создать самовоспроизводящуюся фабрику НАМНОГО сложнее, чем кажется. Фабрики состоят из множества различных ресурсов; металлы, резина, пластик, стекло и т. д. Для их создания и работы требуется огромное количество энергии.

Я просто не вижу завода, способного добывать, плавить, отливать и штамповать, выращивать каучуковые деревья для получения латекса, вулканизировать каучук, собирать кремнезем, изготавливать из него стекло, изготавливать солнечные батареи, ветряные турбины, атомные электростанции и тому подобное. чтобы привести в действие всю эту деятельность и т. д. Репликация « полного стека » нежизнеспособна из-за явного разнообразия деятельности, необходимой для сбора материалов, необходимых для ее облегчения.

"Но ждать!" Я слышал, как некоторые из вас говорят: «А как насчет репликаторов в стиле «Звездного пути»? Они сделают это возможным, потому что все, что вам нужно, это энергия, верно?»

Неправильный. Ну ладно, само по себе не неправильно, но непрактично. Для производства материалов, которые вам нужны, из чистой энергии потребуется МНОГО энергии. На самом деле во Вселенной уже есть такая технология, и металлы и тому подобное производятся каждый божий день на специальных заводах, предназначенных именно для этой цели; звезды.

Звезды, подобные нашему Солнцу, поглощают водород и путем синтеза превращают его в гелий и другие более тяжелые элементы. Вот почему считается, что мы вполне можем быть первой жизнью во Вселенной; многие звезды должны были погибнуть в виде сверхновых, прежде чем в облаках накопилось достаточное количество металлов и плотных элементов, из которых родилось следующее поколение звезд. Каждый элемент вашего тела родился в ядре звезды.

Но не звезда размером с наше Солнце.

Наше Солнце недостаточно велико, чтобы производить большинство элементов, необходимых для жизни, несмотря на огромное количество энергии, которое оно производит. Даже золото (которое является важным компонентом многих форм электроники) не может родиться в обычной сверхновой; обычно считается, что золото может быть произведено только при столкновении двух нейтронных звезд (или подобных масс).

Если для производства золота требуется ТАКОЕ количество энергии, как вы думаете, сколько энергии потребуется репликатору в стиле «Звездного пути» для производства всех материалов, необходимых для фабрики? Вам понадобится репликатор снаружи сферы Дайсона, окружающей звезду размером с Бетельгейзе, с технологией прямой передачи солнечной энергии, просто чтобы рассмотреть это.

Нижняя граница; машины не будут самовоспроизводиться до такой степени, что они выйдут из-под контроля, потому что в этом нет коммерческой выгоды, разнообразие функций, необходимых для «полного стека», слишком велико, а энергетические потребности для прямого производства материи из энергии просто слишком высоко. У нас ГОРАЗДО больше шансов, что нас остановит полуинтеллектуальное компьютерное программное обеспечение, которое постоянно воспроизводит себя и делает критически важную инфраструктуру (через заражение SCADA) нефункциональной.

Учитывая нашу зависимость от него, программное обеспечение с гораздо большей вероятностью уничтожит нас, чем аппаратное обеспечение. Даже прекращение распределения топлива путем отключения критически важных систем контроля расхода трубопровода может привести к голоду в большинстве крупных городов в течение нескольких недель, учитывая, насколько далеки люди от источников продовольствия в современном мире. Нас уничтожат не тупые машины, а тупые программы.

печально, что WB не место для дискуссий, здесь вам есть что защищать - «Итог: машины не будут самовоспроизводиться до такой степени, что они выйдут из-под контроля, потому что в этом нет коммерческой выгоды»
@MolbOrg Я думаю, вы обнаружите, что он уже защищен в теле ответа. DRM существует, потому что неконтролируемая репликация не приносит материальной выгоды производителю предмета. Цифровой материал ОЧЕНЬ легко воспроизвести; никто не собирается проектировать физическую репликацию (что намного сложнее) без полного контроля над процессом. Даже ГМ-семена якобы содержат гены самоубийства, так что вы не можете вырастить неограниченное количество поколений растений из одной покупки семян. Управление правами на изготовление (FRM) станет важной вещью в мире репликации.
да, я прочитал весь ответ. Я верю, что все немного сложнее. На земле нам точно не нужно какое-то самовоспроизводящееся оборудование, обычно производственные линии работают веками, а новые первоклассные линии - стоимость их разработки примерно такая же огромная, как и стоимость их строительства, и нет смысла делать их мало - типа Фабрики Intel. Но также это зависит от конкретной реализации такого самовоспроизведения — обычные машины, или 3D-печать, или серая слизь. Да, конечно, некоторый контроль может быть использован с обеих сторон. Еще вопрос в том, что коммерческая выгода - в космосе она может быть.

Репликация может быть ограничена установленным количеством:

Тот факт, что чему-то полезно быть самовоспроизводящимся, не означает, что этому полезно быть бесконечно самовоспроизводящимся. Вы можете по своему замыслу потребовать, чтобы репликация ограничивалась определенным числом, пока люди не потребуют большего.

Чтобы самовоспроизводиться, робот должен потратить «билет репликации», но билеты репликации могут создаваться только людьми. Если у бота много билетов, он может передать их другим ботам для более эффективного копирования, но ни один робот не может создавать новые билеты. Как только у бота закончились билеты, он больше не может самовоспроизводиться. Если вы хотите 64 бота, начните с одного и дайте ему 63 билета репликации. Он копируется, и он и новый делят оставшиеся билеты. этот процесс продолжается рекурсивно, увеличивая количество ботов в геометрической прогрессии, пока, наконец, 32 бота не используют свой билет, чтобы создать еще 32 бота. У получившихся 64 ботов нет билетов, и репликация прекращается. Если позже вы захотите больше ботов, сделайте больше билетов и раздайте их.

Если эти боты тупые, «серая жижа» или «бесконечные скрепки», как вы сказали, то они не поймут, как обойти ограничения в своей программе, даже если захотят. Я предполагаю, что это ИИ до сингулярности, поскольку он недостаточно умен, чтобы перепрограммировать себя, чтобы стать значительно умнее.

Если вы беспокоитесь о непреднамеренных ошибках или преднамеренном взломе/саботаже, вы можете внедрить аппаратную версию системы тикетов. Сделайте так, чтобы роботы не могли воспроизвести какую-то маленькую, но важную часть самих себя, например, чип BIOS или их солнечные батареи. Они будут производиться на автоматизированных, но «тупых» сборочных линиях под наблюдением людей. Если мы производим ограниченное количество чипов в любой момент времени, то любая потенциальная вспышка неконтролируемой репликации будет иметь верхний предел.

Управление, материя и энергия должны контролироваться людьми.

Как и в стратегической игре — Starcraft и ему подобных — юниты имеют полный технологический цикл и возможность производить сами себя. Но они ничего не делают, пока вы не скажете им что-то сделать.

Контроль источников и количества материи, доступной для их производства, также является эффективным средством контроля общего количества юнитов.

Для любой работы требуется энергия и контролируя ее источник можно остановить размножение юнитов.

Таким образом, переплетенное взаимодействие управленческого рода многих людей с системой позволяет контролировать и формировать соответствующие реакции на возможные отклонения в процессе - являются ли они антропогенными или результатом ошибки или стечения обстоятельств.

Это 3 основных краеугольных камня. Но их гораздо больше, и они зависят от технологии, поскольку существуют возможности для различных реализаций технологий самовоспроизведения. (кстати, одной из которых являются современные технологии с переплетением человеческого взаимодействия, управления и контроля ресурсов)

Другая возможность, например, может заключаться в том, что вы не будете возражать, если самовоспроизведение будет максимально возможным, если они создадут живую среду, в которой живут. Как деревья таковы для множества животных и насекомых, и те не возражали бы, если бы леса заняли всю солнечную систему, если это возможно. Для деревьев это невозможно, по крайней мере, не так просто, но это возможно для инфраструктуры, в которой люди живут в Солнечной системе — тем более для нас лучше, если система по-прежнему подчиняется простым правилам (в основном предоставляет ресурсы за счет запрос человека), и они могут автоматически отслеживаться, если правила все еще действуют, и может быть сделан соответствующий ответ, если что-то не удается в этом отношении.

Тупые самовоспроизводящиеся машины - лучший выбор из всех этих автоматических систем. Их можно контролировать несколькими способами, и мы можем лучше и точнее предсказать их действие/реакцию. Может ли лошадь убить человека - да; Проблема ли это - вообще нет, бунта лошадей вообще бояться нечего, а если и случается, то не проблема.