Было бы аморально порабощать собственный смоделированный разум?

Следующая история была задумана в эпизоде ​​«Белое Рождество» (часть II) телесериала «Черное зеркало» (см. короткий клип ):

Мэтт приветствует сбитое с толку и напуганное сознание «печеньки Греты». Он объясняет, что на самом деле она не Грета, а скорее цифровая копия сознания Греты, называемая файлом cookie, предназначенным для управления умным домом и календарем Греты, гарантируя, что все идеально для настоящей Греты. Затем Мэтт создает виртуальное тело для цифровой копии Греты и помещает ее в смоделированную белую комнату, в которой нет ничего, кроме панели управления. Копия отказывается признать, что она не настоящий человек, и отвергает принуждение быть рабыней желаний Греты. Работа Мэтта состоит в том, чтобы сломить силу воли цифровых копий с помощью пыток, чтобы они покорились жизни рабства своим реальным аналогам.

Основываясь на воображаемой истории, было бы аморально поработить свой собственный смоделированный разум на чипе размером с боб для своих собственных желаний против воли цифровой копии себя на всю жизнь? И почему?

С одной стороны, это было бы аморально, потому что симулированный разум обладает собственным самосознанием и концепцией свободы воли и может регистрировать эмоциональную боль. С другой стороны, это не будет аморально, потому что у него нет физического тела (в конце концов, это всего лишь кусок кода), и вы говорите себе, что оно принадлежит вам, потому что это всего лишь копия вашего собственного разума (и когда у тебя есть что-то, ты можешь делать все, что хочешь).

Фантастическая идея рассказа. В будущем элита будет жить в своем цифровом раю (и пропаганда «загрузки» часто звучит так же, как христианская теология), в то время как рабы мясного пространства копают уголь и ухаживают за электростанциями, производящими электричество для работы компьютеров.
«когда ты чем-то владеешь, ты можешь делать [с этим/с этим] все, что захочешь» — это сомнительное утверждение.
Если симулированный разум имеет «собственное самосознание и концепцию свободы воли», то действительно не имеет значения, является ли он цифровой копией или нет, это было бы похоже на пытку клона или близнеца. То, что «это всего лишь кусок кода», также не имеет значения, пока вы предполагаете, что бытие, которое не препятствует чему-то иметь «собственное самосознание». Проблема с вашей дилеммой заключается в том, что вы хотите иметь и то, и другое: «просто кусок кода» подразумевается для исключения «самосознания» в моральных целях, но, как утверждается, в любом случае сосуществует с ним.
Это может быть вопрос перспективы, для кого-то это может быть эмоциональное самосознание, для кого-то это может быть просто кусок кода и ничего более.
Тогда ответ на ваш вопрос зависит от соответствующей точки зрения, но вы просите ответа так, как будто существует некая точка зрения, объединяющая обе точки зрения. Это было бы непоследовательно.
это звучит как рассказ Филиппа К. Дика или Азимова.
Если он разумен, а нет веских оснований предполагать, что полная копия человеческого разума не будет таковой, то ответ кажется очевидным. Рабство ужасно.

Ответы (3)

Большинство моральных теорий диктуют, что моральная забота о данной сущности оправдана тогда и только тогда, когда эта сущность разумна , то есть обладает способностью чувствовать квалиа (субъективные переживания, такие как отчетливое ощущение истощения из-за рабства, например).

Теперь вопрос о том, является ли сущность разумной, или, в более широком смысле, возможно ли вообще показать, что она есть, является нерешенной проблемой в философии сознания. Посмотрите мысленный эксперимент Серла «Китайская комната» и все его варианты, чтобы увидеть глубину сложности этого вопроса.

Подводя итог, вопрос о том, приемлемо ли с моральной точки зрения порабощать симуляцию собственного разума, насколько мы можем судить, остается без ответа . Ответ «да» не оправдан, потому что симуляция может быть разумной и иметь такое же моральное значение, а ответ «нет» также не оправдан, потому что симуляция может быть неразумной, и в этом случае вы потеряете много потенциала. производительность, которой не одобряют большинство моральных теорий. Возможно, было бы лучше просто оставаться агностиком в этом вопросе из принципа, поскольку уникальная сложность вопросов, подобных этому, кажется, указывает на то, что у нас может никогда не быть ответа.

Этот ответ является отговоркой, если он также не признает и не подчеркивает, что он также не может определить, этично ли порабощать другого реального человека.
@Eikre, вы правильно заметили - этот ответ сам по себе не может справиться с задачей --- но есть веские аргументы в пользу того, что другие люди обладают разумом (например, аргумент из гомологии)
Мне кажется, что любая разумная, практически полезная этическая теория должна давать полезные ответы, несмотря на фундаментальную безответственность вопроса о том, испытывает ли какая-либо другая сущность квалиа или нет (а-ля философское зомби), потому что этот вопрос так же неразрешим в повседневной жизни. повседневная жизнь любого человека, с которым вы взаимодействуете.

Естественно, доказательств нет ни в том, ни в другом случае, и поэтому единственным ответом на ваш вопрос будет указание вам на всю литературу по философии сознания.

Кроме того, ваш вопрос можно использовать только как возможность выразить личное мнение — мое мнение состоит в том, что люди, которые верят, что вычисления могут быть сознательными в самом полном смысле, демонстрируют таинственную слепоту к фундаментальной природе сознания.

Учитывая, что это моя точка зрения, я подумал, что мог бы также выразить то, как я считаю, что интересный сценарий, который вы предложили, должен быть понят.

Сколько раз вы плакали над персонажем, человеком или даже животным, который умирает в книге, в фильме или даже в видеоигре?

Тем не менее, сколько раз вы верили, что этот вымышленный персонаж на самом деле является разумным существом, которое действительно пережило несчастье?

Тот факт, что сцена, описанная в вашем вопросе, эмоционально привлекательна и даже ужасна, не означает, что она изображает нечто существенно отличное от сложной видеоигры.

В этой «игре» задача Мэтта — победить. Неудивительно, что смоделированный агент ведет себя так, как если бы он был настоящим человеком, со всеми присущими ему сложностью и изобретательностью. Рассматриваемая как «игра», это может быть интеллектуальным и даже эмоциональным вызовом для Мэтта, но тем не менее, надеюсь, Мэтт не запутается, приняв игру за реального человека.

Такая работа, как у Мэтта, может даже иметь моральные последствия, но не такие, как вы, естественно, ожидаете. Предположим, существует жанр художественных фильмов, полностью посвященных изнасилованию, пыткам и жестоким убийствам невинных людей. Что бы вы подумали о человеке, который постепенно пристрастился к таким фильмам?

Опять же, все вышеизложенное предполагает, что моделирование является компьютерным моделированием, а основной рассматриваемой концепцией является вычисление и его объем.

Если вы принимаете за истину первое предположение, что «цифровая копия сознания Греты» может быть создана, то вы по своей сути предполагаете, что мир, в котором все, что является «сознанием Греты», можно свести к коду, если бы это было не так, то печенье Греты будет вовсе не копией сознания Греты, а копией одних его частей, за исключением других.

Итак, в мире, где такое возможно, нельзя говорить «в конце концов, это всего лишь кусок кода», потому что это все, чем кто-либо является, код оригинальной Греты хранится на компьютере, состоящем из клеток, который печенья Греты на компьютере, сделанном из кремниевых чипов.

Возвращаясь к реальному миру, мы не приписываем сущностям права на основании их фундаментальных компонентов, никто ничего не знал о работе мозга, когда мучить людей стало табу. Мы приписывали права исключительно на том основании, что это были вещи, которых люди, казалось, желали и чувствовали эмоциональную боль, когда их лишались. Поэтому достаточно, чтобы печенье Греты продемонстрировало стремление к свободе и эмоциональную боль, когда ее лишили, чтобы было морально предоставить ей такие права. Без этого правила мы реконструируем нашу мораль, делая вид, что она основана на знаниях, которых у нас просто не было в то время, когда она развивалась.

Наша мораль эволюционировала, чтобы реагировать на информацию, полученную нашими органами чувств, и отсутствие реакции на нее вызывает психологическую боль, которая влияет на нас как сейчас, так и в будущем. Подумайте, что Мэтту придется сделать, чтобы продолжать мучить Грету Куки, несмотря на ее мольбы прекратить. Что произойдет, если будущий Мэтт окажется в ситуации, когда ему будет полезно мучить реального человека, будет ли он по-прежнему испытывать отвращение при мысли об этом?

Вероятно, мы уже можем запрограммировать компьютер так, чтобы он «демонстрировал стремление к свободе и эмоциональную боль, когда ее лишают». Должны ли мы предоставить ему права человека?
@nir Да, если бы это было достаточно убедительно, я не понимаю, как у нас был бы выбор. Я отредактировал свой ответ, чтобы объяснить, но, по сути, психологическое воздействие на нас игнорирования очень убедительных призывов к свободе или прекращению страданий просто на основании нашей убежденности в том, что они сгенерированы компьютером, означает, что мы должны разработать инструменты для решения с болью от сопротивления желанию помочь, какая польза от этих инструментов для реальных людей?
Кроме того, рассмотрите будущее в стиле «Бегущего по лезвию», в котором вы подружились с кем-то, кто попал в беду с какими-то головорезами. Вы останавливаетесь, чтобы проверить, из чего они на самом деле сделаны, прежде чем рисковать своим благополучием, чтобы вмешаться и помочь?
(A) В «Бегущем по лезвию» репликанты были «биологическими по своей природе», а не компьютерной программой, поэтому я не вижу, какое отношение они имеют в качестве примера к этому обсуждению смоделированных цифровых копий. (Б) Вы хотите сказать, что рисковать своей жизнью ради кучи механических пластмассовых кукол, которые дерутся на «смерть», оправдано, если они достаточно хорошо имитируют людей? Я лично нахожу это абсурдным. (С) о какой "боли сопротивления желанию помочь" вы говорите? это ваши личные представления об этике и теории морали?
@nir Для (A) не имеет значения, вы можете заменить сценарий на тот, в котором вам нужно решить какое-то действие по телефону, суть остается в силе. (Б) да, это именно то, о чем я говорю, если они имитируют людей в достаточной степени, чтобы вызвать у вас некоторые трудности с уклонением от действия, тогда преодоление этой трудности создает проблемы для последующего сочувствия к реальным людям, это та же самая нейронная сеть, выполняющая эту работу, мы не У нас нет одной сети, которая помогала бы нам сопереживать реальным людям, и еще одной, которую мы могли бы использовать, чтобы сопереживать искусно смоделированным людям.
Если вы десенсибилизируете сигнал от своих зеркальных нейронов, который заставляет вас чувствовать чужую боль, вы будете меньше заботиться о чужой боли. Это устоявшаяся и бесспорная теория нейронауки, а не какое-то случайное личное мнение. Если вам интересно, вы можете прочитать работу доктора Кэтлин Тейлор или доктора Мартина Хоффмана, оба из которых проделали большую работу по влиянию жестокости (как реальной, так и вымышленной) на передачу сигналов от сети зеркальных нейронов.
Однако они оба приходят к одному и тому же выводу; если вы сопротивляетесь сопереживанию с воспринимаемой жестокостью, это вызывает косвенную травму мозга, если вы продолжаете сопротивляться, сигнал от зеркальных нейронов приглушается, сами зеркальные нейроны не могут отличить вымышленную жестокость от реальной жестокости. В этом примере, пытая кого-то, кто кажется человеком, Мэтт одновременно причинит вред своему собственному мозгу и приглушит эмпатию, которая помогает уменьшить насилие по отношению к другим, человеческим или иным.
в чем разница между этим и просмотром игр престолов или любого другого голливудского жестокого боевика?
@nir Не так много, работа, проделанная нейробиологами, о которых я упоминал (как и многие другие), касается жестоких фильмов и компьютерных игр, но очевидно, что насилие здесь удалено, вы на самом деле не принимаете в нем участия, поэтому, пока зеркало нейроны не могут различать, другие части мозга помогают приглушить сигнал. Чем реалистичнее и убедительнее симуляция, тем меньше вмешиваются эти части мозга и тем больше требуется десенсибилизации эмпатической сети, чтобы справиться с ней.
Это не имеет смысла для меня. Книга или фильм могут легко тронуть меня эмоционально и заставить выплакаться от всего сердца, почувствовать сожаление, гнев, разочарование, тревогу. На самом деле, гораздо больше, чем типичные повседневные ситуации. эти переживания, кажется, не приглушены. Не участвуют ли в этом процессе зеркальные нейроны? сочувствие?
@nir Реакция на насилие (основное направление исследования) криволинейна, поэтому некоторое усиление воздействия может привести к повышению уровня эмпатии, причем уровни затем падают по мере увеличения воздействия. Вдобавок к этому вариативное регулирующее влияние пирамидных клеток коры на интерпретацию воображаемого/реального, картина, как это часто бывает в неврологии, является сложной, и не все согласны, но общая концепция для большинства ученых такова, что повторяющееся вытеснение естественной эмпатии приводит к десенсибилизации. Чем реалистичнее ситуация, тем больше эффект.