Каковы могут быть некоторые из наиболее важных философских следствий технологической сингулярности?

Если они правы, машины ответят на этот вопрос гораздо лучше, чем мы сейчас. Это будет революция в этике.

Однако вероятность того, что это произойдет в сроки, подобные предложенным Курцвейлом и Моравеком, настолько близка к нулю, что на самом деле не стоит думать об этой проблеме. В конфликте между предсказаниями, основанными на социологии (ускорение технического прогресса, обусловленное рыночными силами и постепенными улучшениями конструкции), и ограничениями, основанными на физике (резистивное рассеяние энергии, токи утечки, квантово-механическая неопределенность и т. д.), они обескураживающе встали на сторону социология. Это почти никогда не было правдой в прошлом. Дело не в том, что мы не знаем физику, а в том, что мы ее знаем, и она не поддержит такое увеличение вычислительной мощности, которое с любовью представляет себе Курцвейл.

Что касается этики симулированных разумов, то кажется, что Тест Тьюринга безвозвратно разрубает этот конкретный гордиев узел. Если исходить из темы дебатов о сознании, правдоподобной альтернативы для классификации уровней сознания еще предстоит найти, а бинарная природа представленной классификации сводит все подобные этические проблемы к человеческим эквивалентам*.

Однако, если расширить первые несколько строк ответа Рекса, я думаю, что самая захватывающая перспектива - это что-то аналогичное идее Сэма Харриса об утилитарном исчислении, основанном на ментальных состояниях. В постсингулярном мире его предполагаемое «принципиальное» исчисление потенциально превращается в «практическое» дело, что является чрезвычайно заманчивой перспективой. В мире с вычислительной мощностью и оборудованием для точной количественной оценки счастья — необходимого побочного продукта нашей способности симулировать разум — этика становится совсем другой игрой в мяч.

*Конечно, все такие проблемы я могу себе представить, но я думаю, что это стоит задать как отдельный вопрос... Редактировать: Итак, я задал его .

В частности, какие этические соображения могут быть связаны с прогнозируемым развитием симулированных разумов, обладающих большим правдоподобием человеческого разума — или искусственного интеллекта сверхчеловеческого уровня?

Я полагаю, что такое развитие событий разделит мир этики на две части, каждая из которых будет иметь совершенно разные идеи:

С одной стороны, люди будут утверждать, что такие симулированные умы в силу их правдоподобия человеческим разумам обладают гражданскими правами. Физикализм , особенно его более совершенный вид ( все является физическим, т. е. материалистический взгляд), вероятно, многих привлечет к этому взгляду. Физикалисты увидят, что смоделированные разумы эквивалентны человеческим разумам; поскольку они рассматривают все явления как физические, они будут думать о репликации человеческого разума с продвинутым ИИ как о эквиваленте самого человеческого разума, обладающего теми же неврологическими связями и хранилищем в виде транзисторов и памяти.

С другой стороны, люди будут утверждать, что, несмотря на правдоподобие этих смоделированных разумов человеческим, у них нет и не должно быть никаких этических прав. Это потому, что они всего лишь физические объекты и лишены человеческого сознания и разума. Эта точка зрения будет особенно привлекательна для дуалистов , потому что они не считают человеческое сознание воспроизводимым чисто физическими средствами. Поэтому, каким бы мощным ни был ИИ компьютеров, у них просто не будет разума людей, а значит, нельзя приписывать им какие-то особые права.

В конечном счете, мне кажется, что этика компьютеров и продвинутого ИИ сильно зависит от чьих-то онтологических взглядов; те, кто склонен к метафизике, с большей вероятностью будут отрицать права на компьютеры, в то время как чистые физикалисты с большей вероятностью будут приписывать права компьютерам.

Основная существенная проблема с идеей Сингулярности заключается в том, что не существует хорошей теории сознания и, следовательно, разума; многим достижениям в области того, что в широком смысле можно назвать искусственным интеллектом, предшествовала хорошая теория того, что возможно и как это стало возможным; Например:

• индексация: это основная идея поиска, стоящая, конечно же, за Google и другими поисковыми системами; резкое увеличение вычислительной мощности и доступность больших наборов данных, т. е. сеть, чрезвычайно увеличивает эту возможность; настолько, что иногда это похоже на волшебство; но основная идея проста.

• робототехника: есть хорошее понимание движения - ньютоновская механика; затем это можно применить к проблеме имитации естественного движения жуков, рыб, четвероногих, двуногих и птиц; большая часть этой работы уже проделана; и можно увидеть, что различные технологии вписываются в парадигму, которая сделает это реальностью.

• сенсорное оборудование: например, компьютерное зрение; у нас есть хорошая теория оптики и акустики; химии и электромагнитного спектра; серьезной новой проблемой здесь является сопоставление с образцом, но опять же мы можем совершенно непосредственно видеть, что требуется, и вопрос времени, когда это будет сделано хорошо.

Также стоит отметить, что значительное увеличение вычислительной мощности, которое в течение некоторого времени подчинялось закону Мура, является следствием технологий, используемых в микропроцессорах; по существу все становится вдвое меньше каждые несколько лет; и именно этот процесс двигал прогресс; аналогичный процесс, например , не может быть предусмотрен для солнечной энергии просто потому, что существует теоретический предел того, сколько энергии может быть произведено на квадратный метр солнечного света; в какой-то момент закон Мура остановится, и человек будет вынужден понять массивный параллелизм; сеть, конечно, является предшественником этого на самом базовом уровне; как и нейронные сети.

Прежде чем мы даже приблизимся к человеческому интеллекту, возникнут серьезные этические проблемы, связанные с конвергенцией определенных технологий; например, беспилотники и массовое наблюдение уже вызвали большую озабоченность; аналогичные проблемы станут очевидными в обозримом будущем.

Стоит также рассказать историю Фредрика Брауна под названием « Ответ » ; и достаточно коротко, чтобы процитировать здесь:

Дван Эв торжественно запаял последнее соединение золотом. Глаза дюжины телевизионных камер следили за ним, а субэфир разнес по всей вселенной дюжину картинок того, что он делал. Он выпрямился и кивнул Двару Рейну, а затем занял позицию рядом с переключателем, который должен был завершить контакт, когда он бросит его. Переключатель, который одновременно соединит все чудовищные вычислительные машины всех населенных планет во вселенной — девяносто шесть миллиардов планет — в суперсхему, которая соединит их всех в один суперкалькулятор, одну кибернетическую машину, которая объединить все знания всех галактик. Двар Рейн кратко обратился к триллионам зрителей и слушателей. Затем, после минутного молчания, он сказал: «Сейчас, Двар Эв». Двар Эв щелкнул выключателем. Был могучий гул, всплеск энергии с девяноста шести миллиардов планет. Огни вспыхнули и затихли вдоль панели длиной в несколько миль.

Двар Эв отступил назад и глубоко вздохнул. «Честь задать первый вопрос принадлежит вам, Двар Рейн».

— Спасибо, — сказал Двар Рейн. «Это будет вопрос, на который не смогла ответить ни одна кибернетическая машина».

Он повернулся лицом к машине. "Есть ли Бог?"

Могучий голос ответил без колебаний, без щелчка ни одного реле. «Да, теперь есть Бог». Внезапный страх промелькнул на лице Двара Эва. Он прыгнул, чтобы схватиться за выключатель. Вспышка молнии с безоблачного неба поразила его и замкнула выключатель.