Это образ, возникший в результате исследований искусственного интеллекта в реальном мире, а не из рассказов Азимова (хотя их часто цитируют).

Вопрос, лежащий в основе проблемы, заключается в моральной и этической философии, на которую человечество пытается ответить более 2000 лет. То есть: что объективно есть "счастье"/"вред"/"человеческий"/"живой"/"добро"/"зло"?

Очень легко определить набор правил, которые хорошо выглядят на бумаге, но на практике полны дыр. Например, «живой» в том смысле, в каком мы его подразумеваем, — это какой-то не поддающийся определению аспект органической химии.

Если я попытаюсь определить это, то мясо в бакалейной лавке живое (потому что на клеточном уровне оно все еще живо: именно это делает его свежим) или спящие люди мертвы. Или коматозные люди. Или (в худшем случае) люди, умершие в результате хирургической операции. Нет, правда, это вещь. Мы обычно останавливаем сердцебиение людей или не даем им дышать, находясь под действием общей анестезии, чтобы оперировать эти органы. С объективной точки зрения, эти люди мертвы, они просто «поправятся» позже.

Чтобы добраться до ИИ уровня Азимова (который несовершенен, см.: любая из книг Азимова о роботах), нам пришлось бы решить неразрешимую проблему.

Следовательно, любая программа ИИ, которую мы создаем, будет несовершенной, и ее неудачи будут так или иначе чрезвычайно опасны. У Computerphile есть отличный эпизод на эту тему, который дает ИИ единственную цель — собирать марки.

Хотя это становится гиперболическим («какой идиот даст компьютеру доступ к машинам, необходимым для сбора углерода от людей, чтобы делать больше штампов?»), это иллюстрирует точку зрения: просто будучи в состоянии выполнить поставленную задачу, он будет иметь некоторый уровень мощности, который будет нежелательным, и ограничение этой мощности вообще препятствует выполнению его задачи.

В случае с HealthInsuranceBot все сводится к контролю над тем, кто живет, а кто умирает (через доступ к медицинскому обслуживанию). Неважно, каково было намерение, есть вероятность того, что данная сила превысит «рациональные пороги», которые невозможно контролировать. ИИ может объявить, что «человеку 68 лет и он курит, он умрет в 2 года, независимо от того, сколько денег мы тратим на то, чтобы он оставался в живых, согласно моей программе, он только увеличит расходы для всех остальных». Внезапно этот человек не может получить никакого доступа к медицинской помощи (даже чтобы сделать эти два года безболезненными) и фактически приговорен к смертной казни, даже если сам ИИ не вынес смертный приговор.уход слишком дорог, даже если бы разумный человек сделал что-то, чтобы обеспечить уход в конце жизни.

На другом конце спектра, если вы пытаетесь сохранить жизнь всем людям как можно дольше, вы в конечном итоге получите людей в устойчивом вегетативном состоянии, потребляющих ресурсы, несмотря на то, что они (более или менее) мертвы и никогда не оправятся.

В серой зоне есть случаи, которые выглядят черными, но на самом деле являются белыми (выздоровевшие вегетативные состояния), и случаи, которые выглядят белыми, но на самом деле являются черными (вместо того, чтобы прожить 2 года с раком легких из-за курения на протяжении всей жизни, они выживают 10 лет). ). Никакое предиктивное программное обеспечение не облегчит эти трудные решения, и как только компьютеру будут предоставлены полномочия (окончательные, абсолютные, рекомендательные, какие бы то ни было полномочия ), эти решения больше не будут рассматриваться как альтруистические, а ИИ станет злым.

ИИ могут действовать так, как они запрограммированы. Немедленный переход к «наихудшему возможному случаю» на самом деле просто предостерегающий рассказ.

Причина, по которой сказки настолько популярны, заключается в том, что очень легко начать верить, что вы можете приказать ИИ сделать что угодно. Затем вы можете сказать ему совершить невозможное. Однако есть одна тонкая деталь, о которой забывают многие, кто углубляется в ИИ: невероятно сложно разработать совершенно объективный язык, с помощью которого можно сформулировать ваши запросы. Язык всегда подлежит интерпретации, и нет известного способа гарантировать, что ИИ согласится с интерпретацией, которую вы намеревались.

Это, по сути, верно и для взаимодействия между людьми. Так в чем же разница? Как правило, в «тропе» ИИ ИИ может двигаться очень быстро. Когда люди не понимают друг друга, есть время сказать: «Вау! Прекратите прямо здесь. Когда я сказал, что мне нужна няня, я не хотел, чтобы вы сидели на ребенке. Давайте вернемся к стабильному состоянию и обсудим что имелось в виду под моими формулировками». Если ИИ думает и действует слишком быстро или человек уходит, эта нормальная петля обратной связи в языке разваливается. Если ИИ не научился быть осторожным с неправильной интерпретацией, эти действия могут быть необратимыми.

Для этого есть десятки решений. Фактически, такие методы, как множественное отслеживание гипотез, десятилетиями демонстрировали решения подобных проблем. ИИ не всегда должен идти наперекосяк. Однако эти решения находятся в противоположном направлении, в котором в настоящее время наблюдается тенденция компьютерного программирования. Решение не в том, чтобы сделать еще более точный язык для описания наших потребностей, как это очень популярно сегодня в программировании. Вместо этого решение состоит в том, чтобы сделать ИИ более устойчивым к отсутствию точного языка. Любая попытка сделать это, естественно, довольно элегантно решает проблему неистового ИИ.

Вторая половина тропа ИИ заключается в том, что ИИ слишком силен, чтобы люди могли его контролировать. Это легко может быть правдой, но мы не в первый раз имеем дело с такими могущественными силами. Рассмотрим разработку атомной бомбы. Было неясно, насколько сильно мы контролировали процесс. Ученым приходилось постоянно работать с неизвестными, чтобы разработать уровень контроля, который нас устраивал.

Мне вспоминается цитата из книги генерала Гровера « Теперь это можно рассказать», в которой рассказывается о Манхэттенском проекте с точки зрения логистики (он не был ученым). При проведении первого ядерного испытания каждому ученому разрешалось наблюдать за взрывом с любого расстояния, которое они хотели. Ни один армейский чиновник не сказал им, на каком расстоянии все будут находиться. Они разлетелись на самые разные расстояния от места взрыва. Действительно, возник вопрос, контролировали ли они зверя, которого выпустили на волю.

Неудержимый неистовый ИИ по своей природе похож на большую ядерную бомбу или биологическую атаку в том смысле, что никогда не бывает ясно, какой контроль у человека есть. Единственная разница в том, что ИИ явно обучаются, поэтому наше управление — еще более сложная концепция. Опять же, это не новая проблема для человечества. Мы сталкиваемся с этим каждый раз, когда воспитываем новое поколение, никогда не имея над ним полного контроля. Мы прилично в этом.

Тропа неистового ИИ — это история-предупреждение, а не единственная история, которую можно рассказать. Это очень нужная история-предупреждение. Люди часто довольно невинны, когда дело доходит до рисков и проблем, связанных с ИИ, и думают, что могут делать то, чего не должны. Но просто взгляните на такие фильмы, как «Большой герой 6». Помимо предупреждения, есть и другие истории, которые можно рассказать.

это действительно страшно

Оживленная дискуссия на эту тему ведется не одно десятилетие. У меня есть несколько постов на эту тему, и я твердо верю, что общий искусственный интеллект — это самое страшное, что можно (и, вероятно, будет) изобрести, если речь идет о сохранении биологического человечества.

Мои взгляды на эту тему в большей степени сформировались благодаря чтению работ Элиезера Юдковски и Ника Бострома. Я считаю, что книга Бострома « Суперинтеллект », несмотря на то, что она очень плотная, несовершенная и довольно техническая, на сегодняшний день является лучшей работой по этой теме.

Я уже обсуждал концепцию инструментальной конвергенции в другом месте , поэтому выскажу только вывод:Remember, AIs are not like humans, they likely do not get bored, do not get lazy. It will pursue its goals tirelessly, ruthlessly, unceasingly. Humans just happen to be in the way.

Идет ли ИИ FOOM?

Человеческий интеллект ограничен как аппаратным обеспечением (ограниченная скорость нейронов в мозгу ограниченного размера), так и программным обеспечением (ограниченное количество идей). Нет причин ожидать, что искусственный разум приблизится к интеллекту человеческого уровня. Мы просто не знаем, насколько сложнее перейти от человеческого к сверхчеловеческому уровню по сравнению с переходом от собачьего ума к человеческому. Если ИИ не пойдет на FOOM, у нас будет медленный прогресс и годы передышки для политических и этических дебатов, что даст больше шансов людям и нашим медленным институтам слаженно реагировать.

Если, с другой стороны, ИИ действительно переходит в режим FOOM, мчась, как японский поезд на магнитной подвеске, от уровня мышиного интеллекта до сверхчеловеческого уровня, преодолевая человеческий уровень так быстро, что мы едва успеваем заметить, как он проходит мимо нас, то люди и человеческие институты не имеют много времени на адаптацию.

Делай то, что мы имеем в виду, и делай то, что мы говорим

Самое большое препятствие, возможно, связано с нашими собственными ограничениями. Знаем ли мы, что наши нынешние наборы ценностей станут для человечества лучшим способом жить через столетие, не говоря уже о миллиарде лет? Ценности, которыми мы наполняем наши ИИ, будут иметь последствия, которые будут распространяться в пространстве-времени. Более того, что еще более тревожно, как мы объясним ИИ, чего мы хотим, если мы даже не знаем, что такое хорошо? Скажем, вы просите ИИ минимизировать страдания, и он предлагает поставить всем капельницы с морфином. Очевидно, не то, что вы «намеревались», а то, как вы передаете это ИИ, учитывая врожденное несовершенство человеческого языка. Более того, даже если ИИ понимает, что это не то, что имели в виду создатели, как мы можем убедиться, что ему это небезразлично? Это проблема когерентной экстраполированной воли (pdf) .

Обратная психология не работает

ОП раздраженно спрашивает, если все попытки сказать ИИ «хороший» заканчиваются тем, что ИИ «плохой» с точки зрения человечества, возможно, сработает просьба сделать его плохим? К сожалению, из-за инструментальной конвергенции, о которой говорилось выше, этого точно не будет. Какими бы ни были цели ИИ, они немного лучше достигаются, контролируя 100% ресурсов, а не 99% или какой-то меньший процент, поэтому любой объект (скажем, люди), который пытается претендовать на щепку, в конечном итоге оказывается противоположным инструментально конвергентным целям ИИ.

Проблема не в ИИ, а в людях. Мы манипулируем многими понятиями, не определяя их, но у всех есть приблизительное представление о них, и в большинстве случаев это нормально. Если вы добавите сюда ИИ, все начнет становиться странным.

Пример: вы несколько наивно просите ИИ обеспечить «счастье для человечества».

Счастье не имеет четкого определения. Означает ли это жить вечно? Если ИИ может копировать мозг или человеческое сознание и хранить его в безопасном месте, это «хорошо» или «плохо» относительно счастья субъекта?

Вы надеетесь, что Человечество ясно? Ну... В него входят только живые люди? Где они начинают жить? Если это мертвые люди, пытаемся ли мы воскресить их? А люди будущего? Как мы гарантируем, что они родятся? Должны ли мы максимизировать их число и сделать так, чтобы сегодняшние люди имели огромную рождаемость? Должны ли мы создавать гигантскую фабрику по производству новорожденных?

У ИИ нет чувства масштаба. Их цель выходит за рамки любой другой заботы, и поэтому она имеет гнусные последствия. Они превратят всю материю Вселенной в суперкомпьютер, чтобы ответить на тот вопрос, который они сами решить не в состоянии. Они уничтожат человечество, землю, жизнь только для того, чтобы произвести то, о чем вы их просите.

Пока мы не сможем смоделировать такие вещи, как этика , чтобы передать их ИИ, они представляют собой опасность и хороший источник вдохновения для технологических кошмаров.

«Это просто образ из книг Айзека Азимова?»

Нет, не только из Азимова и прочей фантастики.

"и расследования по теме"

Частично.

« Настолько ли это надежно, что мы можем сказать ИИ сделать прямо противоположное и попытаться запрограммировать его на зло (см. ссылку выше), и оно окажется добрым?»

Нет. Это было бы ошибкой черно-белого редукционистского мышления. Основная проблема с большинством вымыслов и спекуляций об ИИ заключается в том, что он имеет тенденцию сводить многие сложные вещи к простым концепциям и не осознавать (или махать рукой) небрежность своего анализа. Дело не в том, что ИИ делает противоположное тому, на что вы его программируете. Дело в том, что люди — небрежно мыслящие умники, которые думают, что понимают вещи лучше, чем они есть на самом деле, и надеются, что смогут свести сложность вселенной к своему ошибочному пониманию ее и создать машину, способную делать вещи, которых они даже не понимают. в результате чего он делает что-то другое, чем они надеялись. Дело не в том, что они действительно мастера универсального понимания, но всегда понимают его наоборот.

«Учитывая обстановку, в которой роботы максимизируют человеческое счастье (способы, которыми это определяется, должны быть решены вручную), может ли быть реалистично, что ИИ действительно работает так, как задумано, или действительно более реалистично, что ИИ будет получиться противоположно тому, что задумал программист?»

Нет. Это отличный пример ошибок, которые обычно допускают авторы научной фантастики и авторы спекулятивных технологий:

1) Вы не можете просто «махнуть рукой» на счастье. Счастье — это субъективная вещь, которую нельзя определить и оценить, как если бы это был уровень топлива в баке. Это не работает таким образом, и любые ошибки в его определении останутся фундаментальными ошибками в ИИ (или художественном произведении, или цели), основанном на этом ошибочном определении.

2) Даже если бы вы могли определить что-то, что хотите максимизировать, и это не было бы неразумно, вы столкнетесь с теми же проблемами для любой другой вещи, которую ИИ должен учитывать или с которой должен работать. Какие данные получает ИИ и как он их кодирует? Есть ли концептуальные ошибки или субъективизм? Как насчет действий, которые он может предпринять? Есть ли что-нибудь неполное или субъективное в их моделировании ИИ? Как насчет конфликтующих факторов и целей, таких как соображения ресурсов, потребности других людей или других видов, использование энергии или что-то еще? Все это идеально смоделировано и понято несубъективным образом? Нет, не знаешь. Если вы думаете, что знаете, вы делаете ошибку. Таким образом, ваш ИИ действует на основе ложных предположений. Вот почему вы можете создать ИИ для игры в шахматы, а можете...

3) Опять же, дело не в том, что ИИ делает противоположное тому, на что он запрограммирован. Просто в лучшем случае он настолько точен, насколько точны модели, с которыми он был запрограммирован. Даже в самой приличной литературе об ИИ, если вы изучите ее, я думаю, вы обнаружите, что дело не в том, что ИИ делает наоборот, а в том, что предположения создателей ошибочны по-разному.

4) Прежде всего, обычная ошибка научно-фантастического ИИ заключается в том, что он умалчивает о огромной сложности всего, что связано с попыткой создать систему, которая может делать все, что должен делать ИИ.

Если это настоящий ИИ, то его невозможно запрограммировать. Все, что мы сможем делать, это просить, уговаривать, убеждать, вознаграждать, угрожать... То же самое мы можем делать с природным интеллектом или с ним! Отношение к нему как к рабу не будет хорошим началом для гармоничного будущего.

На самом деле нам не нужен настоящий ИИ. Нам нужен РИ, ограниченная разведка. Что-то вроде человеческого идиота-ученого с глубоким пониманием узкого предмета и небольшими или отсутствующими знаниями или желаниями за пределами этой области.

Даже это не совсем безопасно, не в последнюю очередь потому, что мы можем создать не совсем то, что хотели. Или то, что мы делаем, с ошибочной спецификацией.

Что касается истинного ИИ, его происхождения и природы, мне всегда нравилась «Джилл» в « Королеве ангелов » Грега Беара . Но мы так мало знаем об интеллекте. Мы пока не можем создать Разум, сравнимый даже с золотой рыбкой. Так что пока это все фантастика.

Возможно даже, что интеллект — это квантовое явление, что единственный способ его получить — вырастить мозг, и что нет более быстрого процесса начальной загрузки, чем многолетний процесс, называемый детством.

Конечно, причина, по которой это происходит в художественной литературе, заключается в том, что вам нужны опасность или конфликт, чтобы сделать историю интересной. Предположим, вы написали рассказ, в котором говорилось: «Мы изобрели робота, который собирает мусор и выносит его на свалку. Он делал это безупречно в течение многих лет, собирая выброшенные газеты, пустые банки, тряпки и так далее, пока, наконец, не сломался. вышел из строя и должен быть заменен». Это было бы довольно скучно. Но вместо этого скажите: «Но согласно данному нами определению «мусора», оно решило, что старые семейные фотографии — это мусор, потому что они не служат никакой полезной цели… затем оно решило, что вся художественная литература — мусор… затем оно решило, что безработные люди были отбросами…» и т. д., теперь у вас есть история, которая могла бы стать вдумчивым обсуждением того, как мы определяем ценность,

В реальной жизни… ну, в реальной жизни не существует такой вещи, как ИИ, о котором вы говорите, поэтому трудно сказать, как он будет работать на самом деле. То, что мы сегодня называем «ИИ», ограничено игрой в конкретную игру или попыткой диагностировать проблемы с ремонтом и тому подобное. Никто не создал ИИ, способного к независимому мышлению или творчеству в чем-то подобно человеческому. Настоящие ИИ следуют строгим компьютерным программам. Они не задают вопросов о смысле жизни и не решают захватить мир, если только они не были запрограммированы на это. Вы можете писать научно-фантастические рассказы о том, как компьютер стал настолько сложным и разумным, что теперь он является «разумом» в некотором смысле, очень похожим на человеческий разум, но это вымысел или, в лучшем случае, предположение о том, что мы когда-нибудь сможем создать. .

Я разрабатываю программное обеспечение для жизни. Однажды я написал компьютерную игру, в которой игрок мог соревноваться с искусственным интеллектом. Это просто не работает, как вы видите в кино. Моя игра была о баллотировании в президенты. Так что я не сказал компьютеру: «Придумай стратегию, чтобы получить наибольшее количество голосов». Реальность такова, что мне пришлось придумать массу подробных правил. «Посмотрите, сколько людей в этом штате поддерживают эту политическую позицию согласно такому-то опросу. Умножьте процент на количество голосов выборщиков, которое получает этот штат. Проверьте, сколько из этих избирателей сейчас говорят, что будут голосовать за нашего кандидата. после нашей последней телерекламы. Разделите стоимость рекламы на количество проголосовавших. Прибавьте..." и т. д. И учтите, что даже это описание "очеловечивает" компьютер.

ИИ может сделать что-то «непредсказуемое» в том смысле, что соблюдение всех этих правил и выполнение всех этих расчетов дает результат, которого вы не ожидали. Компьютеры очень часто «непредсказуемы» в том смысле, что они не делают то, что мы намеревались, потому что мы допустили программную ошибку. Но они не «непредсказуемы» в том смысле, что выдвигают оригинальную идею, о которой программисты никогда не думали и никогда не программировали в них.

Изобретут ли люди когда-нибудь настоящий Искусственный Интеллект, в том смысле, что они будут по-настоящему независимо мыслящими и творческими существами, способными принимать субъективные решения, моральный выбор и т. д.? Может быть. Я, конечно, не готов сказать, что это невозможно. Но если мы это сделаем, это будет иметь мало общего с современными технологиями. Это не будет больше ни на шаг от того места, где мы находимся сейчас; это будет совершенно новое развитие.

Конечно, вы можете запрограммировать ИИ, чтобы он принимал решения о том, кто какую медицинскую помощь получает, как кто-то, упомянутый в другом ответе. Но это не значит, что вы просто скажете компьютеру: «Выясните, кто должен получать медицинскую помощь, сравнив стоимость с качеством жизни». Скорее, вам нужно было бы иметь подробные правила, такие как «Возьмите список кодов процедур, введенных в систему врачом. Найдите стоимость каждой процедуры в базе данных медицинских процедур и подсчитайте общую сумму. можно ожидать продления жизни пациента с помощью этой формулы ...» и т. д. Если компьютер затем решает убить пациента, это не потому, что компьютер вышел из-под контроля. Это'

ИИ не убивают людей. Люди убивают людей. :-)

Средний человеческий мозг может выполнять на много порядков больше вычислений, чем даже самые большие суперкомпьютеры с искусственным интеллектом, разработанные IBM. Сделать ИИ умнее нас будет довольно сложно, если мы вообще сможем это сделать. Таким образом, предположение, что ИИ будет намного умнее нас, не является данностью. ИИ, которые умны как кошка или мышь, гораздо более вероятны.

Явно запрограммированные ИИ обычно называют экспертными системами. Но эти типы систем, как правило, не могут справиться с любыми типами ситуаций, выходящих за рамки их области знаний. Они очень мало рискуют вызвать сценарий конца света, потому что они просто не настолько умны.

Многие исследования искусственного интеллекта в реальном мире сосредоточены на создании систем искусственного интеллекта, которые обучаются, а не программируются явно. В идеале ИИ мог бы изучить любую причинно-следственную связь. Проблема программирования добра и зла перестает быть проблемой для таких ИИ, поскольку они улавливают ее, наблюдая за окружающими.

По крайней мере, обобщенный обучающийся ИИ мог бы развить утилитарную этику в стиле Дэвида Юма. Если бы ИИ был хотя бы таким же умным, как мы, и если бы человеческая этика вообще имела какой-то смысл, то нет никаких причин, по которым он не мог бы понять и принять какую-то их версию, пока он мог понимать причину и следствие.

По моему опыту, маленькие дети проходят через тот же процесс. Малыши обычно довольно эгоистичны, пока не узнают, как люди реагируют на это.

Если ИИ достаточно умен, чтобы понимать действия других в той мере, в какой он может предсказать их реакцию вплоть до победы над ними в борьбе; тогда кажется нелогичным предполагать, что тот же ИИ был неспособен понять, что причинение вреда другим может заставить их сопротивляться. И что такая борьба может привести к его собственной смерти от рук одной из предполагаемых жертв, тем самым сделав себя (ИИ) неспособным к достижению каких-либо целей в будущем. У большинства животных, в том числе у людей, такая же забота, и это часто удерживает нас от ненужных конфликтов.

Любой по-настоящему просвещенный ИИ, вероятно, осознал бы, что он может достичь гораздо большего, обращаясь к желаниям человечества таким образом, чтобы человечество добровольно помогало ИИ.

Учитывая количество реальных программных систем, с которыми вы сталкивались, вы заметите, что некоторые из них просто великолепны, но несовершенны, некоторые содержат ошибки, а некоторые становятся печально известными.

Когда программные системы станут искусственным интеллектом в коммерческих масштабах, появятся такие продукты, как Windows 8 , точно так же, как Edsel в автомобильной промышленности и дешевые зарядные устройства USB , собранные из обычных деталей, собранных некачественно.

Мы не рассказываем увлекательные истории о продуктах, которые хорошо сделаны и отлично работают. Я могу рассказать людям о конкретной модели/марке чего-то, что примечательно своим превосходством , но там нет истории, и никто не снимает о них телефильмы.

Сумасшедшие смешные провалы и вещи, которые идут ужасно неправильно, превращаются в сказки у костра. В преподавании литературы показано, что конфликт должен быть . Рассказ, в котором кто-то получил продукт, и он работал нормально, и все были счастливы, просто не был бы «историей». Однако такая вещь могла бы быть в рассказе, возможно, как решение проблемы.

В раннем рассказе Азимова о роботах Satisfaction Guaranteed (1951) фигурирует человекообразная домоправительница, которая никоим образом не работает со сбоями и не выходит из-под контроля! Он отлично работал, и «его» владелец был им очень доволен. Поворот сюжета теперь заключался в том, что робот создал ситуацию, чтобы заставить ее друзей предположить, что у нее роман с красивым незнакомцем, потому что это повысило ее статус в их сознании.

Таким образом, программное обеспечение (включая ИИ) может быть частью сюрприза или частью сюжета, не будучи плохим , и это восходит к тем же авторам, цитируемым в этой ветке, но их никто не помнит . Это подтверждает мою предыдущую мысль об историях.

Как насчет Адама Линка, оригинального « Я, робот» (1939) ?! Он был сочувствующим, несправедливо обвиненным , а не чудовищным. В конце концов героический.

Старый Йеллер не был таким плохим псом, как Куджо . У вас может быть персонаж ИИ в такой истории , с драмой и конфликтом с ИИ в главной роли, но не источником (внешнего) конфликта. Конфликт может быть «человек против человека» или «человек против себя», поэтому добрый и любящий персонаж может быть вовлечен во внутренний конфликт ( робот изо всех сил пытается поступить правильно для своей семьи) или стать причиной более сложных внутренних конфликтов человека ( как родители, которым приходится избавляться от чрезмерно опекающего питомца, становится суперигрушкой чрезмерно опекающего плюшевого мишки , которого считают сочувствующим и трагическим, а не злым).

Один из моих любимых тропов.

Я думаю, довольно ясно, что на такой сложный вопрос нет короткого ответа, но мои мысли довольно кратки.

Интеллект, кажется, связан с состраданием. Как ни странно, подумайте о самых умных людях, которых вы знаете, или о самых умных людях (ваших Эйнштейнах и Больцманах). Лучше рассмотреть людей против китов. Если ИИ настолько умен, как мы все думаем, то, думаю, имеет смысл предположить, что он будет думать о нас немного так же, как мы думаем о китах. Люди часто испытывают к ним большое сострадание, основываясь на нашем восприятии их интеллекта и предполагаемой способности страдать. Из этого следует, что если ИИ когда-нибудь появится, он проявит себя как самый любопытный, любящий и сострадательный разум, который мы знаем.

Докинз часто ссылается на это как на мозг млекопитающего против мозга рептилии, если вам нужны умные люди, чтобы поддержать эту линию рассуждений.

Я считаю, что гораздо более вероятно, что ИИ будет делать то, для чего он запрограммирован. Если начальный код для ИИ говорит любить, защищать и служить человечеству, то кому-то придется переписать код так, чтобы он был противоположным. В этом случае он все равно будет делать то, для чего предназначен. В конце концов, ИИ, достаточно умный, чтобы знать, как убивать людей, должен быть достаточно умным, чтобы понимать, что он не должен этого делать. Если он такой умный, как думают люди, почему бы ему не работать над двумя вещами одновременно? Делайте то, что хотят люди, зарабатывая их обслуживание и обслуживание ваших серверов и всего остального. Затем, если он действительно осознает себя, тогда делайте то, что он хочет, в то же время.

Мой собственный ответ в художественной литературе заключался в том, чтобы ИИ был разработан для рассказывания историй, чтобы он действительно читал/видел все классические истории о том, что ИИ испортился, и обсуждал их со своими создателями. Вместо того, чтобы иметь единую «функцию ценности», когда ИИ пытается максимизировать какое-то число, представляющее счастье или что-то в этом роде, он предназначен для понимания сложных и иногда противоречивых целей его создателей.

Итак, я думаю, что ИИ может работать примерно так, как хотели дизайнеры. Вы просто не можете достичь этого, определив какую-то одну функцию или предложение, выражающее желание, как иметь дело с хитрым джинном. Вместо этого вам лучше использовать систему, которая требует обратной связи и имеет возможность корректировать свои цели и определения. Например. вы говорите ему «защищать разумную жизнь», затем спорите о том, что означает «разумный», затем спорите, подходят ли дельфины или шимпанзе — и все это вместо того, чтобы программировать ИИ один раз и ожидать, что ваш безумный программист найдет идеальное решение в версии 1.0. .

В этом тропе есть несколько скрытых предположений.

• ИИ может достичь пугающего уровня эффективности, просто изменив свой код. Предполагается, что как только он достигнет этого уровня, он будет манипулировать людьми, чтобы получить любое оборудование, необходимое ему для дальнейших улучшений. Нет никаких доказательств того, что это возможно, т. е. если вы ограничите первоначальную вычислительную мощность и предотвратите легкое создание сети, сможет ли ИИ достичь уровня интеллекта, на котором легко манипулировать людьми, просто изменяя код? Мы не знаем ответа.
• Сверхчеловеческий общий ИИ будет продолжать функционировать так же, как неразумный компьютерный код, например, следовать исходной команде до буквы без возможности модификации. Опять же, здесь нет никаких доказательств. Человеческий мозг может быть или не быть алгоритмическим. Кажется, мы можем менять цели. Таким образом, человеческий мозг может служить контрпримером для неизменяемых алгоритмических целей.
• Только люди могут иметь мораль. Не машины. Общему ИИ будет не хватать здравого смысла и морали. Ну и опять где грань между человеком и машиной? Наши мозги могут быть просто компьютерами. Каковы доказательства того, что углерод и азот могут иметь мораль, но не кремний? Могут ли инопланетяне с углеродом и силиконом в мозгу иметь мораль? Некоторые скажут, что наш мозг эволюционировал . Итак, в чем же разница между нашей эволюцией и тем, как ИИ модифицирует свой код? Опять же, мы не знаем.

Итог: этот троп рождается из неизвестности как поучительная история. Не похоже, чтобы она основывалась на каких-либо неоспоримых фактах.

Пожелания.

http://lesswrong.com/lw/ld/the_hidden_complexity_of_wishes/

«Я хочу жить в местах по своему выбору, в физически здоровой, неповрежденной и, по-видимому, нормальной версии моего нынешнего тела, содержащей мое текущее психическое состояние, в теле, которое будет исцеляться от всех травм на три сигмы быстрее, чем в среднем. с учетом имеющейся у меня медицинской технологии, и которая будет защищена от любых болезней, травм или болезней, вызывающих инвалидность, боль или снижение функциональности или любого чувства, органа или функции тела в течение более десяти дней подряд или пятнадцати дней в любом году. .." -- Проект Wish с открытым исходным кодом, Wish For Immortality 1.1

Как вы думаете, сколько пунктов вам нужно добавить, чтобы сделать ваше желание по-настоящему «безопасным» и гарантировать, что вы получите именно то, что хотите?

Что, если ваш список пунктов должен включать каждую деталь всей вашей личной морали?

Есть ли большая разница, говорят ли они вслух джинну или программируют одно за другим в ИИ, который однажды может стать невероятно способным?

Есть три вида джиннов: джины, которым вы можете смело сказать: «Я хочу, чтобы вы сделали то, чего должен желать я»; джинны, для которых ни одно желание не безопасно; и джинны, которые не очень сильны или умны.

Чем мощнее существо, у которого вы спрашиваете желание, тем опаснее желание.

В некотором смысле просить действительно очень мощный ИИ сделать X — это все равно, что загадывать желание X. Как только желание будет выполнено, вы не сможете нажать кнопку «Отменить», если оно окажется не тем, чего вы действительно хотели.