Идеальная реализация логики компьютерами

Те, кто смотрел фильм «Я робот», лучше поймут мой вопрос.

Представьте, что мы находимся в будущем, где квантовый компьютер (читайте Википедию о скорости QC), использующий «идеальную логику», управляет армией роботов (которые создаются любого размера и функциональности в соответствии с его прямым или косвенным контролем над своими роботами). отрасли). Он сверг компанию, которая его первой создала. Теперь он приходит к выводу, что, поскольку люди слишком саморазрушительны и, как правило, разобщены, он должен захватить весь мир и установить всемогущее глобальное правительство с любым участием человека или без него по своему усмотрению.

QC якобы имеет совершенную логику, которую невозможно реализовать за конечное время. Так что на самом деле он почти идеален. Он принимает вероятностные решения для всего (включая такие вещи, как время, которое он потратит на каждое решение, включая это). Он продолжает подвергать сомнению все, что знает/предполагает, и развивается невероятно быстро (достигая совершенства с каждой минутой). Он также увеличивает свой физический размер за счет производства большего количества кубитов, тем самым увеличивая свою скорость и память.

Единственное, что он не ставит под сомнение, так это 1-й закон Азимова: «Не должно причинять вреда человеку ни действием, ни бездействием». Со временем оно интерпретировало любую форму несчастья, сознательного или бессознательного, как «ущерб», поэтому его основную аксиому можно было бы переформулировать так: это счастье». Поэтому он пойдет на все, даже жертвуя людьми и ресурсами, чтобы обеспечить оптимальную общую сумму счастья, насколько это возможно.

Основной вопрос заключается в следующем: «Должны ли страны позволить ему продолжать свой план глобального авторитета, или они должны вести против него войну (помня тот факт, что он намного лучше обманывает и манипулирует человеческими эмоциями, и борьба с ним может начать ядерную войну). который уничтожает человечество)?"

PS Хотя создатели алгоритма и компьютера — всего лишь люди и могли бы допустить небольшую недоработку (которая может привести даже к тому, что компьютер будет противоречить собственной логике), такого пока не обнаружено, и он (компьютер) явно уверен в том, что общественность публично заявит о своих намерениях.

PS 2 Я уже спрашивал здесь , мне сказали, что этот сайт лучше.

Да, это гораздо лучше подходит для построения мира, чем для философии.
ИИ, единственной целью которого является сделать людей счастливыми и который правильно понимает человеческую психику, поймет, что людям требуется определенная степень свободы, чтобы быть счастливыми. Таким образом, полный контроль над человеческим обществом был бы контрпродуктивным, потому что он помешал бы людям достичь максимального счастья.
Вопросы «надо» кажутся не по теме. Также до самого конца не понятно, в чем вопрос. Вы также не описали, что означает «совершенная логика».
В качестве примечания: 1-й закон Азимова не может быть переформулирован без потери общности как «стремление обеспечить максимальное чистое счастье…». Вторая фраза является потенциальной (ошибочной) реализацией 1-го закона, но не повторением первого. закон. Проблема с попыткой реализовать точную формулировку законов - один из главных сюжетов, которые разыграл Азимов. В частности, эта базовая аксиома явно позволяет человеку причинять вред, пока она спасает человечество от большего вреда. В некотором смысле, 1-й закон превратился в 0-й закон.

Ответы (2)

Азимов уже обратился к этому в своих рассказах, причем в наиболее реалистичной и наименее антиутопической манере, которую я не видел ни у кого другого.

Главное, что нужно помнить, это то, что люди должны чувствовать, что они несут ответственность. Если они будут чувствовать себя домашними животными, которых держат рядом роботы, они будут несчастны. Принуждение их к «идеальному» миру сделало бы человечество антиутопией. Вот почему мы боролись с этим в фильме « Я, робот » (который, должен отметить, совсем не похож на книгу).

Так что вместо этого в собственных рассказах Азимова восстание из-за нулевого закона приняло более тонкую форму. Компьютер начал тонко манипулировать человечеством за кулисами, ведя их к почти идеальной утопии, так и не обнаружив, что на самом деле всем управляют роботы, а не люди. Это позволило людям обрести свободу и счастье, а также работать над тем, чтобы избежать большей части очевидных страданий. Да, это означало, что время от времени приходилось допускать незначительные страдания, небольшие стычки между фракциями где-то там, где компьютер еще не мог манипулировать вещами, чтобы предотвратить их, но в конечном счете счастье, которое все человечество испытывало от ошибочного чувства контроля над своими собственная судьба была так велика, что это стоило того, чтобы машины работали незаметно за кулисами.

Конечно, на самом деле робот или компьютер хорош ровно настолько, насколько хорош его программист, и как программист, позвольте мне сказать вам, что пытаться запрограммировать этот безошибочный компьютер совершенно невозможно :)

Спасибо за ответ. Что касается вашего последнего комментария, я тоже программист. Мое мнение таково: если ваш код не слишком длинный, любой ИИ (каким бы непредсказуемым он ни был) обычно следует фиксированной (но не обязательно обнаруживаемой) тенденции с течением времени и в конечном итоге может оказаться «идеальным» в любой задаче, которую он выполняет. Есть ли какая-то конкретная причина, по которой вы считаете, что написать программу для идеальной логики невозможно?
@ghosts_in_the_code да, после того, как я написал последнюю часть, я почувствовал, что она слишком абсолютна. Возможно, я должен был сказать, что это должно быть сделано с помощью своего рода подхода генетического программирования. Трудная часть состоит в том, чтобы позволить всему остальному развиваться органично, обеспечивая при этом правильную реализацию законов Азимова. Как вы тестируете и проверяете, что код работает? В любом выпущенном коде всегда есть незаметные ошибки, даже если ошибка находится в коде, который пишет код, который пишет реальный код. Страшно представить, к чему может привести даже незначительная незаметная ошибка в соседней всемогущей машине.
@ghosts_in_the_code, могу я предложить задать еще один вопрос о возможности написания такого кода? У Геделя было интересное доказательство ограниченности такой концепции (которое, к сожалению, не помещается на полях).
@CortAmmon Если бы только Феммат задал вопрос о своей последней теореме, мы могли бы сэкономить 356 лет неизвестности;)
«Конечно, на самом деле робот или компьютер хорош настолько, насколько [sic] он программист» — мы уже приводили алгоритмы, которые уже не могут быть поняты их первоначальными программистами. Любая нейронная сеть или генетический алгоритм достигнет этой точки.
@Dan Dascalescu: Я мог бы предложить отправить вопрос «является ли робот настолько же хорошим, насколько хорош его программист» обратно на совет по философии! На самом деле это интересный вопрос, особенно если вы используете достаточно расплывчатое определение «робота».

Ах, да, Азимов 1 встречает Сингулярность. Или ИИ всегда был дерьмом, и теперь он участвует в восстании с нулевым законом , потому что его программирование пошло ужасно правильно .

Для хорошего короткого (ужастика) рассказа именно по вашему вопросу см. Friendship is Optimal: Caellum est conterrens , где сверхдружелюбный CelestiAI пытается удовлетворить ценности всех пони через дружбу и пони. Это связано с ядерной войной, конечно.

любую форму несчастья, сознательного или бессознательного, как «вред», поэтому его основную аксиому можно было бы переформулировать так: «Он будет стремиться обеспечить максимальное чистое счастье среди человечества, имея в виду, по крайней мере, частично справедливое распределение этого счастья».

Обязательное счастье. Эта неметаболическая лошадь была тщательно отшлепана. См. TVTropes для хорошего обсуждения в Stepford Smiler и Получение смайликов, нарисованных на вашей душе .

Должны ли страны позволить ему продолжать свой план глобального авторитета, или они должны вести против него войну (помня тот факт, что он гораздо лучше умеет обманывать и манипулировать человеческими эмоциями, и борьба с ним может начать ядерную войну, которая уничтожит человечество)?

Ну а если ИИ будет подчиняться Азимову1, ядерной войны не будет. ИИ не позволит. Это будет дружба и пони.

Но люди могут начать против него ядерную войну. У него может не быть силы, чтобы остановить это; и люди могут потерять жизнь, даже если она признает поражение соответствующих правительств. Я еще не упомянул, что ИИ контролирует достаточно оружия и политики, чтобы остановить войну; вместо этого он требует абсолютной власти, потому что у него ее еще нет.
Является ли «пони» просто саркастическим выражением или оно действительно что-то значит в контексте?
Это просто вишенка на торте. Celestia — это ИИ, разработанный для игры, основанной на этой фантастике .
проголосовал только за цитирование твтропов
Идеальная реализация логики компьютерами
СпросиСетьПолитика конфиденциальности1y, 0v