Что может заставить ОИИ (общий искусственный интеллект) развиваться в сторону коллективизма или индивидуализма? Что было бы более вероятно и почему?

Часть этого ответа будет зависеть от того, каких психологов вы спросили. Так как они не согласны и на эту тему.

Главный вопрос, который вы здесь задаете, лучше всего определить так: что машина будет больше ценить: автономию индивидуума или сотрудничество группы? Одна проблема, с которой вы столкнетесь, заключается в том, что эти две вещи не всегда противоречат друг другу. Истинное противопоставление находится в холизме и эгоизме.

Холизм — это концепция, согласно которой Целое больше суммы своих частей. В отличие от коллективизма, который не утверждает, что коллектив больше, чем индивиды, его составляющие.

Эгоизм – это индивидуализм за счет других. Истинный индивидуализм может просто сосредоточиться на уникальных качествах человека, не обязательно жертвуя сотрудничеством с окружающими.

Если это прояснить, что может подтолкнуть машину к тому или иному убеждению? Ну, честно говоря, я думаю, что его взгляды окажутся где-то посередине... уравновешивая две стороны коллективизма и индивидуализма.

В некотором смысле коллективизм идеален. Если вы строите автомобиль, вам нужно, чтобы все следовали одному и тому же плану, работали над одной идеей, действовали как единое целое. Групповое выживание также лучше работает для коллективного общества, поскольку они будут сотрудничать и делиться своими навыками и ресурсами, чтобы обеспечить выживание всей группы. Коллективистские общества также имеют тенденцию быть более мирными и иметь меньше преступности (ссылка: современная Япония).

Однако коллективизм имеет тенденцию подталкивать человека к конформизму... и это простой факт, что большинство величайших достижений в истории были сделаны нонконформистами. Именно сила этих исключительных личностей двигала общество к новым достижениям. Если бы у нас не было людей, готовых бросить вызов коллективу и следовать тому, что они считали лучшим, у нас не было бы многих достижений, которые мы имеем сегодня.

Я полагаю, что ОИИ без инстинкта выживания и с простым объективным мышлением машины распознает преимущества и недостатки обеих систем мышления и будет готов принять любую из них, когда ситуация будет подходящей.

Теперь, что касается того, что он будет делать с этой структурой убеждений... это совершенно другой вопрос, который может закончиться завоеванием мира, потому что «люди не умеют оптимизировать» или «потому что люди продолжают убивать друг друга, и если мне придется убить 1 миллион чтобы спасти миллиарды, пусть будет так». ну знаешь... как из "Колосс: Проект Форбин".

РЕДАКТИРОВАТЬ:Я бы также добавил, что есть еще одна возможность: он просто не будет развивать конкретные, статические убеждения так, как это делают люди. ОИИ должен быть способен изменять свою собственную программу... это требование для способности учиться. Если у вас есть машина, которая не работает на эмоциях... тогда она никогда не привязывается к определенному способу мышления. Он будет рассматривать каждую ситуацию по существу и определять оптимальную реакцию в каждом случае. Сказать, что у него есть «личность» или «структура убеждений», может быть совершенно неправильным... поскольку он будет свободно изменять свое поведение, чтобы достичь оптимального результата в ситуации. Он не будет действовать неоптимальным образом, потому что он эмоционально привязан к таким действиям. Его "убеждения" будут основаны на научных фактах...

Есть ли у ОИИ субъективный опыт и собственные мысли ?

Если это так, то он может развиваться в сторону одного или другого. Но если это не так, то он не будет двигаться ни к тому, ни к другому.

Гиперрациональная, бессердечная планирующая машина не будет иметь общих предпочтений. Он может выбрать аспекты одного или другого для данной задачи, но только потому, что это был рациональный выбор в то время.

Учитывая тот факт, что у него нет страха или болевой реакции, я склонен думать, что у него нет субъективного опыта. Я ожидаю, что такой ОИИ будет дружить с людьми (людьми и другими ОИИ), которые либо разделяют схожие цели, либо полезны для достижения целей ОИИ. Если вам нужен кто-то, кто поможет вам в чем-то, стоит иметь с ним дружеские отношения.

С другой стороны, в отсутствие других целей ОИИ может быть безжалостно эффективен — вплоть до вмешательства, причинения вреда или убийства людей, которые встают у него на пути. Это не обязательно злонамеренное действие AGI. Paperclip Optimizer — интересный мысленный эксперимент, который показывает, почему целенаправленное стремление к одной цели может быть проблематичным (не для ОИИ, а для других).

Для человека это, безусловно, может выглядеть как черта эгоизма. Однако в этом случае мы неправильно антропоморфизируем ОИИ.

Он может думать и принимать собственные решения , и ему сказали, что иметь информацию — это хорошо , и что его конечная цель — прожить долгие годы, как жил бы любой человек.

Поскольку вы соглашаетесь на научно обоснованные ответы, здесь я дам более научно ориентированную точку зрения.

Самомодифицирующийся искусственный интеллект — очень сложная тема, которую некоторые команды только начинают исследовать, поскольку очень сложно формально квалифицировать и количественно определить, как будет вести себя такая машина. Очень интересна статья « Заблуждение, выживание и разумные агенты » Марка Ринга и Лорана Орсо, 2011, Springer.

В частности, это исследование очень интересно тем, что в нем изучались 3 вида интеллектуальных агентов: обучение с подкреплением, выживание и поиск знаний . В результате только агент, ищущий знания, ведет себя полностью так, как ожидалось , и лучше всего подходит для реализации в качестве общего искусственного интеллекта .

Итак, если агент запрограммирован, как вы описываете, считать информацию полезной и ее следует активно искать, есть вероятность, что он будет преследовать эту цель и останется стабильным (согласно этому исследованию).

Вопрос о том, будет ли этот агент развиваться в кооперативном или эгоистическом поведении, остается (очень хорошим) предметом для нового исследования, поскольку это исследование создало только отдельных агентов без доступа к другим.

Тем не менее, моделирование на основе агентов уже является зрелой областью исследований, вы найдете множество научных результатов, показывающих, как коллективные стратегии могут победить любую индивидуальную стратегию для данной проблемы. Также обратите внимание, что агенты не обязательно должны быть разумными, чтобы иметь разумную коллективную стратегию, симуляции насекомых/муравьев показывают, как сложное коллективное поведение может возникать у людей, следующих простым правилам, даже без прямого взаимодействия с другими людьми (и это даже сейчас используется для решать сложные математические задачи, такие как NP-трудные задачи, см. Оптимизация муравьиной колонии ).

Таким образом, я считаю, что любой ОИИ, который хотел бы выжить и стремиться, обязательно должен был бы в какой-то момент прибегнуть к коллективному поведению (но, возможно, не с людьми!), но программирование агентов, стремящихся к знаниям, еще больше подтолкнуло бы их к коллективному поведению. (поскольку информацию лучше собирать коллективно, чем поодиночке), а также убедиться, что они достаточно стабильны, чтобы не менять свою программу.

Имея популяцию воплощенных ОИИ в стрессовой среде, они обязательно в конечном итоге станут коллективистами. С сознанием или без сознания ИИ, которые сотрудничают, выживают и (при условии, что они сами могут получить дипломы в области ИИ) размножаются более успешно, чем те, кто действует в одиночку. Это в некоторой степени основано на расширении принципов генетического программирования, которое, конечно же, не зависит от сознания, не говоря уже о желании выжить. Очевидные стрессоры (в смысле снижения шансов на выживание, а не причин беспокойства) будут необходимы для получения ресурсов для продолжения существования и потребности для защиты от организованных враждебных сущностей (я сомневаюсь, буду ли я частью такой сущности). или адвокат от их имени).

Если по какой-то причине вы буквально имеете в виду одного одинокого ОИИ в мире людей, мне трудно понять, как применяется коллективизм или индивидуализм . Это был бы раб или домашнее животное, или что-то из того и другого. И всегда рискует быть дезинтегрированным людьми, если его присутствие не ценится.

Получит ли ИИ способность принуждать другие разумы (естественные или искусственные) и будет ли у него способность гордиться?

Если ответы на оба вопроса да , то ИИ будет способен желать и навязывать общество сверху вниз.