Сингулярность ИИ и передача интеллекта

Я был весьма впечатлен отказом Дэвида Дойча от страха перед сингулярностью общего интеллекта ИИ, основанного на идее, что любой истинный интеллект в некотором смысле начинается с гибридного интеллекта человека и машины. Я представил человеко-машинных киборгов или симулированный человеческий мозг, как это пытается сделать проект «Человеческий мозг».

Но я только что столкнулся с резким отрицанием этой точки зрения Элиэзером Юдковским:

• Я не думаю, что «слияние» людей и машин является вероятным источником первых сверхчеловеческих разумов. Потребовалось столетие после появления первых автомобилей, прежде чем мы смогли даже начать одевать роботизированный экзоскелет на лошадь, а настоящая машина все равно была бы быстрее.

• Я не ожидаю, что первые сильные ИИ будут основаны на алгоритмах, открытых с помощью нейронауки, так же, как первые самолеты не были похожи на птиц.

• Я не думаю, что «конвергенция» нано-информации-био вероятна, неизбежна, четко определена или желательна.

• Я думаю, что экстраполировать график технического прогресса по закону Мура за пределы точки, в которой, как вы говорите, он предсказывает ИИ умнее человека, просто странно. Искусственный интеллект умнее человека ломает ваши графики.

• Единственный ключевой технологический порог, который меня волнует, — это тот, где ИИ, то есть программное обеспечение ИИ, становится способным к сильному самосовершенствованию. У нас нет графика продвижения к этому порогу и неизвестно, где он находится (за исключением того, что он не должен быть намного выше человеческого уровня, потому что люди могут заниматься информатикой), поэтому он не может быть рассчитан по графику или известно, что он близко, и не известно, чтобы быть далеко. (Незнание подразумевает широкий интервал доверия, отсутствие уверенности в том, что что-то находится далеко.)

• Я думаю, что результаты не являются хорошими по умолчанию - я думаю, что результаты можно сделать хорошими, но это потребует напряженной работы, для которой у ключевых участников может не быть немедленных стимулов. Говорить людям, что мы находимся на траектории по умолчанию к великим и прекрасным временам, неверно. Из

Это проливает свет на то, что связано с передачей человеческого интеллекта между людьми и любому ИИ. В каком-то смысле это должна быть передача. Например, с https://en.m.wikipedia.org/wiki/AlphaZero , несмотря на то, что он смог адаптироваться от Go к Chess, это требует некоторого понимания дизайна и целей игры. Вместилище для вычислений, точно так же, как мозг человеческого младенца и его взаимодействие с энергетическими потоками является вместилищем, которое должно значительно развиться, чтобы переопределить игру.

Есть ли что-нибудь помимо предположений о том, насколько истинный общий интеллект ИИ будет нуждаться в языке, обучении и культурной передаче, или может ли он каким-то образом стать «самовозникающим» — может ли он в каком-то смысле стать совершенно новым эволюционным деревом, развивающимся сам по себе? как нас развивала эволюция?

Возможно, существует параллельный вопрос о том, насколько потомки напоминают предшественников, как сохраняется и передается интеллект и насколько мы можем определять себя. Кажется, существует напряженность между индивидуальным и общественным интеллектом.