В 2004 году широкое признание получила книга Джеффа Хокинса « Об интеллекте » . Но Хокинс сделал некоторые заявления об искусственных нейронных сетях, которые кажутся (мне) несостоятельными сегодня, всего 13 лет спустя. У него создается впечатление, что искусственные нейронные сети в принципе не способны к тому, что он называет инвариантными представлениями и иерархическим хранением паттернов (стр. 70 и далее).
Мои вопросы:
Разве он не видел (пред) развитие глубокого обучения, которое началось самое позднее в 2005 году (см. История глубокого обучения ) и которое включает как инвариантные, так и иерархические представления?
Или его ретенции против искусственных нейронных сетей (включая глубокое обучение) оправданы, а инвариантные и иерархические представления глубокого обучения неконкурентоспособны по отношению к биологическим сетям, т.е. неокортексу? Тогда в каком отношении?
Об инвариантных и иерархических представлениях (в моих словах и понимании):
Инвариантное представление, например лица, является представлением, которое не зависит и, таким образом, является инвариантным по отношению к случайным аспектам изображения лица, связанным с расстоянием, углом обзора, условиями освещения и т.п.
Это представление на самом высоком уровне иерархии представлений с локальными геометрическими элементами, представленными на самом низком уровне.
Это поверхностно описывает как глубокое обучение, так и корковую архитектуру. Но, может быть, есть детали реализации/реализации, которые делают одно значительно и действительно более эффективным, чем другое, например, корковые столбцы, которые, кажется, не присутствуют в архитектурах глубокого обучения, не так ли?
Я думаю, что терминология Хокинса не так точна, как должна быть. Я думаю, что это и есть основная причина этого вопроса.
Впечатление, что Хокинс говорит, что компьютеры или нейронные сети никогда не смогут выполнять определенные задачи, которые являются рутинными для человеческого мозга, может быть связано с его недостаточной точностью.
Вы пишете (в комментарии):
У меня сложилось впечатление, что он рассматривает компьютеры и ИНС как одно и то же.
Это не мое впечатление 1 , поэтому я отвечу на два вопроса:
В главе 2 «Нейронные сети», стр. 23-39, Хокинс говорит об определенном виде искусственных нейронных сетей (в основном стр. 24-29).
В основном он говорит об очень простых ИНС. См. стр. 25:
Большинство нейронных сетей состояло из небольшого количества нейронов, соединенных в три ряда.
Это правда, что есть много задач, с которыми такие простые ИНС не справляются (или не могут справиться хорошо), но, конечно, это не так для более сложных ИНС. Я думаю, что проблема здесь в том, что Хокинс не всегда делает это различие достаточно ясным, хотя он говорит на с. 28:
Я не хочу, чтобы у вас сложилось впечатление, что все нейронные сети представляют собой простую трехслойную разновидность. Некоторые исследователи продолжили изучение нейронных сетей различной конструкции. Сегодня термин «нейронная сеть» используется для описания разнообразного набора моделей, некоторые из которых более точны с биологической точки зрения, а некоторые нет.
Может быть, следующая цитата на с. 32 можно интерпретировать так, что он действительно предвидел некоторые события после 2004 года:
В последние годы растет вера в важность обратной связи, времени и прогнозирования. Но гром ИИ и классических нейронных сетей многие годы подавлял и недооценивал другие подходы.
В главе 4 "Память", стр. 65-84 (которая содержит упомянутую вами стр. 70ff) он говорит не об искусственных нейронных сетях, а о "компьютерах". Он не уточняет, что именно имеет в виду, но я предполагаю, что это примерно «машины, которые работают в основном как современные компьютеры».
На стр. 67, он говорит, что даже «самый большой параллельный компьютер, какой только можно вообразить, не может решить» определенные задачи, которые может решить мозг. Я думаю, что это неправильно, но поскольку не совсем понятно, что он имеет в виду под «компьютером», я не уверен.
Некоторые или большинство заявлений Хокинса могут быть правильными, но это зависит от того, что он подразумевает под «компьютерами» или «нейронными сетями», и он не всегда ясно дает это понять.
1 Например, эта цитата на с. 24, кажется, подразумевает, что он действительно видит разницу:
Нейронная сеть отличается от компьютера тем, что у нее нет центрального процессора и она не хранит информацию в централизованной памяти.
Физз
Ханс-Петер Стрикер