Вычислительные различия между импульсными нейронными сетями и предыдущими ИНС

Это вопрос ИИ относительно «нейронных сетей 3-го поколения» — импульсных нейронных сетей (SNN).

Я изучал эту концепцию в Интернете по разным статьям, в основном по Maass (1997) . Я и не совсем уверен, что понимаю, почему SNN считаются импульсным кодом, в отличие от более ранних ANN, которые являются кодом скорости.

У меня есть опыт работы в области неврологии, поэтому я понимаю термины и соотношения, я спрашиваю о фактической реализации.

Является ли практическая разница в том, что когда каждый нейрон обновляет свое текущее состояние в SNN, он имеет дело со всей историей каждого пресинаптического нейрона, а не только с последним шагом? Это то, что дает ему временные характеристики, которых нет у ИНС предыдущего поколения? В чем ключевое вычислительное различие между SNN и более ранними подходами?

Ноты

Этот вопрос был перенесен из SO, и в cstheory был задан дубликат, который был перенесен в CS.SE.

Обычно на Stack Exchange это сильно не одобряется; вопросы должны существовать только на одном сайте. Амир, пожалуйста, обновляйте оба вопроса, и когда вы принимаете ответ на одном сайте, обязательно ответьте на вопрос на другом сайте и свяжите их вместе. И, пожалуйста, избегайте кросс-постинга в будущем. Спасибо!
Извините, я не знал о правилах. Я просто думал, что вопрос находится в серой области между двумя полями. Я сохраню оба и свяжу окончательный ответ, если получу его.

Ответы (1)

Сеть на основе скорости — это конкретная реализация более общей сети с пиками. Сеть на основе скорости можно рассматривать как сеть с пиками, в которой входные данные от каждого нейрона накапливаются в течение короткого периода времени (подумайте об «одной секунде») и используются для обновления состояния их целевого нейрона только один раз. в каждый временной период.

Например, если входной нейрон имеет выход «40» в сети, основанной на частоте, вы должны думать об этом так, как будто он срабатывает 40 раз за период времени, и только один раз за каждый период времени это целевой нейрон. «прочитать» этот ввод.

С другой стороны, у импульсных нейронов вывод ограничен двоичным кодом, и, следовательно, используемый период времени должен быть короче максимальной скорости. В каждый период времени целевой нейрон обновляет свое состояние на основе своего (двоичного) ввода.

Итак, подведем итог:
* Спайки сетей описывают более общие явления.
* Сети с пиками могут реагировать на входные данные с тонкой временной структурой и действовать в периоды времени, которые на порядок меньше, чем модели, основанные на скорости.

Также можно добавить, что пиковые сети, вероятно, являются более точным биологическим описанием мозга (но все же очень грубым описанием).

Возьмем простой персептрон, тоже с бинарным выходом. Судя по вашему описанию, его тоже можно интерпретировать как импульсный код, все дело в том, какой шкале времени вы приписываете каждую итерацию сети (каждый период времени). Однако считается, что нейроны IAF обладают другими способностями, чем персептроны, а именно способностью находить временные закономерности в данных. Таким образом, независимо от интерпретации, должна быть какая-то существенная разница в реализации, чтобы объяснить это. Я что-то упускаю? Большое спасибо Ури
Рассмотрим сеть, которая получает входы в M периодов времени от N входов. Тогда для каждого из этих периодов времени вы можете думать о сети как о персептроне; но отношение ввода-вывода на всех M периодах, где есть 2 ^ M различных выходов, по своей сути отличается от M независимых персептронов из-за нетривиальных взаимодействий между ними.
Хорошо, я думаю, что понимаю это. Но давайте возьмем эту сеть с точно такой же структурой и заменим реализацию нейрона с IAF на персептрон. Имейте 2 копии одной и той же топологии и времени работы (время M, входы N) с различной реализацией для нейронов. Почему один код должен быть импульсным, а другой код скорости?
Это просто имена, которые указывают, что каждый период времени обрабатывается независимо (в персептроне) взаимодействия друг с другом посредством изменения состояния сети («напряжение» в IAF).
Вычислительные различия между импульсными нейронными сетями и предыдущими ИНС
СпросиСетьПолитика конфиденциальности1y, 0v