Как hPES сравнивается со скоростью обучения ANN?

Основным механизмом обучения искусственных нейронных сетей (ИНС) является обратное распространение, что биологически неправдоподобно [2].

Тревор Берколей создал альтернативу этому обучению с помощью Neurological Engineering Framework (NEF) и Nengo под названием hPES (Homeostatic Prescribed Error Sensitivity) [1]. Но как его возможности обучения сравниваются со стандартным контролируемым и неконтролируемым обучением ИНС с точки зрения требуемой вычислительной мощности и скорости обучения?

[1] См. также «Как построить мозг» Криса Элиасмита, глава 6.4.

[2] Более подробную информацию об этом утверждении можно найти в вопросе «Более правдоподобна ли обратная опора с биологической точки зрения? »

Примечание. Этот вопрос изображал ANN и NEF как состязательные, что на самом деле не так. Модель мозга Spaun, которая является своего рода детищем NEF, использует ANN (в частности, сверточные нейронные сети), преобразованные в импульсные нейроны в своей системе зрения.

Ответы (1)

Согласно документу, преимущество этого нового подхода по сравнению с обычными ИНС, сетями глубокого доверия (DBN) и самоорганизующимися сетями (SON) заключается в следующем:

  1. Остается функциональным во время онлайн-обучения.
  2. Требуется только два слоя, связанных с одновременным контролируемым и неконтролируемым обучением
  3. Использует модели импульсных нейронов для воспроизведения основных особенностей биологического обучения, таких как пластичность, зависящая от времени импульса (STDP).

Так что, возможно, hPES превосходит ИНС с точки зрения возможностей, но с точки зрения производительности вам придется сравнить код из его экспериментов с ИНС, предназначенными для выполнения той же задачи, но поскольку обе методологии разработаны с разными целями. , может и не стоит сравнивать. Кроме того, следует отметить, что, хотя автор утверждает, что создал SON, подтверждение этого утверждения в статье (и его магистерской диссертации) довольно слабое. В статье он только доказывает, что SON увеличивает разреженность, для чего обычно не используются SON (например, сети Кохонена).

Наконец, обратите внимание, что, хотя hPES более правдоподобна с биологической точки зрения, у нее все же есть некоторые из тех же проблем, что и у ANN. А именно, параметры, которые он принимает, должны быть оптимизированы для конкретной задачи, которую он изучает (некоторые подходы к решению этой проблемы с помощью ИНС включают генетические алгоритмы), даже если он менее чувствителен к изменению параметров. Автор упоминает об этом исследовании параметров как о части будущей работы.

Разве hPES не имеет дело только с кодами скоростей, а не с пиковыми значениями? Лучше задать вопрос, чем hPES отличается от STDP.
@MattWay hPES можно использовать с импульсными и частотными нейронами, как и все в Nengo.
Я не говорил, что нельзя.
@MattWay, читая это снова, извините, я неправильно вас понял. Если вы ознакомитесь с магистерской диссертацией Тревора Беколая, вы увидите, что hPES охватывает все аспекты STDP.
@MattWay годы спустя у меня есть ОЧЕНЬ краткое изложение того, как это соответствует в этом ответе .
Как hPES сравнивается со скоростью обучения ANN?
СпросиСетьПолитика конфиденциальности1y, 0v