Ложные аттракторы в сетях Хопфилда

Я думаю, что ваша интуиция о более низком «энергетическом коэффициенте» ложных состояний, объясняющем их большую восприимчивость к разучению, может быть верна.

В сети Хопфилда ложные состояния — это паттерны активности, которые не были явно встроены в синаптическую матрицу, но, тем не менее, являются стабильными. Другими словами, это «нежелательные» состояния аттрактора, которые в силу конечного перекрытия с «желательными» состояниями аттрактора возникают как локальный минимум в функции энергии. Правило разучивания в Hopfield et al. (1983) состоит в модификации синаптической матрицы таким образом, чтобы уменьшить энергию устойчивых состояний, в которых устанавливается сетевая динамика, будь то ложные или встроенные состояния. Поскольку ложные состояния имеют более высокую энергию, чем встроенные состояния, на них сильнее влияет этап отучения.

Теперь, почему ложные состояния имеют более высокую энергию, чем встроенные состояния аттрактора? Что ж, на самом деле это не так в общем случае, но это имеет место в режиме, когда сеть Хопфилда не превышает своей пропускной способности, то есть когда количество выученных образов превышает количество единиц$p/N$ниже критической емкости$\alpha_c\approx0.138$. В этом режиме можно оценить перекрытие ложных состояний с выученными паттернами и показать, что оно в целом меньше, чем$1$(наложение выученных паттернов на себя). Из-за хеббовской конструкции синаптической матрицы в модели Хопфилда эти перекрытия являются членами, которые появляются в функции энергии. Энергия паттерна прямо пропорциональна минус квадратному корню из его перекрытия с выученными паттернами. Это означает, что ложные паттерны имеют более высокую энергию, чем заученные.

Вообще такого рода наивные рассуждения должны быть подкреплены более строгими аргументами, основанными на теории вероятностей. Они, например, указывают, что даже для режима ниже$\alpha_c$извлеченные шаблоны на самом деле являются ложными состояниями, как только число встроенных шаблонов$p$превышает выше$\frac{N}{2\ln N}$. Однако такие ложные состояния имеют такое сильное совпадение с выученными паттернами ($0.97$), что они в основном совпадают с ними.

Этот результат и его обобщения для ненулевой температуры (т.е. шума в динамике) и за пределами критической емкости были разработаны в следующей очень технической статье:

• Амит Д.Дж., Гутфренд Х. и Сомполинский Х. (1987) Статистическая механика нейронных сетей, близких к насыщению . Энн. физ. (Нью-Йорк) 173, 30

и в книге:

• Амит DJ, (1992) Моделирование функции мозга: мир аттракторных нейронных сетей . Издательство Кембриджского университета, ISBN: 9780521421249