Поэтому я закрываю глаза, оборачиваюсь, открываю их на мгновение и снова закрываю. Я заметил стул. Я не могу рассказать вам, как стул выглядит в деталях, но я могу более или менее сказать его форму и цвет. Более того, если меня не беспокоить, я могу помнить эту форму и цвет по крайней мере минуту.
Что, если бы я захотел сконструировать устройство, которое могло бы повторить этот процесс. С цифровым оборудованием это не так сложно — возьмите цифровую камеру и твердотельное запоминающее устройство. Для каждого бита информации на моем твердотельном накопителе я могу вызвать операцию «сохранить», и мой бит будет сохранен, или «стирать», и он будет стерт. Не знаю, насколько надежно каждый физический бит работает с современной технологией, но при наличии достаточного количества физических битов на логический бит я теоретически могу сделать устройство, которое будет хранить мою картинку столько, сколько я захочу.
Как насчет создания нейронной сети, которая будет делать то же самое? Я испробовал несколько наивных подходов и пришел к фундаментальной проблеме: кажется, что пиковые нейронные сети почти не имеют инерции в быстром временном масштабе. Нейрон срабатывает только тогда, когда поступает достаточно входных данных. Когда ввод отсутствует, он больше не срабатывает (кроме некоторой активности в состоянии покоя). Я могу построить сеть с рекуррентно связанными нейронами, и в этом случае, в принципе, активность сети могла бы поддерживаться сама по себе после того, как вход пропал. Однако в зависимости от параметров сети я наблюдаю быстрое переключение между двумя очень экстремальными режимами. В одном случае сила обратной связи сети слишком слаба, и активность падает, как только вход исчезает. В другом вес обратной связи слишком силен, и активность сети быстро достигает некоторого максимального состояния срабатывания, независимо от того, какие именно входные данные были получены сетью. Эти переходы происходят экспоненциально быстро. Теоретически в нейронных сетях существуют адаптивные механизмы управления, такие как торможение и синаптическая пластичность. Однако я изо всех сил пытаюсь понять, как такие механизмы могут быть достаточно быстрыми, чтобы компенсировать внезапное увеличение или падение ввода.
TL;DR : Наивные нейронные сети кажутся недостаточно стабильными для реализации надежной кратковременной памяти. Какие известные механизмы, тем не менее, делают это возможным?
Примечание: я не спрашиваю, как именно работает кратковременная память. Я знаю, что на самом деле никто не знает. Я прошу интуиции помочь опровергнуть мой аргумент о том, что это не должно работать при реализации с использованием нейронов.
Хотя мы не совсем знаем, как работают все аспекты рабочей памяти, эксперименты показывают, что подгруппа клеток в мозге проявляет постоянную активность во время задач рабочей памяти.
Вот пример из обзора Curtis & D'Esposito :
Это задача на панели (а), где кратко представлена реплика (обозначена буквой «С»), затем обезьяне нужно запомнить реплику (в течение времени, отмеченного буквой «D»), и, наконец, в момент времени R появляются цели, и обезьяна может ответить.
В записях спайков у обезьян мы видим, что в дорсолатеральной префронтальной коре есть клетки, которые активируются не только сигналом и во время ответа, но и сохраняют постоянную активность в течение периода задержки. В исследованиях на людях мы обычно не можем размещать электроды, но в части (b) показано аналогичное исследование с использованием фМРТ, а окрашенные области мозга указывают на области мозга, которые демонстрировали больший кровоток (маркирующий метаболизм) в течение периода задержки, который включает области той же области мозга, что и в экспериментах с обезьянами.
Объяснениями являются повторяющаяся сетевая активность и бистабильность : популяция возбужденных клеток может продолжать возбуждать друг друга и оставаться активными до тех пор, пока не остановится (см., например, аттракторные сети для концептуальной идеи), а также бистабильность в отдельных нейронах, где нейрон, который достигает порога, продолжает возбуждаться тонически , а не запускать единичный потенциал действия, до тех пор, пока возбуждение не прекратится посредством торможения. Camperi and Wang 1998 — превосходный, четкий обзор этих концепций с простым математическим подходом к тому, как вы можете смоделировать это in silico . Вероятно, более эффективно начать с этого, чем заново изобретать его самостоятельно.
Я также рекомендую другие работы XJ Wang, который проделал обширную работу в этой области. Я также рекомендую вам взглянуть на диаграммы фазового пространства , которые могут помочь концептуализировать динамические системы со стабильными свойствами (и какие параметры сети необходимы для стабильности), они часто встречаются в теоретической нейробиологии. «Теоретическая нейронаука» Даяна и Эбботта также является хорошей отправной точкой, если вы сможете найти копию.
Кампери, М., и Ван, XJ (1998). Модель зрительно-пространственной рабочей памяти в префронтальной коре: рекуррентная сеть и клеточная бистабильность. Журнал вычислительной нейробиологии, 5(4), 383-405.
Кертис, К.Э., и Д'Эспозито, М. (2003). Постоянная активность префронтальной коры во время рабочей памяти. Тенденции в когнитивных науках, 7(9), 415-423.
Алексей Фоминьш
Брайан Краузе
Брайан Краузе
Алексей Фоминьш
Брайан Краузе
Алексей Фоминьш
Брайан Краузе