Насколько отдаленно связаны исследования в области вычислительной нейробиологии и нейронных сетей/машинного обучения?

Вычислительная неврология и нейронные сети изучаются на этой магистратуре в Университете Сассекса . Когда я проходил этот курс в 2004-2005 годах, модуль «Нейронные сети» был обязательным, а «Вычислительная нейронаука» — факультативным во 2-м семестре, поэтому разработчики курса (мировые лидеры в области вычислений, вдохновленных биологией) думали, что изучение нейронных сетей в первую очередь может помощь в изучении вычислительной нейробиологии. Я думаю, что некоторые из других тем, изучаемых на курсе, будут вам интересны, например, разработка генетических алгоритмов для управления роботами (см. Родни Брукс и корпорация iRobot).

Наконец, чтобы ответить на вопрос (!), я думаю, вам, вероятно, нужно некоторое понимание (простых) нейронных сетей (искусственных или иных), чтобы понять более глубокие концепции вычислительной нейронауки.

Нейронные сети составляют один (очень важный) уровень организации, который моделируется вычислительным путем в исследованиях мозга. Вычислительная нейронаука пытается сделать их максимально биологически реалистичными, часто создавая модели, которые работают на нескольких уровнях, например, нейронные сети демонстрируют электрохимическую динамику .— то, что явно не является целью стандартных исследований в области машинного обучения. Таким образом, в некотором смысле изучение вычислительной нейронауки обязательно сделает вас большим экспертом в области искусственных нейронных сетей, чем изучение машинного обучения. Тип нейронных сетей, используемых в машинном обучении, слишком прост, чтобы объяснить мозг. Тем не менее, тексты машинного обучения могут дать вам представление о том, как информация об окружающей среде потенциально может быть сохранена в мозгу. Вычислительная нейронаука как область все еще находится в зачаточном состоянии, особенно в том, что касается моделирования обучения в мозге. Генри Маркрам раскритиковал даже пиковую модель нейронной сети Спауна Криса Элиасмита (что весьма впечатляет!)(парня, который получил 1 миллиард евро от ЕС на проект «Человеческий мозг») за то, что он биологически нереалистичен. Короче говоря, вы не обойдете основную теорию ИНС при изучении вычислительной нейронауки, и вы значительно расширите ее с точки зрения биологии. Тем не менее, вы можете проверить тексты по машинному обучению, чтобы увидеть, как нейронные сети могут хранить шаблоны.

К сожалению, пока не очень связано. Хотя первоначальное вдохновение для искусственных нейронных сетей (ИНС) было биологическим, большая часть последующего прогресса в области ИНС для того, что называется «машинным обучением», которое обычно связано с оптимизацией некоторых функций, исходила из математических идей, которые не были основаны на биологии; цитируя Marblestone et al. (2016) :

Искусственные нейронные сети, занимающие сейчас видное место в машинном обучении, конечно же, изначально были вдохновлены нейронаукой (McCulloch and Pitts, 1943). Хотя нейробиология продолжала играть свою роль (Cox and Dean, 2014), многие из основных разработок были основаны на понимании математики эффективной оптимизации, а не на результатах нейробиологии (Sutskever and Martens, 2013). Эта область продвинулась от простых линейных систем (Минский и Пейперт, 1972 г.) к нелинейным сетям (Хайкин, 1994 г.), к глубоким и рекуррентным сетям (Лекун и др., 2015 г.; Шмидхубер, 2015 г.). Обратное распространение ошибки (Werbos, 1974, 1982; Rumelhart et al., 1986) позволило эффективно обучать нейронные сети, предоставив эффективные средства для вычисления градиента относительно весов многослойной сети. Методы обучения улучшились, включив в них условия импульса, улучшенную инициализацию весов, сопряженные градиенты и т. д., развиваясь до текущего поколения сетей, оптимизированных с использованием пакетного стохастического градиентного спуска. Эти разработки не имеют очевидной связи с нейронаукой.

Марблстоун (который является исследователем ИИ) и его коллеги утверждают (фактически в этом и заключается смысл их статьи), что

однако нейробиология и машинное обучение снова созрели для конвергенции

Их список аргументов довольно длинный, и я, конечно, не буду отдавать им должное, но, например, они цитируют недавнюю статью, в которой предлагается объяснить, что пластичность Хебба — это форма оптимизации:

Часто эти типы локальной самоорганизации также можно рассматривать как оптимизацию функции стоимости: например, некоторые формы хеббовской пластичности можно рассматривать как извлечение главных компонентов входных данных, что минимизирует ошибку реконструкции ( Пехлеван и Чкловский, 2015 ) . .

Марблстоун и др. посвятить значительную часть своей статьи обзору относительно недавней работы, в которой была предпринята попытка определить обратное распространение (ключевой метод успеха ИНС в оптимизации) в мозгу. Список гипотез о том, как обратное распространение может происходить в мозгу, увы, довольно длинный, поэтому я не буду их здесь рассматривать; Я просто указываю на несколько статей и докладов Hinton (2016) ; Ляо (2015) , которые исследуют, как обратное распространение связано (или не связано) с биологическими сетями, или которые даже предлагают биологически вдохновленные альтернативы для использования в ИНС, например, Балдуцци (2014) .

Еще одна проблема, которую Marblestone et al. глубинное покрытие — это то, как функции затрат могут быть представлены в мозгу. И это согласуется с тем, как воспоминания и цели представлены в мозгу. Очевидно, это обширная область исследований. Поскольку статьи по глубокой биологии, как правило, выше моего уровня оплаты, я просто укажу на недавнюю статью (выделенную Marblestone), в которой предлагается, чтобы «Наивное исчисление полезности» лежало в основе большей части «Психологии здравого смысла»; Хара-Эттингер и др. др. (2016) .