Можно ли измерить усилия по обработке подзадач в нейронных сетях?

Я часто слышал утверждения вроде:

80% обработки вашего мозга приходится на вычисление эффекта гравитации.

или аналогично:

Вы используете только 20% мощности своего мозга

Мой вопрос не об истинности этих утверждений, а о том, правильно ли они сформулированы: можем ли мы измерить «обработку» в мозгу (или достаточно сложной искусственной нейронной сети), чтобы количественно определить, сколько ресурсов обработки выделено для конкретных подпрограмм. -рутины?

В качестве примера того, когда это можно сделать в другой области: рассмотрим компьютер со стандартной архитектурой фон Неймана. В этом случае мы можем сказать, сколько обработки занимает подпрограмма, просто подсчитав количество шагов, которые каждая подпрограмма удерживает процессор. Однако этот простой подсчет возможен только благодаря двум особенностям:

  1. Есть понятный центральный процессор, и данные ничем кроме него не трансформируются.
  2. Существует четкая двойственность между программным и аппаратным обеспечением, позволяющая нам определить, когда конкретной подпрограмме (программному обеспечению) разрешен доступ к процессору (аппаратному обеспечению).

Обе функции отсутствуют в компьютере с нейронной архитектурой. Как мы можем измерить ресурсы, которые компьютер с нейронной архитектурой (например, мозг) выделяет на подзадачи?


Примечания

Меня интересуют настройки, где нет явной локализации подзадач. Итак, ответ типа:

мы можем измерить количество ресурсов, которые идут на распознавание лиц, глядя на метаболическое поглощение веретенообразной области лица.

Разве это не интересно для меня, так как это действительно только для подзадач, у которых есть специально выделенные области. Конечно, если есть аргумент, что любая разумная (или более ограниченная: человекоподобная) нейронная архитектура должна разделять свои вычисления, я бы хотел это услышать. Однако отвечающему останется задача объяснить, как идентифицировать группу нейронов, которые должны быть связаны с конкретной подзадачей.

Ответы (1)

Ну, во-первых, о чем на самом деле говорят эти заявления? Как вы измеряете «обработку» или «мощность» по отношению к мозгу? Для инженера-электрика, работающего в области связи, это просто: вы просто берете квадрат амплитуды сигнала (мощность сигнала) или считаете количество инструкций в секунду (мощность обработки). Но это дисциплина, в которой определяется вычислительная мощность; проведение аналогии с мозгом приносит много предостережений. Что за инструкция? На сколько маленьких инструкций можно разбить одну инструкцию? Где вы хотите провести линию в цветовом спектре, отделяющую оранжевый от желтого? Или вы хотите нарисовать больше линий и иметь темный и светло-желтый? Или еще строчки...?

Ханс Моравек, исследователь машинного интеллекта, известен тем, что сравнивает технологии с вычислительной мощностью организма. Здесь он немного объясняет, как он получает свои цифры, но они меня действительно не удовлетворяют. Кажется, он берет один пример (сетчатку) и судит о нем по тому, что она может эмпирически делать с изображением, а затем экстраполирует оттуда на остальную часть мозга. Таким образом, здесь рассматривается только одна топология сети в системе, имеющей миллионы вариантов топологии.

Основная проблема, на которую обычно жалуются биологи, когда люди используют аналогию с информатикой для мозга, заключается в том, что метаболизм и функции слишком тесно связаны, чтобы их можно было легко разделить. Функциональные механизмы могут возникать как переговоры между молекулярными сетями (включая генетическую транскрипцию) в дополнение к электрическим сигналам, которые инженеры-электрики и специалисты по информатике обычно называют «обработкой».

Это особенно заметно в молекулярных сетях глютамина, ГАМК и аденозина (т.е. передатчики тесно связаны с метаболизмом посредством АТФ и цикла Кребба). Многие недавние данные также уделяют больше внимания астроцитам. Эта статья посвящена эпилепсии, но во введении требуется некоторое время, чтобы развить идеи об астроцитах и ​​метаболизме мозга, дополненные ссылками. Материал о метаболизме мозга типичен для любого учебника по нейробиологии; участие астроцитов является более поздним направлением исследований. Также предстоит еще много исследований молекулярных механизмов памяти .

Были проведены всевозможные измерения вычислительной мощности, в том числе на генетическом уровне, но все эти измерения делают предположение о том, что такое бит, разбивая биологические подсистемы на два состояния (это, 1 и 0). Но позже кто-то обнаружит, что на самом деле существовало третье значимое функциональное состояние. Так что все дело в том, где люди хотят провести линии.

Другая проблема (сейчас больше на макроуровне) заключается в том, что одна и та же задача будет иметь разные требования к обработке в зависимости от того, насколько надежно внутренняя модель организма приближается и предсказывает внешний мир. Таким образом, задача, для которой вы знаете, чего ожидать, потребует значительно меньше «вычислительной мощности», чем та, где ваши ожидания не оправдались. Карл Фристон написал интересный обзор, в котором предложил структуру моделирования, которая могла бы помочь объяснить это.