Задав вопрос Какая самая сложная нейронная сеть... Я понял, что у меня нет хорошей метрики «сложности» в общем смысле. Простейшей мерой, вероятно, будет количество нейронов или количество синапсов, но при этом не учитывается структура сети.
Несколько показателей сложности обсуждаются в статье «Сложность прогнозирующих нейронных сетей» , но они очень специфичны для одной задачи. Один — это объем работы, необходимый для изучения определенной вещи, а другой — количество нейронов, необходимых для аппроксимации определенной функции.
Грубые меры, основанные на животных, часто используются сотрудниками ради привлечения внимания заголовков; например, неверные утверждения о том, что проект Blue Brain Project эмулировал нейронную сеть, «такую же сложную, как» кошачий мозг. C. elegans — распространенный и, казалось бы, достижимый уровень сложности искусственной нейронной сети.
Меры, основанные на животных, относятся к непрофессионалу, но кажутся сомнительными, особенно при сравнении нейронной сети с нейронной сетью животного, нейронная сеть которого не была полностью нанесена на карту ( как у C. elegans ).
Что является значимой мерой, с помощью которой можно измерить искусственные нейронные сети? Как такие сети в настоящее время сравниваются? Может ли какая-либо такая метрика надлежащим образом измерить сложность такой системы?
Стандартной метрикой сложности в теоретической информатике и машинном обучении, в частности в статистической теории обучения, является размерность Вапника–Червоненкиса (VC) . Это представляет интерес, потому что дает нам очень хороший инструмент для измерения способности нейронной сети к обучению (или любого другого статистического обучающегося в целом).
Хорошее введение в использование измерения VC для изучения нейронных сетей:
Эдуардо Д. Зонтаг [1998] "Виртуальный размер нейронных сетей" [ pdf ].
Там автор показывает (например), что сеть с одним скрытым слоем, входы и нейроны имеют VC размерность . Он также объясняет некоторые базовые приемы, как ограничить размер VC сверху и как использовать его для динамических нейронных сетей.
Рискну противоположную точку зрения: измерение VC, как цитирует AK, является хорошим/надежным теоретическим измерением сложности ИНС, но вряд ли будет применяться к любой реальной построенной ИНС, кроме как в качестве оценки, а исследователи/статьи по крупным прикладным ИНС в настоящее время не оценивают. Размерность ВК.
В некотором смысле вопрос о том, как измерить сложность ИНС, является открытым вопросом, на который исследователи в настоящее время пытаются ответить («работа в процессе») и не будет решен до тех пор, пока не появится какая-то более общая теория «обнаружения признаков» , которая, по-видимому, медленно появляются в настоящее время, например, в исследованиях глубокого обучения . такая теория, вероятно, долгое время находится в разработке, если она вообще возможна и когда-либо будет получена. Грубо говоря, с этой точки зрения «более сложная» ИНС распознает «более сложные» функции в разных измерениях (пространственных, временных, различных сенсорных модальностях, таких как слуховые, кинестетические (робототехника) и т. д.).
Тем не менее, стоит и довольно объективно просто рассмотреть оценку «черного ящика» или «операционного» стиля, основанную на интеллектуальной функциональности, демонстрируемой ИНС. другими словами, что может сделать ИНС, и как это соотносится с нашим единственным эталоном интеллекта, а именно с биологическим?
Вы склонны исключать это в вопросе, но уже существует широко используемая неформальная «скользящая шкала» биологического интеллекта, например, с небольшими организмами на одном конце, перемещающимися через насекомых и млекопитающих и т. д., и людьми на другом. конец. В зоотехнике есть довольно убедительные вопросы и исследования, например, «что умнее, собака, свинья или кошка» с довольно нюансированными/определенными ответами (также с пониманием того, что «контекст имеет значение» и есть некоторые различные аспекты). несравнимости).
Этот подход в основном восходит к тесту Тьюринга, а тест Тьюринга до сих пор является очень действенным научным измерением интеллекта, до сих пор применяемым, например, в конкурсе Лёбнера , и, кажется, имеет корни также в принципах бихевиористской психологии . он включает в себя основные аспекты научного теста, такие как контроль и слепая выборка и так далее.
Кроме того, существуют аспекты интеллекта, которые являются уникальными для человека, такие как распознавание речи, распознавание изображений, языковой перевод и т. д., и они приводят к хорошим эталонным показателям ИНС, нацеленным на функциональность, подобную человеческой, насколько хорошо ИНС сравнивается к работоспособности человека. это может даже привести к измерению сверхчеловеческих способностей в различных случаях.
Это не приводит к единой количественной/числовой оценке интеллекта, но в психологии эта предпосылка в любом случае начинает довольно серьезно подвергаться сомнению, например, теория множественного интеллекта и, возможно, даже в какой-то мере опровергается на данном этапе.
Артем Казначчеев