Что ж, концепция — это сеть ассоциаций, основой этой сети являются ваши сенсорные входы (или любую другую интерпретацию, которую получает ваш мозг, в нервной системе происходит много предварительной обработки), например, мороженое определяется его температурой, внешним видом, запахом. , вкус, все свойства, которые приходят на ум, когда вы думаете о слове «мороженое».

Само слово является довольно абстрактным понятием, еще более абстрактным понятием было бы клубничное мороженое, основанное как на мороженом, так и на клубнике. Конечно, концепция сладости не уникальна ни для мороженого, ни для клубники, поэтому эти концепции уже частично переплетены, прежде чем возникает ассоциация, формирующая концепцию клубники и мороженого.

Таким образом, измерить емкость памяти ассоциативной концептуальной сети невероятно сложно, потому что многие концептуальные структуры имеют общие основания, и мы даже не знаем, насколько глубоки эти основания, например, какой минимум информации требуется для точного распознавания мороженого?

Судя по тому, что я читал о людях с болезнью Альцгеймера, я думаю, что человек может потерять большую часть своей памяти и все еще оставаться в функционирующем разумном сознании, хотя, по общему признанию, искалеченном, и можно только догадываться, каков самый минимум. памяти есть.

Сети Хопфилда

Лучше всего смотреть на сети Хопфилда . Это автоассоциативные искусственные нейронные сети (ИНС), которые моделируют некоторые аспекты человеческой памяти. То есть поведение сетей Хопфилда при определенных правилах обучения похоже на работу определенной человеческой памяти (такой, которая оказывается в лобной коре, а не, скажем, в мозжечке).

Как и человеческая память, сети Хопфилда не обладают «идеальной» памятью для всех входных векторов. Однако отзыв будет самым сильным, когда входные данные будут ближе всего к вектору отзыва. Иногда сеть Хопфилда будет сходиться к «противоположному» предполагаемому вектору отзыва (что, кажется, не происходит с людьми, возможно, из-за дополнительной схемы фильтрации, отклоняющей такие повторы... или, возможно, это действительно происходит, но проявляется себя тонкими способами).

Размер вектора, хранящегося в сети Хопфилда, равен количеству узлов в сети. То есть сами узлы представляют как входы в память, так и проявленные выходы. Это может или не может быть похоже на то, как организованы части человеческого мозга. Если это действительно похоже, то мы можем получить несколько битов данных о производительности.

Производительность

Количество «сохраняемых» векторов в сети Хопфилда составляет около 14%. Допустим, у вас есть сеть, в которой хранятся имена людей и мест, которые вы знаете. Чтобы надежно хранить 1000 имен, вам потребуется около 7000 нейронов. Неплохо, да? Теперь представьте, что вам нужно сохранить их лица. Ой-ой. В сетчатке человека более 3 млн.фоторецепторов, что составляет около 1 млн пикселей, отвечающих за цвет. Если бы вы попытались хранить изображения в полном разрешении, вам понадобилась бы сеть из 3 миллионов нейронов. Затем вы можете хранить около 400 тыс. различных изображений (при условии, что векторы достаточно разные). Однако весьма вероятно, что зрительные воспоминания не сохраняются в мозге таким образом, поскольку высший мозг имеет доступ только к выходным данным зрительной коры, которая выполняет огромный объем предварительной обработки (краевой и обнаружение сегментов под разными углами, обнаружение движения и т. д.).

Итак, со сколькими нейронами мы должны работать? Необработанное общее количество для людей составляет около 86b . Но большая часть мозга — это схемы управления (для управления вашими автоматическими функциями, такими как частота сердечных сокращений, пищеварение и т. д., скелетные мышцы и другие органы). Если мы ограничимся корой головного мозга, где, скорее всего, хранятся «воспоминания более высокого порядка», мы увидим примерно 21b нейронов, или примерно четверть от общего числа.

Определения

В этот момент может возникнуть соблазн вернуться назад и сказать, что человеческий мозг может хранить около 3 миллиардов воспоминаний. Но помните, что сеть Хопфилда хранит векторы, длина которых равна количеству узлов в сети, поэтому эти «воспоминания» будут иметь размер ~ 3 ГБ каждый!!! И мы знаем по проводке коры головного мозга, что это не может быть единая сеть Хопфилда. Сеть Хопфилда также полностью подключена (каждый узел соединяется со всеми остальными), а кора головного мозга многоуровневая. В среднем нейроны человека соединяются примерно с 7000 соседями . Таким образом, если в мозгу вообще есть какие-либо сети Хопфилда, они, скорее всего, будут довольно маленькими.

В предельном случае, когда вся кора состоит из сетей Хопфилда (неправдоподобно), у нас будет ~3 миллиона сетей, каждая из которых может хранить около 1000 векторов размером ~1 КБ каждый. Хотя общее количество векторов по-прежнему равно 3 миллиардам, теперь перед нами стоит задача сопоставить эти векторы с воспоминаниями . Таким образом, мы должны спросить: «Что такое память?» Тот факт, что американцы празднуют День благодарения в ноябре, можно считать воспоминанием. И тот факт, что они, как правило, путешествуют с семьей, также можно считать воспоминанием. Но как насчет последнего Дня Благодарения ? Является ли запах индейки воспоминанием? Как насчет запаха индейки + сладкого картофеля + яблочного пирога? Это отдельные воспоминания или фрагменты одной и той же памяти? Является ли футбольный матч частью воспоминания о «последнем Дне Благодарения» или его собственным воспоминанием?

Тот факт, что воспоминания по своей природе размыты, не имеет значения. У них нет четких границ, и они могут быть иерархическими. Можете ли вы вспомнить, какую часть птицы вы съели? Светлое мясо или темное? Кто из членов семьи присутствовал? Что они сказали? На сколько из этих вопросов есть ответы, потому что вы сохранили отдельные факты, а не вспомнили изображение и запросили его?

По этим причинам сам вопрос о плотности хранения памяти некорректен. Но если мы согласимся с тем, что для человеческого мозга существует некая наименьшая единица памяти, то она почти наверняка будет соответствовать вектору в сети типа Хопфилда. И, как вы можете видеть выше, верхняя граница для этих единиц составляет около 3 миллиардов для среднего человеческого мозга. Может случиться так, что для хранения изображений требуется много таких векторов, и они всегда хранятся со многими векторами, что делает общее количество отдельных «воспоминаний» намного меньше. И некоторые люди могут возразить, что люди могут хранить «только» 3 миллиарда различных элементов в своей голове. Итак, позвольте мне кратко остановиться на этом.

Неявное знание

Вы играете в теннис? Как насчет пинг-понга? Можете ли вы сделать из новичка хорошего игрока, используя только слова? Нет. По крайней мере, новичок должен на самом деле «проходить движения». Программирование не происходит в ушах. Это происходит в мозжечке. И хотя некоторые люди будут думать о телесно-кинестетическом программировании как о функциональной проводке цепей управления двигателем, здесь определенно задействована способность памяти. Кто-то, кто научился играть в теннис, сможет научиться пинг-понгу, и наоборот. Отчасти это связано с тем, что схемы управления будут настроены на выполнение одинаковых движений, а также потому, что у игроков будут воспоминания о конкретных траекториях и реакциях, которые активируются в определенных обстоятельствах.

Когда новые игроки играют друг против друга в первый раз, они часто будут играть хуже, чем против знакомого человека того же уровня мастерства. Это потому, что умение в конечном счете представляет собой специальное покрытие пространства состояний для игры. Если другой игрок закручивает мяч или атакует невиданным ранее способом, ваши схемы управления не будут иметь заранее подготовленного ответа, даже если вы физически были к нему способны. Сознательный мозг слишком медлителен, чтобы действовать решительно в соревновательных видах спорта. Даже если вы знаетесоответствующий когнитивный ответ, если мозжечок не выполнил программу, которая охватывает эту часть пространства состояний (включая ваше относительное положение, баланс, импульс и т. д.), вы, вероятно, не сможете дать адекватный ответ. Большая часть соревновательных видов спорта сводится к запоминанию лучшего движения для определенного состояния. Низкоуровневые программы контролируют мелкие детали, например, какие мышечные волокна активировать, но высокоуровневые программы, такие как «двигаться вправо, раскачиваясь поперек тела», должны сохраняться в памяти, чтобы их можно было активировать автоматически в нужных обстоятельствах.

Эти виды воспоминаний, как правило, не могут быть названы и не могут считаться дискретными. Они подразумеваются в программировании, которое составляет «спортивное мастерство». Точно так же и вербальное поведение может быть имплицитным. Например, большинство носителей английского языка могут закончить фразу: «Увидимся ____». Как правило, они не говорят «сом» или «распылить» или «ароматно». Тот факт, что большинство говорящих заканчивают фразу одинаково или сходным образом, означает, что эта часть поведения больше связана с механикой языка, чем с личными воспоминаниями говорящего. Таким образом, эта информация, вероятно, не хранится в префронтальной коре (поскольку мы знаем, что языковые возможности в основном обрабатываются областями Брока и Верника). Точно так же спортивная «память»

Я предполагаю, что вы хотите исключить эти виды «неявной памяти» в своих расчетах. Если это так, то целесообразно ограничить анализ префронтальной корой. В противном случае вам также нужно будет рассмотреть «функциональные» области в остальных частях мозга, что гораздо сложнее, учитывая, что у нас нет действительно хороших моделей того, как они работают.

Вывод

Итак, я бы сказал, что можно с уверенностью предположить, что люди могут «помнить» гораздо меньше, чем 3 миллиарда отдельных [личных] воспоминаний, и что самые маленькие фрагменты имеют размер порядка 1 КБ информации. Это устанавливает верхнюю границу примерно в 3 ТБ информации, которая делает вас уникальной историей человека. Отрезвляющая мысль, да?

Вы не можете измерить, сколько памяти нужно одной мысли.

В общем, вам нужно разделить три слоя:

1. реальность
2. абстракция
3. представление

Возьмите что-нибудь, что есть у вас на столе, например ручку. Это реальный объект. Что-то, что можно держать в руке. Теперь ваш мозг идентифицирует объект как конкретную ручку, которой вы владеете, но также распознает абстрактное понятие того, что такое ручка ( pen, stift, stylo, bolígrafo). В этом ответе я использую английский язык, чтобы передать эту мысль, и использую три глифа «p», «e» и «n», чтобы сформировать ее письменное представление.

Теперь подумайте о чем-нибудь тривиальном. «Моя ручка красная». Вы увидите, что почти невозможно определить, сколько информации вам нужно сохранить для этой мысли. Вам нужно запомнить представление о том, что такое ручка. Вам нужно запомнить представление о том, что такое цвет. Может ли слепой когда-нибудь понять, что такое цвет, если он загрузит эту мысль в свой мозг? Для того, чтобы передать представление о том, что такое ручка, какая информация нужна? Если вы запишете все, что знаете о ручке, список очень быстро истощится.

Человеческий мозг способен сортировать вещи и классифицировать вещи на основе всех ваших совокупных знаний. Если бы не сохранялись все ваши фоновые знания, одна мысль не имела бы никакого значения. Но точно определить, какая часть ваших фоновых знаний необходима для хранения этой единственной мысли, почти невозможно, потому что все наши знания невероятно взаимосвязаны.

Смотрите мой ответ здесь для фона и других ссылок.

Прочитайте «Как создать разум: секрет человеческого мышления, раскрытый Рэем Курцвейлом», чтобы получить общее представление о том, во что вы ввязываетесь.

Теперь, когда вы знаете об отдельных единицах сопоставления паттернов, составляющих неокортекс, мысль — это паттерн активации, запускающий сопоставления вверх и вниз по цепочке. Теперь у них нет UUID или каких-либо меток, и они не означают ничего, кроме контекста того, к чему они подключены.

Итак , если вы пронумеровали их и отметили детали активации, это будет представлять мысль. Это имеет смысл только в контексте мозга, из которого оно было считано, и это меняется со временем: вы не можете воспроизвести его позже, потому что определенные устройства сопоставления с образцом изменили свою топологию и подробные веса, поэтому «то же самое» устройство сопоставления с образцом немного другое значение, если стимулировать снова таким же образом.

Запись мыслей означает использование языка , для чего мозг уже запрограммирован. Только рассмотрите язык, который намного точнее любого нормального человеческого языка, и специальную систему для его декодирования в контексте текущего мозга, принимающего его. Эта система должна быть более мощной и содержать больше данных, чем человеческий мозг! И результат все равно будет несовершенным.

В одной из моих любимых книг, GEB подробно рассказывает о сопоставлении одной сети с другой. Если у вас есть epub, найдите «USA ASU» : я вижу, это глава 12.

Для использования в истории я обдумываю, как эффективно скопировать дельты обратно в вашу домашнюю копию или, что более амбициозно, как объединить копии. Думаю, это можно сделать с помощью лог-файлов . Конкретный экземпляр сопоставления с образцом означает только что-то, связанное с мозгом, в котором он находится . более ранний снимок, чтобы обновить его, и слияние (с небольшим интеллектом) имело бы смысл, если бы они не внесли больших изменений.

Итак, сколько примитивов паттернов меняется и с какой скоростью по мере того, как вы набираете опыт и думаете о вещах? Я не знаю, но это место, чтобы начать искать точные цифры.

Зависит от человека, от вашего алгоритма сжатия и конкретных мыслей, которые вы записываете.

Но, чтобы не отвечать просто "я не знаю" - письменный английский, по-видимому, содержит около 1-1,2 бита информации на букву , что говорит о том, что столько мыслей, по крайней мере, не займет слишком много места (тогда опять же, если мы угадываем четыре буквы в слове и одно слово в секунду, восемь часов размышлений в день и сто восемьдесят дней обучения в году, образование K-12 занимает ~65 МБ). Я использую здесь размер по буквам, а не по мыслям, потому что кажется очевидным, что мысли могут различаться по размеру на порядок (сравните «небо красное» с вводным предложением Диккенса в «Повести о двух городах»). ).

Бессознательная структура, на которой построены эти слова, также должна занимать некоторое место — письменный английский интуитивно должен давать почти нулевые биты информации на букву тому, кто говорит, скажем, только на кантонском диалекте. Я ожидаю, что это можно рассчитать на основе количества времени, необходимого для изучения соответствующего языка (несколько лет для большинства детей, и я думаю, что то же самое для взрослых, если вы игнорируете акценты), умноженного на количество пропускной способности, затраченной на его изучение. (что само по себе является парой неизвестных мне параметров: максимальный человеческий слуховой/визуальный диапазон и процент от него, потраченный на прослушивание/чтение).

Может быть, вместо этого вам следует задаться вопросом: сколько памяти необходимо для записи минимально неповрежденной человеческой мысли ?

Например, как записать мысль «солнце жарко»?

Думая об этой единственной строке, я прихожу к множеству мыслей, в том числе «Мне нужно наносить солнцезащитный крем» и «Карл Саган сказал: «Мы звездный материал, размышляя о звездах»» и «Звезды становятся сверхновыми, которые очень-очень горячие, но не такие же горячие, как обычные звезды, которые все еще очень горячие».

Все зависит от контекста, в котором вам нужно получить доступ к мысли. Если это что-то, что можно разбить на дискретные единицы, такие как математические уравнения, такие как y = ax + b, то для разделения мысли требуется мало относительных данных, тогда как более крупная мысль, например, «если я брошу этот бейсбольный мяч вперед, как далеко будет ли он идти, пока не упадет на землю?» требует нескольких источников данных и интерпретаций, от чистой физики (угол, скорость и гравитация) до личного (отдохнул ли я? устал ли я от вчерашней тренировки? подобрать его, не уходя слишком далеко?). Даже в этом случае могут быть тонны ненужной информации, независимо от того,.

Так что, в конце концов, проблема не столько в пространстве для хранения, сколько в пропускной способности.

Чтобы быть немного педантичным, самая простая мысль, которую я могу придумать, это номер 1. Чтобы сохранить эту мысль, требуется один бит, так что вот ваш ответ — один бит.

Однако что-нибудь сверх этого, и вы столкнетесь с тем, что этот вопрос принципиально не имеет ответа. Это как спрашивать, какой длины книга. Ну, это полностью зависит от книги. Самая длинная книга в мире содержит почти 2 миллиона слов , а самые короткие книги в мире буквально не содержат текста (если вам это не нравится, вы можете найти любое количество детских книг, содержащих десятки слов).

Так и с мыслями. Можно представить себе мысль, для хранения которой требуется всего один бит, и можно представить бессвязный поток сознания, для полной записи которого потребуются огромные массивы носителей информации.

По оценкам, человеческий мозг имеет объем от 10 ТБ до 100 ТБ.

Расчет для получения этого числа на самом деле прост:

Всего 100 миллиардов нейронов * 1000 соединений (потенциальные синапсы)

Как уже говорили другие, на самом деле все не так просто. Есть много других факторов, которые могут повлиять на этот показатель:

• Некоторые синапсы передают с разной силой? (больше данных)
• Иногда требуется несколько синапсов для передачи одной порции информации? (меньше данных)
• Используются ли некоторые синапсы для обработки, а не для хранения? (меньше данных)
• Ячейки поддержки также используются для хранения данных (больше данных)

На самом деле воспоминания, особенно сложные воспоминания, было бы трудно, если вообще возможно, извлечь из остальной части мозга. Самый точный и без потерь способ хранения воспоминаний — это хранение всех знаний мозга и карты активных синапсов.

На самом деле, пока мозг доступен, ученые уже могут использовать стимуляцию мозга для хранения указателя на память:

Необъяснимым явлением в неврологии является открытие того, что электрическая стимуляция височной неокортекса может вызывать у нейрохирургических пациентов спонтанное восстановление памяти.

Я не уверен, сколько памяти потребуется для его хранения, но, вероятно, это не так уж много. Это самый реалистичный пример, который вы найдете.

Поскольку наука не в полной мере понимает человеческий мозг, трудно сказать.

Долгосрочные воспоминания хранятся по всему мозгу в виде групп нейронов, которые настроены на совместную активацию по той же схеме, которая создала первоначальный опыт, и каждый компонент памяти хранится в той области мозга, которая его инициировала.

В человеческом мозгу примерно 100 миллиардов (100 000 000 000) нейронов.

Если бы каждый нейрон был приравнен к компьютерному биту, это равнялось бы 12,5 гигабайтам. Это означает, что все ваши воспоминания поместятся на BluRay DVD вместе с воспоминаниями трех других людей.

Но воспоминания не постоянны, их можно заменить. Мало того, воспоминания, как известно, просачиваются друг в друга. Человеческая память очень подвижна.

Прежде чем вы сможете ответить на этот вопрос, вы должны определить, что вы подразумеваете под словом «мысль». Только тогда вы можете продолжить, потому что в противном случае вы можете легко выйти из строя на порядки. (Один порядок равен 10).

Согласно теории AIXI Хаттера, интеллект по существу эквивалентен сжатию данных. Предположим, что человеческий мозг оптимально сжимает мысли для наиболее эффективного хранения. Для этого есть некоторые доказательства, поскольку исследования показали, что мы запоминаем только «суть» истории, а не детали, например. Исходя из этого, мы могли бы постулировать, что наименьшая возможная мысль может состоять из одного бита или всего нескольких битов информации.

Также можно представить ситуации, когда мысль может состоять из смеси образов, звуков, запахов, чувств, убеждений и т. д., связанных между собой. Можно ли считать их множеством связанных мыслей или одной сверхмыслью? Если второе, то мне легко представить, что для этого потребуется как минимум сотни мегабайт памяти.

Этот вопрос невероятно интересен, но на него есть очень сложный ответ, выходящий за рамки того, что некоторые люди могли бы подумать.

Подумайте об этом на память: вы идете по дороге в парке и видите красивые деревья, и ваш друг Грег здоровается. Что входит в эти детали?

1. Ваш друг и все данные, связанные с ним
2. Деревья и как они выглядели
3. Дорога, по которой ты идешь
4. Парк и все подробности о нем вы помните

Следующий уровень детализации, помимо того, что я упомянул, возникает, когда мы включаем нейрохимические реакции мозга, которые мы еще не полностью понимаем. Например, помнит ли наш мозг, что рецептор альфа-2А стимулировался в ответ на лекарство или «возбуждающие» раздражители.

Это приводит к вопросу, хранит ли наш мозг химические вещества, которые производятся в памяти, и если да, то как мы запоминаем, что мы чувствовали, вспоминая что-то. Кроме того, если он хранит эти химические вещества, воспроизводятся ли они при воспоминании чего-либо?

Если они на самом деле воспроизводятся при воспоминании чего-либо, возможно ли, что наш мозг помнит химические вещества, и биты памяти сохраняются в долгосрочной перспективе полностью, а остальное фрагментируется, и с помощью ассоциативной памяти наш мозг собирает остальное вместе.

Короче говоря, я не верю, что мы можем даже приблизиться к адекватному определению того, сколько байтов хранится в памяти, потому что наше фундаментальное понимание нейрохимических путей памяти/мозга ограничено.

Это мои мысли по этому вопросу!

размер мысли будет зависеть от количества комбинаций мыслей эквивалентного размера

Возьмите целое число.

Большинство целых чисел в компьютерах 32-битные. Есть 2^32 комбинации.

А теперь подумайте. Есть ли десять мыслей одинакового размера? 20? Может это 1000000? К сожалению, мысли слишком абстрактны. Поэтому мы не можем определить их минимальный размер для хранения.

но как насчет словесных мыслей или сенсорных данных?

Если мы ограничим наши возможности этим, то размер будет равен размеру строки (массиву символов) и размеру аудио/визуальных/ароматных/вкусовых/осязаемых данных. Первые два будут примерно гигабайт в час в HD качестве. Остальные трое слишком странные. Я оставлю их до тех пор, пока не выйдут обоняние, вкусовидение и осязание.

Я не могу дождаться, когда увижу фильм о зомби на нюховижн!

Вопрос, который следует рассмотреть, прежде чем можно будет ответить на этот вопрос: имеют ли люди в вашем мире четкое представление о процессах, необходимых для человеческого познания, на уровне, на котором их можно моделировать со скоростью, значительно превышающей скорость реального времени? Если они этого не делают, единственный способ уловить мысль — это точно отобразить нейронные связи и состояние активации каждой части мозга мыслителя (и, возможно, также связанных с ними нервных систем, чтобы мысль не была прервана прерывистость ощущений при попытке его воспроизвести). Это, как указывалось в других ответах, огромное количество данных ( 10 ^ 14 связей между 10 ^ 10 нейронамисо значительным количеством данных, необходимых о каждом соединении и состоянии нейрона, чтобы иметь возможность значимого воспроизведения - скажем, как минимум 10 ^ 16 бит информации или где-то около петабайта, но, вероятно, намного больше).

Если, с другой стороны, у вас есть возможность быстро смоделировать состояние мозга, можно было бы упростить текущее состояние мозга, вырезав его части, и посмотреть, качественно ли они влияют на него. Это может быть способно взять ваш петабайт информации и сжать его до чего-то более управляемого — это будет процесс сжатия с потерями, но вы должны быть в состоянии обработать его так, чтобы то, что потеряно, не имело отношения к тому, что вы думали. пытается инкапсулировать.

Тем не менее, если у вас есть эта возможность, вы уже попали в технологическую сингулярность , так что почти все ставки сняты с точки зрения правдоподобия или иного отношения к любой технологии.

Я думаю, что ближайшей реалистичной оценкой может быть сравнение Deep Blue с человеческими способностями. Это не отдельная мысль, а единая функциональность (игра в шахматы), и она была создана для имитации человеческого расчета. Конечно, есть более сложные мысли и воспоминания, но это может приблизиться к тому, о чем спрашивал ОП, если вы разделите огневую мощь оборудования от его максимальной мощности на оборудование, с которым оно было построено. https://en.wikipedia.org/wiki/Deep_Blue_(chess_computer) В качестве альтернативы вы можете посмотреть шахматное программное обеспечение и посмотреть, насколько велики эти программы, и экстраполировать оттуда.