Я заканчиваю писать код, который будет анализировать фотографию (в конечном итоге видео) и использовать всю информацию RGB для синтеза звукового представления. Мне интересно, обладает ли типичный человек достаточной нейронной пластичностью, чтобы научиться слушать этот звук, чтобы понять изображение в общем смысле? Я не ищу совершенства. Если у человека хорошее зрение, ему будет полезно провести время, слушая такой синтезированный звук, одновременно просматривая реальность, чтобы немного потренироваться и улучшить свои способности к интерпретации. После обучения они могли дополнять или заменять зрение его звуковым эквивалентом.
Насколько пластичен наш аудиовизуальный мозг? Есть надежда, что это сработает?
PS. После работы я обновлю этот вопрос
Для тех, кто интересуется деталями: я просматриваю изображение, используя кривую Гильберта, которая имеет тенденцию сохранять пространственные отношения между пикселями, чтобы свести к минимуму повторное обучение при изменении разрешения в пикселях. Это сглаживает 2D-фотографию в 1D-линию, разбросанную слева направо точками, хранящими соответствующие значения пикселей (в первом приближении я сворачиваю RGB в оттенки серого 0,21 R + 0,72 G + 0,07 B)
... чтобы создать звуковое представление, я посещаю каждую позицию пикселя в этой строке и ввожу осциллятор звуковой частоты для каждого пикселя с уникальной частотой, так что начальный пиксель в крайнем левом углу получает самую низкую частоту в нашем диапазоне (скажем, 200 герц) на вверх до тех пор, пока частота генератора в крайнем правом пикселе не будет отображать самую высокую частоту (скажем, 10 кГц) ... значение в оттенках серого управляет громкостью генератора этого пикселя.
... более подробная информация: изоморфизм между видео и аудио https://www.youtube.com/watch?v=DuiryHHTrjU
Прелесть этого подхода в том, что он позволяет выполнять это преобразование в обратном порядке (биекция) — от аудио к видео мы можем использовать анализ Фурье (БПФ) звука, отображаемого в пиксели, — затем снова возвращаемся к аудио, промываем и повторяем...
Краткий ответ
Да, мы можем видеть ушами.
Фон
Бах-и-Рита классно заявил: « Мы видим нашим мозгом, а не нашими глазами ». Бах-и-Рита десятилетиями работала над сенсорной заменой . Подходы сенсорной замены в целом направлены на замену утраченного чувства путем перенаправления информации, обычно улавливаемой этим чувством, на другое, все еще функциональное.
Бах-и-Рита сосредоточился на замене зрения тактильной информацией. Его система замещения тактильного зрения (TVSS) захватила изображения с камеры и преобразовала их в тактильные изображения, проецируемые на спину слепых людей. Десятилетия его исследований в конечном итоге увенчались появлением коммерчески доступного устройства BrainPort (Stronks, 2016) .
Также были разработаны устройства для замены зрения слухом, в первую очередь vOICe Питера Мейера и устройство для замены зрения слухом (PSVA), среди прочих. vOICe преобразует изображения в звуки, переназначая их ось x во временную область, а ось y в частотную область (Meijer, 1992) . Этот метод «развертки изображения» впоследствии был развернут в устройстве EyeMusic для использования в сенсорной замене (Abboud et al ., 2014).. В PSVA используется попиксельное преобразование акустической частоты, где вертикальное положение кодируется как высота тона, горизонтальное положение — как бинауральная интенсивность и разность фаз, а яркость — как громкость (Capelle et al. , 1998 ) .
Питер Мейер называет vOICe созданием «звуковых ландшафтов», что очень похоже на подход, который вы описываете. Я серьезно рекомендую вам связаться с ним, он очень хороший парень и открыт для обмена.
Во всяком случае, к вашему вопросу - можем ли мы видеть ушами ? Да мы можем. Несколько исследований показали, что звуки можно успешно использовать для выполнения зрительных задач, включая локализацию (De Volder et al., 1999) , распознавание образов ( Arno et al., 2001a , 2001b ) и восприятие глубины (Renier and DeVolder, 2010). .
Несколько исследований показали, что мозг, лишенный зрения, способен перенаправлять слуховые ощущения в зрительные эквиваленты, перенаправляя эту информацию в деафферентированную зрительную кору слепых (обзор, например, Poirier et al. , 2007 ) . Это называется кросс-модальной пластичностью мозга.
Однако кривая обучения довольно крутая, поскольку для получения полезной информации из визуальной информации, закодированной с помощью звука, требуется много практики (Stronks et al , 2015) . Кроме того, возможно, самой большой проблемой при анализе звуковых ландшафтов является визуальный беспорядок. В то время как визуальная система очень хорошо способна отфильтровывать беспорядок изображения и извлекать полезную информацию, звуковые ландшафты неизбежно превращают каждый нерелевантный объект в сцене в соответствующий звук. Технологии предварительной обработки изображений, вероятно, станут ключом к превращению слухового визуального замещающего устройства в практически осуществимое устройство для слепых или зрячих, если уж на то пошло.
Зрительная кора задействуется для слуховых задач у слепых, но не у зрячих. Однако я склонен полагать, что именно практика, а не зрительная депривация как таковая , определяет эффективность подходов сенсорной замены в целом (Stronks et al , 2015) .
Ссылки
– Abboud et al ., Rest Neurol Neurosci (2014); 32 : 247–57
— Арно и др ., Neuroimage (2001a); 13 (4): 632–45
— Арно и др ., App Cog Psych (2001b); 15 (5): 509-19
- Capelle et al ., IEEE Trans Biomed Eng (1998); 45 (10): 1279-93
- De Volder et al ., Brain Res (1999); 826 (1): 128–34
- Мейер,IEEE Trans Biomed Eng (1992); 39 : 112–21
- Poirier et al ., Neurosci Biobehav Rev (2007); 31 (7): 1064–70
- Ренье и Де Волдер, J Integr Neurosci (2010); 4 (4): 489
- Stronks et al ., Brain Res (2015); 1624 : 140–52
— Stronks et al ., Expert Rev Med Dev (2016); 13 (10): 919-31
Я хотел бы добавить к отличному ответу AliceD свой собственный эксперимент. Я хочу добавить это, потому что результаты, хотя и естественные с интеллектуальной точки зрения, были интуитивно захватывающими, а также потому, что размер моей выборки крошечный (читай: N = 1), и я бы хотел, чтобы другие вышли и повторили эксперимент.
Я не совсем показываю, что вы можете видеть своими ушами, но я думаю, что это показывает, что вы можете слышать глазами. (Или, говоря более формально, мы удивительным образом объединяем наши чувства)
Список материалов пугает:
В моем случае субъектом была моя девушка в то время.
Известно, что мы используем спектральные эффекты для определения угла места звука. Известно, что наши уши и наши плечи формируют звук, подчеркивая одни частоты и приглушая другие. Конечно, этот процесс невозможно осуществить, если вы не знаете, каким был звук «изначально». Если вы не знаете, каким был звук, когда он достиг вас, вы не сможете понять, насколько уши его окрасили.
Для этого эксперимента я взял две ложки и устно описал, что собираюсь делать. Я собирался щелкнуть ложками в разных местах, чтобы она до них дотянулась. Я намеренно не щелкал ложками друг о друга в этой демонстрации, потому что не хотел, чтобы она услышала звуки ложек до начала эксперимента.
Сначала я попросил ее закрыть глаза. Я щелкнул ложками в разных местах, и она определила, откуда, по ее мнению, они пришли. Она была надежно точна в направлении влево/вправо, потому что могла слышать временные задержки между звуком, попадающим в ее левое и правое ухо. Однако ее угол возвышения был довольно случайным. В нем, казалось, вообще не было никакого шаблона.
Затем я попросил ее открыть глаза и провести очень скучную версию этого эксперимента. С открытыми глазами она, конечно, могла указать на щелкающие ложки в 100% случаев. (На самом деле это была самая сложная часть, потому что испытуемым это кажется абсурдным. Они начинают думать, что это уловка).
Затем я снова попросил ее закрыть глаза и повторить эксперимент. Результаты, достижения? Каждый раз она была мертва . Не промахнулся ни по азимуту, ни по углу места.
Итак, что, как я утверждаю, произошло? Когда мы начали эксперимент, она не знала частотных спектров щелканья ложек. Таким образом, она не могла эффективно отказаться от того, какое преобразование применяли ее уши и плечи, и не могла вычислить углы возвышения. Она могла строить догадки, как человек, который слышал, как что-то лязгало, но этого было недостаточно для выполнения задачи.
На скучной второй фазе она теперь могла объединять информацию, полученную от глаз, с информацией, полученной от ушей. Теперь она могла определить глазами, под каким углом исходит звук, понять, каким должно быть преобразование ее ушей/плеч, и выяснить, каким был «настоящий» звук ложек.
На третьем этапе она теперь знала «настоящий» звук ложек, поэтому всякий раз, когда звуковые волны ударяли в ее уши, она могла использовать это знание, чтобы выяснить, какое преобразование должны были применить ее уши/плечи, и вычислить углы.
Я использовал это, чтобы доказать, что мы можем слышать глазами, но, возможно, было бы более эффективно сказать, что мозг не уделяет столько внимания разделению между 5 чувствами, сколько мы делаем, когда говорим о нашем сенсорном опыте. Что касается этого, то это всего лишь нервные раздражители. Это объединит их в одно целостное изображение, и это действительно важно.
жизнь в деревьях