Почему камеры не захватывают динамический диапазон, как это делают наши глаза?

Причина, по которой вы можете видеть такой широкий динамический диапазон, заключается не в том, что глаз, как оптическое устройство, может на самом деле улавливать такой диапазон, а в том, что ваш мозг может комбинировать информацию из большого количества «воздействий» глаз и создать HDR-панораму сцены перед вами.

Глаз довольно плохой с точки зрения качества изображения, но у него очень высокая «частота кадров» и он может очень быстро менять чувствительность, направление и фокус.

Мозг берет все эти изображения из глаза и создает изображение, которое, как вам кажется, вы видите, включая детали изображений с разной чувствительностью и даже детали, которые полностью созданы на основе того, что вы ожидали увидеть. (Это одна из причин существования оптических иллюзий — мозг можно обмануть, заставив «видеть» вещи, которых на самом деле нет).

Таким образом, вы можете видеть своей камерой так же, как и глазами, просто сделайте много экспозиций с разными настройками, затем загрузите все в Photoshop, создайте панораму HDR и используйте «заливку с учетом содержимого», чтобы заполнить пробелы.

Кстати, почему камеры "должны" захватить этот диапазон, а мониторы - нет? Если технология, которой не существует, должна существовать, тогда мониторы должны быть в состоянии воспроизвести все, что мы видим (и я должен иметь возможность провести отпуск в отеле с низкой гравитацией на Луне).

У вас может быть небольшое преимущество в динамическом диапазоне датчика по сравнению с камерой, но большая часть того, что имеет значение, — это наличие сложной системы автоэкспозиции, саккад , обработки HDR и системы распознавания сцен, которая сохраняется при многократной экспозиции . Человеческий мозг не менее важен для зрительной системы, чем глаз .

Зрительной системе человека требуется некоторое время, чтобы адаптироваться к сцене с очень высоким динамическим диапазоном. Это не потому, что нам нужно настроить динамический диапазон, а потому, что нам нужно проанализировать очень яркие и очень темные части сцены по отдельности, а затем склеить важные части изображения вместе. Очень многое из того, что мы «видим», на самом деле зависит от того, что мы уже знаем, что там находится; мы можем использовать очень мало указаний на реальные детали, чтобы заполнить пробелы (а когда у нас недостаточно реальной информации, мы можем интерполировать — но не всегда правильно ).

Получение камеры — любой камеры — для работы на этом уровне будет означать разработку системы, которая «знает», на что смотрит. Мы уже можем сделать «тупую» версию этого, используя различные методы HDR (в вашем конкретном примере, обычно путем простой маскировки, когда дверной проем будет вырезаться из темной экспозиции, а версия из яркой экспозиции вставляется на его место). Текущий автоматизированный процесс полностью основан на яркости (поскольку они не могут анализировать значение или важность) и, как правило, создают очевидные артефакты.. И если вы когда-либо видели необработанное 32-битное комбинированное HDR-изображение, которое еще не подверглось тональной компрессии (что, по сути, можно получить исключительно за счет увеличения динамического диапазона сенсора), вы, вероятно, заметили что изображение очень «плоское» и ему не хватает как локального, так и глобального контраста. Именно знание того, что представляет собой сцена, позволяет нам сделать отображение, чтобы решить, где контраст важен локально. Пока камера не сможет принимать такие же решения, она не сможет создать изображение, похожее на то, что видит ваш мозг.

Это связано с тем, как мозг интерпретирует информацию, поступающую от глаз (или, другими словами, это программное обеспечение, а не аппаратное обеспечение).

Мы видим цвет и детали только в очень узком поле в центре нашего зрения. Чтобы создать подробное красочное изображение, которое мы воспринимаем, мозг перемещает это центральное пятно без нашего ведома.

Я не нейробиолог, но само собой разумеется, что, поскольку мозг составляет эту более широкую картину из множества крошечных снимков, он также выполняет некоторую нормализацию яркости, в результате чего изображение выглядит примерно одинаковой яркости повсюду, несмотря на то, что некоторые области сильно освещены. ярче в реальности. По сути, способность видеть темные и яркие вещи одновременно является иллюзией.

Нет никаких причин, по которым это поведение не может быть сымитировано цифровыми камерами, и нет никаких причин, по которым мы не можем сделать датчики, способные работать с гораздо большим динамическим диапазоном при одной экспозиции. На самом деле Fuji изготовила сенсор с фотоэлементами со сверхнизкой чувствительностью, чтобы улавливать дополнительные детали в светлых участках.

Проблема сводится к невозможности отображать изображения с высоким динамическим диапазоном. Чтобы отобразить такие изображения на стандартном мониторе с низким динамическим диапазоном, вам необходимо выполнить некоторую специальную обработку, называемую тональной компрессией, которая имеет свой собственный набор недостатков. Большинству потребителей камеры с высоким динамическим диапазоном просто доставят больше хлопот.

Резюме:

• Бог создал наши глаза.

• Делаем камеры.

• Мы еще не догнали Бога.

• НО лучшая доступная камера соответствует требованиям, которые вы описываете.

• Есть способы добиться желаемого. Вы просто решили определить их как не то, что вам нужно. Это ваш выбор.

Уровень освещенности в затемненной комнате с окном, открытым на улицу, может составлять всего около 0,1 люкс (0,1 люмен на квадратный метр). Уровень освещенности снаружи может составлять от десятков до тысяч люкс в описанной вами ситуации.

При внешнем освещении 100 люкс и внутреннем освещении 0,1 люкс соотношение составляет 1000:1 или чуть менее 10 бит динамического диапазона. Многие современные камеры могут правильно различать тональные различия на обоих концах этого диапазона. Если бы уровень освещенности дерева просто насыщал датчик, то внутри комнаты было бы доступно около 4 битов уровня = 16 уровней освещения. так что вы могли бы видеть некоторую степень детализации с самым ярким уровнем, ЗА ИСКЛЮЧЕНИЕМ того, что уровень света настолько низок, что у глаз будут проблемы с ним.

Если бы уровень освещенности дерева составлял 1000 люкс (= 1% полного солнечного света), вам потребовалось бы около 13 бит динамического диапазона. С этим справятся самые лучшие полнокадровые 35-мм камеры. Настройка камеры должна быть точной, и у вас будет нулевая тональная информация в комнате. Этот уровень внешнего освещения выше, чем вы могли бы получить, если бы не освещение в ночное время.

Многие современные цифровые зеркальные фотокамеры среднего и высшего класса имеют встроенную обработку HDR, которая позволяет получить гораздо больший динамический диапазон за счет объединения нескольких изображений. Даже фотография HDR с двумя изображениями легко вместит вашу сцену. Мой Sony A77 предлагает до +/- 6 EV 3 кадра HDR. Это даст более 20 бит динамического диапазона, что позволяет в вашем примере очень адекватные тональные вариации на верхних и нижних концах.

Это проблема только цифровых камер или такая же проблема и с пленочными камерами?

Ни один из ответов еще не коснулся этого, по крайней мере, напрямую ... да, это тоже большая проблема с пленкой. Знаменитая цветная транспарантная пленка Fuji Velvia, например, имеет воистину гнилой динамический диапазон (зато великолепный цвет!). Пленка в целом этим страдает. С другой стороны, негативные пленки могут иметь очень хороший динамический диапазон, примерно такой же, как у лучших современных цифровых камер. Однако с этим обращаются немного по-другому: в то время как цифровой имеет линейную реакцию на свет, пленка, как правило, имеет встроенную кривую контрастности с пометкой «S». Черные и почти черные, белые и почти белые сгущаются больше, чем средние тона.

Имейте в виду, что, поскольку пленочные фотографии обычно печатаются чернилами на фоне белой бумаги, существует не слишком большое ограничение на то, какой динамический диапазон нужно захватить в первую очередь! Захват, скажем, тридцатиступенчатого динамического диапазона, а затем вывод его на... каков примерный динамический диапазон фотопечати? Пять остановок? Шесть? ...среда вывода выглядела бы... странно, если не сказать больше. Я подозреваю, что именно этот фактор больше, чем любые непреодолимые препятствия с химией, ограничивает динамический диапазон фотопленки. Дело не столько в том, что мы не можем этого сделать, сколько в том, что мы активно не хотим этого делать.

Достаточно материала, чтобы заполнить книгу, но суть в том, что человеческие глаза видят яркость логарифмически, в то время как камеры «видят» яркость линейно.

Таким образом, если вы предполагаете, что яркость изменяется от 1 до 10 000 (случайно выбранное число), в логарифмическом основании 10 человеческий глаз увидит яркость от 0 до 5, а камера линейно увидит ее как от 1 до 10 000. датчик, который может охватывать такой большой диапазон, сложен, поскольку у вас есть шум, мешающий низким измерениям, и перелив, мешающий измерениям более высокой яркости. Сказав это, я считаю, что есть камера RED, которая может записывать 18 ступеней динамического диапазона — хотя не уверен, что это только прототип или серийная модель.

Кстати, логарифмическая и линейная разница также объясняет, почему яркость удваивается или уменьшается вдвое на разницу в один стоп.

Но этого достаточно для темы исследования — так что это лишь краткая справка.

Глаз не улавливает динамический диапазон. Он сжимает динамический диапазон, а затем «постобработка» в мозгу создает иллюзию динамического диапазона. Благодаря сжатому динамическому диапазону вы можете одновременно видеть тени и освещенные области. «Усиление», так сказать, автоматически увеличивается в тех частях сетчатки, которые воспринимают тени, делая их ярче, и уменьшается там, где сетчатка видит освещенные области. Мозг все еще знает, что смотрит в тень, поэтому создает ощущение, что там темно. Происходит своего рода расширение сжатых данных, так что вы не знаете, что динамический диапазон был сжат.

Датчики в цифровых камерах могут легко превзойти сетчатку в необработанном динамическом диапазоне. Проблема в том, что вы не контролируете экспозицию для каждой области. У камер есть настройки усиления (обычно представленные в терминологии фильмов как настройки ISO), которые являются глобальными.

То, что делает глаз, так сказать, похоже на использование «ISO 100» для яркой области и «ISO 800» для темной области одновременно.

Если бы камера могла регулировать усиление для определенных областей пикселей в зависимости от яркости, это, несомненно, было бы полезно, но из применения таких эффектов выравнивания усиления в постобработке мы знаем, что мозг на самом деле не обманывается ими. Это не выглядит естественным. Это выглядит естественно только тогда, когда ваш собственный глаз делает это в координации с вашим собственным мозгом.

Это довольно интересный вопрос, если вы дадите ему шанс вместо того, чтобы поднимать очевидные причины, по которым камеры уже сделаны так, как они сделаны.

Рассмотрим ближайший вариант. Тональное отображение — это метод, в котором фильтр нижних частот применяется к значениям экспоненты изображения RGBe. Это играет большую роль в том, как глаза что-то видят. Но давайте учтем, что наши глаза воспринимают длинные потоки образов. Они больше похожи на видеокамеры, чем на фотокамеры.

Отображение тонов можно было бы значительно улучшить, если бы оно было построено как шейдер GLSL, работающий в режиме реального времени со специальной видеокамерой, способной захватывать постоянный поток HDR-изображений.

В гораздо более упрощенном примере фотографии «HDR» iPhone представляют собой составные изображения с низкой и высокой экспозицией, пропущенные через процесс тонального отображения, который работает довольно хорошо, если вы еще не пробовали. Многие другие камеры потребительского уровня делают то же самое.

Существует также увлекательный вопрос о том, как интуиция/намерение/свободная воля влияют на то, как ваши глаза калибруются в потоке времени. Если вы смотрите на темную стену и думаете о том, чтобы повернуть голову к ярко освещенному окну, ваш мозг может сказать вашим глазам двигаться вперед и начать сужать зрачки. Камера с автоматической экспозицией может сделать то же самое, но только после того, как попадет слишком много света. Люди, работающие в кино, тратят много времени на то, чтобы синхронизация настроек кинокамеры проходила плавно, чтобы они чувствовали себя естественно в сложном кадре. (или освещение сцены таким образом, что настройки камеры на самом деле не нужно настраивать) Но опять же, единственная причина, по которой такие вещи работают, заключается в том, что режиссер знает, что произойдет с камерой, до того, как это произойдет.

Самой большой проблемой будет воспроизведение захваченного изображения.

Создание датчика изображения и конфигурации, которые будут фиксировать чрезвычайно широкий диапазон уровней яркости на одном изображении, не выходит за рамки технологии. В конце концов, это всего лишь вопрос подсчета фотонов, технологии, которая масштабируется до необходимых уровней. Современные камеры в основном используют настройки экспозиции для модуляции уровня яркости, который видит датчик, хотя большая часть этой работы может быть выполнена в датчике, что, возможно, приведет к большему шуму ошибки, но вы, безусловно, можете получить более широкий диапазон от фотодатчика, чем что сейчас есть на рынке.

Но проблема вот в чем: когда у вас есть эта картинка, что вы с ней делаете ? Даже высококачественные дисплеи по-прежнему используют 24-битный цвет, то есть разрешено только 256 оттенков на цветовой канал. Текущие принтеры также ограничены, если не больше. Таким образом, с таким изображением ничего нельзя было сделать без предварительной обработки, чтобы уменьшить диапазон до того, что производят существующие камеры.

Вы, вероятно, сталкивались с этой проблемой раньше: большинство современных форматов RAW уже хранят более широкий диапазон, чем может быть воспроизведено, и цветовой диапазон уже должен быть сжат или обрезан, прежде чем вы сможете посмотреть на изображение. Добавление еще большего диапазона к выходу RAW было бы почти таким же. Камера, вероятно, будет намного дороже, но изображения не будут значительно лучше, потому что вам все равно придется сократить диапазон до 24-битного цвета, прежде чем вы сможете смотреть на него.

Тем не менее, возможно, с правильным программным обеспечением и правильным типом пользователя вы сможете извлечь из этого что-то замечательное. Вероятно, это будет мало чем отличаться от нынешней HDR-фотографии, но вам не придется делать несколько снимков.