Возможна ли установка «универсальной экспозиции» на практике?

Цифровой датчик на самом деле не лучше всего описывается как «считывание данных». Гораздо лучший способ описать это — «сбор фотонов», которые затем преобразуются в данные путем измерения микроскопических электрических зарядов, которые они производят после окончания периода сбора . У них нет возможности непрерывно записывать изменение состояния каждого пикселя, когда они собирают свет. И в зависимости от того, как мало или сколько света падает на датчик, может пройти много времени, прежде чем достаточное количество фотонов ударит по датчику, прежде чем будут сгенерированы что-то большее, чем случайные данные. С другой стороны, при очень ярком свете иногда все пиксельные лунки могут заполняться так быстро, что любые дополнительные фотоны, попадающие на матрицу, теряются.

В первом сценарии собирается недостаточно фотонов, чтобы создать различимую картину через «шум», создаваемый энергией, протекающей через датчик, который используется для сбора напряжений, создаваемых фотонами, попадающими в пиксельные лунки. Таким образом, никакая полезная информация не собирается. Вся ваша фотография темная со случайными пятнами цвета и света.

Во втором сценарии собирается так много фотонов, что каждый пиксель считывается с одним и тем же максимальным значением, называемым полной насыщенностью, и, поскольку каждый пиксель изображения имеет одинаковое значение, никакая полезная информация не сохраняется. Вся ваша фотография сплошного ярко-белого цвета.

Только когда на датчик попадает достаточное количество фотонов, области с большим количеством фотонов в единицу времени имеют более высокое значение считывания, чем области с меньшим количеством фотонов, поражающих их в единицу времени. Только тогда датчик собирает значимую информацию, которая может различать области различной яркости.

Представьте, что у вас во дворе стоит несколько ведер с водой, чтобы собирать капли дождя. Представьте, что во всех них есть немного воды, но вы выливаете ее перед тем, как поставить их. Некоторые из них размещаются под карнизом крыши вашего дома. Некоторые из них размещены под большими деревьями в вашем дворе. Некоторые из них размещены на открытом воздухе. Некоторые помещаются под носик, который сбрасывает воду из водосточных желобов во двор. Затем начинается дождь.

Предположим, что дождь идет очень короткое время: 15 секунд. В каждом ведре несколько капель воды. Но в каждом ведре недостаточно воды, чтобы можно было сказать, было ли в каждом ведре больше дождевой воды или в ведре осталось еще несколько капель, когда вы вылили воду, прежде чем поставить ведра. во дворе. Поскольку у вас недостаточно данных, чтобы определить, сколько дождя выпало на какую часть двора, вы выливаете все ведра и ждете, когда снова пойдет дождь.

На этот раз дождь идет несколько дней. К тому времени, когда дождь прекращается, все ведра во дворе переполняются. Даже если вы совершенно уверены, что некоторые ведра наполняются быстрее, чем другие, у вас нет возможности узнать, какие ведра наполнились быстрее, а какие ведра наполнились последними. Так что вам нужно снова вылить ведра и дождаться нового дождя.

С третьей попытки дождь идет три часа, а затем прекращается. Вы выходите во двор и осматриваете свои ведра. Некоторые почти заполнены! В некоторых практически нет воды! Большинство из них имеют различное количество воды между двумя крайностями. Теперь вы можете использовать местоположение каждого ведра, чтобы определить, сколько дождя выпало на каждый участок вашего двора.

Причина, по которой мы изменяем экспозицию в цифровых камерах, состоит в том, чтобы попытаться собрать достаточно света, чтобы самые яркие области были почти, но не совсем, насыщенными.В идеале это происходит с камерой при базовой чувствительности ISO. Иногда, однако, для этого недостаточно света. Даже при максимально доступной диафрагме мы не можем собрать достаточно света за самое долгое время, в течение которого оставляем затвор открытым (из-за движения наших объектов). Что мы делаем в этом случае, так это настраиваем настройку ISO в нашей камере так, чтобы все значения, поступающие с датчика, умножались на коэффициент, который приводит самые высокие значения к точке, где они почти, но не полностью насыщены. К сожалению, когда мы усиливаем сигнал (напряжения, создаваемые фотонами, попадающими в лунки пикселей), мы также усиливаем шум (случайные неравномерные напряжения, создаваемые током, используемым для сбора напряжений с каждой лунки пикселей). Это приводит к более низкому отношению сигнал/шум .что уменьшает количество деталей, которые мы можем создать из данных, собранных с датчика.

Существуют и другие технические ограничения, которые не позволяют камерам вести «нарастающий итог» количества фотонов, собранных с различными интервалами, пока затвор открыт. Бросьте достаточно денег на проблему, и некоторые из этих ограничений можно будет преодолеть, по крайней мере частично. Но либо законы физики должны быть изменены, либо нам нужно полностью изменить способ, которым датчики считают фотоны, прежде чем можно будет преодолеть другие из этих ограничений. В конце концов, технология некоторых или всех этих устройств может заменить способ, которым мы в настоящее время снимаем изображения очень высокого качества, но мы еще далеки от этого.

У нас уже есть некоторые технологии для этого. Наш термин для запоминания показаний датчика в каждой точке экспозиции — «видео», а то, что вы просите, — это реконструкция оптимального неподвижного изображения из нескольких видеокадров.

Обзор работы Microsoft Research по этому вопросу можно найти здесь: http://research.microsoft.com/en-us/um/redmond/groups/ivm/multiimagefusion/

Доступный пример см. в приложении Synthcam, которое можно использовать для уменьшения шума при слабом освещении путем объединения видеокадров, снятых камерой телефона: https://sites.google.com/site/marclevoy/

Это далеко не практично для повседневной фотографии, но вполне возможно, что будущие камеры будут снимать много кадров видео высокой четкости с высокой частотой кадров, что позволит фотографу достичь желаемого результата, выбирая и комбинируя позже.

Обновление в конце 2016 года: когда я написал исходный ответ, это было далеко от рынка. В конце 2016 года это кажется намного ближе. Приложение Марка Левоя «See In The Dark» объединяет несколько видеокадров со стабилизацией на потребительском смартфоне для создания пригодных для использования изображений при лунном свете. См. также камеру Light L16 , которая объединяет несколько небольших датчиков в одно изображение.

Первоначальный вопрос основан на неверном предположении (о том, что цифровой датчик не меняет состояние во время экспозиции), но концепция связана с идеей квантового датчика изображения (QIS), исследованной Эриком Фоссумом .

http://engineering.dartmouth.edu/research/advanced-image-sensors-and-camera-systems/

QIS — это революционное изменение в том, как мы собираем изображения с помощью камеры, которую изобретают в Дартмуте. В QIS цель состоит в том, чтобы подсчитать каждый фотон, попадающий на датчик изображения, и обеспечить разрешение в 1 миллиард или более специализированных фотоэлементов (называемых йотами) на датчик, а также считывать битовые плоскости йот сотни или тысячи раз в секунду, что приводит к в терабитах/сек данных.

Такое устройство будет (цитируя вопрос)

"запоминать" какие были показания датчика в каждой точке воздействия

и, имея полный набор данных, мы могли бы, например, «изменить» эффективное время экспозиции после того, как «фотография» была сделана.

Сегодня это можно аппроксимировать путем записи видео и объединения кадров в постобработке для имитации более длительного времени экспозиции (ограничено производительностью камеры, разрешением видеорежима и выдержкой, но это показывает идею).

Если QIS будет работать, как обещано, он также представит другие интересные функции, такие как улучшенная производительность при слабом освещении, расширенный динамический диапазон, отсутствие наложения спектров, полностью настраиваемая чувствительность (например, пленочная), отсутствие настроек ISO, регулируемое разрешение в зависимости от шума.

Недавнее объявление: http://phys.org/news/2015-09-breakthrough-photography.html

Пленка физически меняется в течение периода времени, в течение которого она экспонируется. Однако цифровой датчик этого не делает; это просто чтение данных.

На самом деле это зависит от типа датчика. Датчики CMOS, которые используются в современных цифровых зеркальных фотокамерах, накапливают электрический заряд в каждом пикселе с течением времени, поэтому они действительно меняются со временем так же, как пленка. Если бы они не работали таким образом, изображение существовало бы только до тех пор, пока был открыт затвор. Датчики CCD (другая распространенная технология для датчиков изображения в камерах) также работают таким же образом, накапливая свет с течением времени.

Есть ли какая-то причина, по которой нельзя заставить камеру «запоминать» показания сенсора в каждой точке экспозиции?

Это именно то, что делает камера, когда записывает изображение. Я думаю, что вы имеете в виду, что если датчик может считывать мгновенную интенсивность света, то вы можете настроить экспозицию постфактум на любое значение, которое вы хотите. Как объяснялось выше, на самом деле большинство датчиков изображения работают не так. С другой стороны, мы можем и часто немного корректируем экспозицию при постобработке.

Если бы хранение данных не было проблемой, есть ли причина, по которой это не могло бы быть нормой, по крайней мере, для профессиональной и художественной фотографии?

Что касается «запоминания» данных с сенсора, то для многих фотографов это норма . Большинство камер позволяют записывать изображения в формате «RAW», и это в значительной степени данные, считанные с датчика, плюс немного больше данных о том, какие настройки камеры были в то время. Изображения в формате RAW занимают намного больше места, чем другие форматы, такие как JPEG, но они дают фотографу свободу для повторной интерпретации данных позже, поэтому вы можете легко изменять такие настройки, как цветовая температура и баланс белого, при постобработке.

Другие уже объяснили, почему технически это не сработает. Я хочу коснуться того, почему это не сработает на практике .

Если бы хранение данных не было проблемой, есть ли причина, по которой это не могло бы быть нормой, по крайней мере, для профессиональной и художественной фотографии?

Подумайте о величине различных условий освещения, которые мы можем захотеть сфотографировать. Даже игнорируя крайности, такие как астрофотография (где вы часто фотографируете маленькие точки света, окруженные почти полным черным цветом), у вас все еще есть вечерняя или ночная наземная фотография и ярко освещенные заснеженные зимние пейзажи. Я собираюсь использовать последние два в качестве примеров.

Кроме того, я собираюсь предположить, что для точного воссоздания любой желаемой экспозиции мы должны выставить датчик до точки полного насыщения.

Кроме того, я собираюсь предположить, что мы можем считывать значения датчиков неразрушающим образом. (Вероятно, это одна из тех проблем, которые попадают в категорию «выбросьте достаточно денег на проблему, и она может быть решаема».)

В случае с ночной фотографией нам нужно было бы выставлять датчик на очень долгое время, чтобы насытить все пиксели, а это означает, что любая фотография, независимо от того, что мы на самом деле хотим сфотографировать, займет абсурдно много времени. Классическая туристическая фотография танцоров в баре под открытым небом становится почти невозможной, потому что вы можете сделать несколько таких за весь вечер. Нехорошо. Таким образом, мы не можем подвергать насыщению, по крайней мере, без разбора. (Экспозиция с некоторым процентом насыщения пикселей также бесполезна, но по разным причинам; попробуйте получить точную экспозицию, сфотографировав камин с горящим в нем огнем. Это почти невозможно; как бы вы ни старались, некоторыепиксели будут пересвечены, или огромные участки изображения будут ужасно недоэкспонированы.)

При фотографировании ярко освещенного заснеженного пейзажа, например зимнего пейзажа в дневное время, когда светит солнце, экспозиция, на которую нацелена автоматическая система экспонирования камеры («18% серого»), крайне неадекватна. Вот почему вы часто видите фотографии темного снега, на которых снег выглядит скорее светло-серым, чем белым. Из-за этого мы часто используем положительную настройку компенсации экспозиции, в результате чего снег экспонируется как почти насыщенно-белый. Однако это означает, что мы не можем полагаться на систему автоэкспозиции камеры, чтобы определить, когда закончить экспозицию: если мы это сделаем, такие снимки всегда будут недоэкспонированы .

Другими словами, воздействие полного насыщения во многих случаях нецелесообразно, а воздействие, чтобы сделать систему АЭ удовлетворительной, во многих случаях является недостаточным. Это означает, что фотографу все равно придется сделать какой-то выбор, и в этот момент мы, по крайней мере , с таким же успехом останемся с тем, что у нас есть, и к чему привыкли фотографы, улучшая системы автоэкспозиции и облегчая фотографу ( проще?) доступ к настройкам компенсации экспозиции. Увеличивая практически используемый динамический диапазон сенсора, мы можем позволить (даже) большую свободу в изменении экспозиции при постобработке; оригинальные цифровые зеркальные фотокамеры были ужасно дорогими, но в этом отношении они были просто ужасны по сравнению с сегодняшними моделями даже начального уровня.

Все это вполне можно сделать в рамках того, что у нас уже есть. Это не означает, что резко улучшить полезный динамический диапазон датчика легко , но, вероятно, это намного проще, чем то, что вы предлагаете, и поставщики имеют опыт работы над этой проблемой.

Профессионалы почти по определению умеют пользоваться оборудованием своего дела. Нет никакой разницы, если они фотографы или пилоты космических челноков . Особенно когда это можно сделать, не вызывая информационной перегрузки, обычно лучше предоставить пользователю полный контроль над профессиональным оборудованием. На мой взгляд, современные высококачественные зеркальные фотокамеры довольно хорошо справляются с этой задачей.

Давайте упростим задачу, чтобы понять, почему нам всегда придется идти на компромиссы.

Давайте изобретем камеру, которую вы хотите, но только с одним монохромным пикселем. Он должен иметь возможность надежно принимать и уведомлять процессор о приеме одного фотона. Он также должен иметь возможность получать и уведомлять процессор о приеме, практически говоря, бесчисленного количества фотонов.

Первый случай в ситуации, когда нет света. Второй в случае даже умеренного количества света.

Основная проблема в том, что у нас просто нет технологии для создания сенсора с таким широким динамическим диапазоном. Нам всегда придется идти на компромисс, и прямо сейчас мы идем на компромисс, выбирая более высокий диапазон, в котором датчик может принимать почти бесконечное количество фотонов и давать нам показания, которые предполагают относительное количество света, попадающего на датчик. Он их вообще не считает, а действует так же, как и наши глаза — они просто выдают результат, соответствующий количеству фотонов, попавших на них, не пытаясь подсчитывать фотоны.

Это еще более усложняется тем фактом, что это накапливается с течением времени.

Идеальный датчик на самом деле был бы больше похож на счетчик Гейгера — измеряя время между фотонами, чтобы дать нам почти мгновенное измерение количества света, падающего на датчик, предполагая, что фотоны относительно равномерно распределены (что не так, но является удобным предположением, и почему счетчики Гейгера усредняются во времени так же, как и камеры).

Квантовые датчики столкнулись бы, по сути, с той же проблемой. Конечно, они могут ощущать отдельные фотоны, но в какой-то момент они приходят настолько быстро, что вы просто не можете измерить время между ними или даже подсчитать, сколько их приходит за период экспозиции.

Таким образом, у нас есть этот компромисс, который требует, чтобы мы либо сделали несколько изображений с разной экспозицией, либо сложили вместе несколько изображений с одной и той же высокой экспозицией, чтобы выделить области слабого освещения, либо разделили входящий свет на два или более пути с разными датчиками с разной динамикой. диапазона, или создавать датчики, которые могут группировать пиксели вместе, или складывать датчики света, или, или, или - есть буквально тысячи способов, которыми фотографы преодолевали эту основную проблему на протяжении десятилетий с помощью самых разных материалов.

Это физическое ограничение, которое вряд ли удастся преодолеть. У нас никогда не будет камеры* без участия фотографа, которая позволяла бы принимать все решения при постобработке.

* _{Конечно, если вы измените определение камеры, то вас могут устроить результаты какого-то другого процесса, но это во многом субъективно. Реальность такова, что если вы изображаете сцену своей камерой, а затем показываете сцену человеку, а затем изображение, которое вы сняли, они будут воспринимать различия из-за врожденных различий между их глазами, вашим датчиком изображения и процессом, который вы использовали для печати. изображение. Фотография в такой же степени связана с интерпретацией и искусством, как и с захватом света, поэтому фанатичная сосредоточенность на «идеальной камере», вероятно, не очень полезна.}