Фильтр разделения RGB и его влияние на изображение

Спектральный отклик цветных фильтров на сенсорах с маской Байера точно имитирует отклик трех различных типов колбочек в сетчатке глаза человека. На самом деле наши глаза имеют большее «перекрытие» между красным и зеленым цветом, чем большинство цифровых камер.

«Кривые отклика» трех разных типов колбочек в наших глазах:

Типичная кривая отклика современной цифровой камеры:

Длины волн ИК- и УФ-излучения фильтруются элементами в стеке перед датчиком в большинстве цифровых камер. Почти весь этот свет уже был удален до того, как свет достиг маски Байера. Как правило, эти другие фильтры в стопке перед датчиком отсутствуют, а инфракрасный и ультрафиолетовый свет не удаляются, когда датчики тестируются на спектральную характеристику. Если эти фильтры не снимаются с камеры, когда она используется для фотографирования, реакция пикселей под каждым цветовым фильтром, скажем, на 870 нм не имеет значения, поскольку практически ни один сигнал с длиной волны 800 нм или более не может достичь маски Байера.

Без «перекрытия» между красным, зеленым и синим (или, точнее, без перекрывающегося способа, которым кривые чувствительности трех различных типов колбочек в нашей сетчатке формируются для света с центрами длин волн 565 нм, 540 нм и 445 нм) это было бы невозможно воспроизвести цвета так, как мы воспринимаем многие из них. Наша система зрения «глаз-мозг» создает цвета из комбинаций и смесей световых волн разной длины. Без перекрытия в том, как колбочки в наших сетчатках реагируют на свет с различными длинами волн, мы не смогли бы создавать цвета так, как мы это делаем.Не существует цвета, присущего определенной длине волны видимого света. Есть только цвет, который наш глаз/мозг приписывает определенной длине волны или комбинации длин волн света. Многие из отчетливых цветов, которые мы воспринимаем, не могут быть созданы одной длиной волны света.

Причина, по которой мы используем RGB для воспроизведения цвета, не в том, что RGB является неотъемлемой частью природы света. Это не так. Мы используем RGB, потому что он присущ трихроматическому способу, которым наши глаза и мозг реагируют на свет.

Если бы мы могли создать датчик, чтобы «синие» отфильтрованные пиксели были чувствительны только к свету с длиной волны 445 нм, «зеленые» отфильтрованные пиксели были чувствительны только к свету с длиной волны 540 нм, а «красные» отфильтрованные пиксели были чувствительны только кСвет с длиной волны 565 нм не дал бы изображения, которое наши глаза распознали бы как что-то похожее на мир, каким мы его воспринимаем. Начнем с того, что почти вся энергия «белого света» будет заблокирована от попадания на датчик, поэтому он будет гораздо менее чувствителен к свету, чем наши нынешние камеры. Любой источник света, не излучающий и не отражающий свет ни на одной из перечисленных выше длин волн, вообще не поддается измерению. Таким образом, подавляющее большинство сцены будет очень темным или черным. Также было бы невозможно отличить объекты, которые отражают МНОГО света, скажем, на 490 нм и ни одного на 615 нм, от объектов, которые отражают МНОГО света на 615 нм, но не отражают на 490 нм, если они оба отражают одинаковое количество света на 540 нм и 565 нм. . Было бы невозможно различить многие из отчетливых цветов, которые мы воспринимаем.

Подумайте, каково это, когда мы видим при красном освещении с очень ограниченным спектром. Невозможно отличить красную рубашку от белой. Оба они кажутся нашим глазам одного цвета. Точно так же в условиях красного света с ограниченным спектром все, что имеет синий цвет, будет очень похоже на черное, потому что оно не отражает падающий на него красный свет, и на него не падает синий свет, который можно было бы отразить.

Вся идея о том, что красный, зеленый и синий цвета могут быть измерены «идеальным» датчиком цвета, основана на часто повторяющихся заблуждениях о том, как камеры с байеровской маской воспроизводят цвет (зеленый фильтр пропускает только зеленый свет, красный фильтр пропускает только зеленый свет). проезд на красный свет и др.). Он также основан на неправильном представлении о том, что такое «цвет».

Как маскированные камеры Bayer воспроизводят цвет

Необработанные файлы на самом деле не хранят цвета на пиксель. Они хранят только одно значение яркости на пиксель.

Это правда, что с маской Байера над каждым пикселем свет фильтруется красным, зеленым или синим фильтром над каждым пикселем. Но нет жесткой границы, при которой только зеленый свет проходит к пикселю с фильтром зеленого цвета или только красный свет проходит к пикселю с фильтром красного цвета. Есть много совпадений. Через зеленый фильтр проходит много красного и немного синего света. Через красный фильтр проходит много зеленого и даже немного синего света, а некоторое количество красного и зеленого света записывается пикселями, отфильтрованными синим цветом. Поскольку необработанный файл представляет собой набор отдельных значений яркости для каждого пикселя на датчике, в необработанном файле нет фактической информации о цвете. Цвет получается путем сравнения соседних пикселей, отфильтрованных по одному из трех цветов с помощью маски Байера.

Каждый фотон, вибрирующий на соответствующей частоте для «красной» длины волны, которая проходит мимо зеленого фильтра, считается точно так же, как и каждая фотография, вибрирующая на частоте для «зеленой» длины волны, которая попадает в тот же самый пиксель.

Это все равно, что поставить перед объективом красный фильтр при съемке черно-белой пленки. Это не привело к монохроматической красной фотографии. Это также не приводит к черно-белой фотографии, где только красные объекты имеют какую-либо яркость. Скорее, при фотографировании в черно-белом режиме через красный фильтр красные объекты кажутся более яркими оттенками серого, чем зеленые или синие объекты, которые имеют ту же яркость в сцене, что и красный объект.

Маска Байера перед однотонными пикселями также не создает цвет. Что он делает, так это изменяет тональное значение (насколько ярким или темным записывается значение яркости определенной длины волны света) различных длин волн на разную величину. Когда сравниваются тональные значения (интенсивность серого) соседних пикселей, отфильтрованных с помощью трех различных цветовых фильтров, используемых в маске Байера, на основе этой информации можно интерполировать цвета. Это процесс, который мы называем демозаикой .

Что такое «Цвет»?

Имейте в виду, что приравнивание определенных длин волн света к «цвету», который воспринимают люди, как конкретная длина волны, является немного ложным предположением. «Цвет» во многом является конструкцией системы глаз/мозга, которая его воспринимает, и на самом деле вообще не существует в электромагнитном излучении, которое мы называем «видимым светом». В то время как свет, имеющий только одну дискретную длину волны, может восприниматься нами как определенный цвет, в равной степени верно и то, что некоторые из воспринимаемых нами цветов невозможно воспроизвести с помощью света, содержащего только одну длину волны.

Единственная разница между «видимым» светом и другими формами ЭМИ, которые не видят наши глаза, заключается в том, что наши глаза химически реагируют на определенные длины волн ЭМИ, но не химически реагируют на другие длины волн. Маскированные камеры Bayer работают, потому что их датчики имитируют то, как наши сетчатки реагируют на видимые длины волн света, и когда они обрабатывают необработанные данные с датчиков в видимое изображение, они также имитируют то, как наш мозг обрабатывает информацию, полученную от наших сетчаток.

Цветовой фильтр должен имитировать восприятие цвета нашими глазами, он делает это несовершенно, но обычно достаточно хорошо. То, как мы понимаем восприятие цвета, основано на теории противоположных процессов.Например, вы можете видеть, что чувствительность «красного» фильтра является бимодальной, это должно имитировать восприятие «красного» глазами как на очень низких, так и на высоких длинах волн. Еще одной особенностью приведенного выше графика являются относительно широкие полосы частот, которые имитируют реакцию глаза на цветовой спектр. Если бы полосы были слишком узкими, монохроматический свет между максимумами казался бы слишком темным. «Ужасное» плато и артефакты выше 700 нм фактически обрезаются ИК-фильтром датчика, поэтому эти фотоны не регистрируются. Фильтры не идеальны, но, насколько я понимаю, они несколько ограничены экономическими аспектами процесса производства матрицы ПЗС.

Для альтернативного способа регистрации информации о цвете см. а) датчик Foveon, хотя его полосы еще шире. б) 3 ПЗС-системы (правда, только для видеосъемки), которые предположительно обеспечивают лучшую точность цветопередачи, более точно имитируя цветовую реакцию наших глаз (хотя современные зеркальные фотокамеры имеют довольно хорошую точность цветопередачи). Допуски производственного процесса допускают только большие фото-сайты, соответствующие разрешению 1-2 мегапикселя, поэтому в настоящее время это невозможно при фотосъемке.

Изменить Для лучшего объяснения того, как колбочки преобразуются в цвет в наших глазах, как это понимается теорией процесса оппонента, см.: http://www.huevaluechroma.com/014.php
Это поднимает вопрос о том, должна ли а) синяя полоса на самом деле он более узкий, и если вместо еще одного зеленого пикселя в массиве Байера, то не лучше ли будет просто добавить желтый широкополосный фильтр, чтобы еще ближе имитировать человеческое восприятие. Это может быть реализовано в цветовой интерполяции во время демозаики, и меньшее количество зеленых пикселей может означать недопустимо больше яркостного шума. Может быть, кто-то, у кого больше опыта в технологии ПЗС-матрицы, знает, почему это не делается.