Почему камеры не предлагают более 3 цветовых каналов? (Или они?)

В настоящее время большинство (все?) коммерчески доступных камер улавливают свет в трех цветовых каналах: красном, зеленом и синем. Мне кажется, что было бы очень полезно иметь камеру с большим спектральным диапазоном и разрешением, и поэтому мне интересно, почему нет камер, которые захватывают более трех цветовых каналов.

Что я имею в виду?

В комментариях (поскольку они были удалены) были некоторые вопросы о том, что я имел в виду, поэтому я хотел бы дать лучшее объяснение. Видимый свет находится в диапазоне длин волн от 390 до 700 нм. Между этими двумя конечными точками находится бесконечное число длин волн, но способность глаза различать их очень ограничена, поскольку у него всего три цветных фоторецептора. Кривые отклика для них показаны в части (а) рисунка ниже. ( Увеличенная версия .) Это позволяет нам видеть разные цвета в зависимости от частоты света, поскольку низкочастотный свет больше влияет на синие рецепторы, а высокочастотный — на красные рецепторы.

введите описание изображения здесь

Цифровой датчик в камере работает с фильтрами перед пикселями, и обычно существует три типа фильтров. Они выбраны с кривыми отклика, максимально близкими к рисунку (а) выше, чтобы имитировать то, что видит человеческий глаз.

Однако с технологической точки зрения нет никаких причин, по которым мы не могли бы добавить четвертый тип фильтра, например, с пиком между синим и зеленым, как показано на рисунке (b). В следующем разделе я объясню, почему это было бы полезно для постобработки фотографий, даже если это не соответствует тому, что может видеть глаз.

Другой возможностью было бы добавление дополнительных каналов в инфракрасном или ультрафиолетовом диапазоне, как показано на рисунке (c), расширяя спектральный диапазон камеры. (Это, вероятно, будет более технически сложным.)

Наконец, третья возможность состоит в том, чтобы еще более точно разделить частотный диапазон, создав камеру с высоким спектральным разрешением. В этой версии обычные каналы RGB должны быть созданы в программном обеспечении из более детальных данных, которые производит датчик.

Мой вопрос о том, почему DSLR обычно не предлагают ни одну из этих опций, кроме (а), и есть ли доступные камеры, которые предлагают какие-либо другие. (Я спрашиваю о типе камеры, которую вы бы использовали, чтобы сделать снимок — я знаю, что есть научные инструменты, которые предлагают такие функции.)

Почему это может быть полезно?

Я играл с редактированием черно-белых фотографий из цветных снимков, сделанных моей DSLR. Я нахожу этот процесс интересным, потому что при редактировании черно-белой фотографии три канала RGB просто становятся источниками данных о сцене. Реальные цвета, которые они представляют, почти не имеют значения — синий канал полезен в основном потому, что объекты в сцене различаются количеством света, которое они отражают в этом диапазоне длин волн, и тем фактом, что он соответствует тому, что видит человеческий глаз. "синий" гораздо менее актуален.

Наличие трех каналов дает большую гибкость в управлении экспозицией различных аспектов конечного черно-белого изображения. При этом мне пришло в голову, что четвертый цветовой канал даст еще большую гибкость, и поэтому я удивляюсь, почему такой вещи не существует.

Дополнительные цветовые каналы были бы полезны как для цветной фотографии, так и для черно-белой, и по той же причине. Вы просто создадите каждый из каналов RGB таким же образом, как сейчас вы создаете черно-белое изображение, комбинируя данные из разных каналов, представляющих свет разных частотных диапазонов. В большинстве случаев это будет делаться автоматически в программном обеспечении, но это обеспечит гораздо большую гибкость с точки зрения параметров постобработки.

В качестве простого примера того, как это может быть полезно, мы знаем, что растения очень хорошо отражают ближний инфракрасный диапазон. Этот факт часто используется для создания поразительных снимков со спецэффектами, на которых растения кажутся ярко-белыми. Однако, если бы у вас было инфракрасное изображение в качестве четвертого канала в вашем программном обеспечении для редактирования, оно было бы доступно для обработки цветных изображений, например, путем изменения экспозиции всех растений на изображении, оставляя в покое объекты, менее отражающие ИК-излучение.

В случае с инфракрасным излучением я понимаю, что есть физические причины, по которым трудно сделать датчик, не чувствительный к ИК-излучению, поэтому цифровые датчики обычно имеют перед собой фильтр, блокирующий ИК-излучение. Но должна быть возможность сделать датчик с более высоким спектральным разрешением в видимом диапазоне, который дал бы такие же преимущества.

Можно подумать, что эта функция будет менее полезна в эпоху цифровой обработки, но я действительно думаю, что сейчас она войдет в свои права. Пределы того, что вы можете сделать в цифровом виде, устанавливаются доступными данными, поэтому я полагаю, что большее количество спектральных данных позволит использовать методы обработки, которые вообще не могут существовать без них.

Вопрос

Я хотел бы знать, почему эта функция, кажется, не существует. Является ли создание сенсора с четырьмя или более цветовыми каналами огромной технической проблемой, или причина больше связана с отсутствием спроса на такую ​​функцию? Существуют ли многоканальные датчики в качестве исследовательского проекта? Или я просто ошибаюсь в том, насколько это было бы полезно?

В качестве альтернативы, если он существует (или был в прошлом), какие камеры предлагали его и каковы его основные области применения? (Я хотел бы увидеть примеры изображений!)

Привет всем, здесь было огромное количество комментариев в комментариях, более чем достаточно, чтобы сработали автоматические системы. Если вы хотите принять участие в обсуждении вопросов и/или ответов, перейдите в наш чат. Спасибо.
Связанный (но другой) вопрос : почему мы просто используем RGB вместо фильтров для всех длин волн
Для чего это БЫЛО бы полезно, так это предложить лучшие варианты решения проблем, вызванных некоторыми современными типами осветительного оборудования...

Ответы (5)

Почему камеры не предлагают более 3 цветовых каналов?

Его производство обходится дороже (производство более одного вида чего-либо стоит дороже) и практически не дает (рыночных) преимуществ по сравнению с Bayer CFA.

(Или они?)

Они сделали. Несколько камер, в том числе продаваемые в розницу, имели фильтры RGBW (RGB + белый), RGBE (RGB + изумруд), CYGM (голубой желто-зеленый пурпурный) или CYYM (голубой желто-желтый пурпурный).

Мне кажется, что было бы очень полезно иметь камеру с большим спектральным диапазоном и разрешением, и поэтому мне интересно, почему нет камер, которые захватывают более трех цветовых каналов.

Количество каналов не имеет прямого отношения к спектральному диапазону.

Является ли создание сенсора с четырьмя или более цветовыми каналами огромной технической проблемой, или причина больше связана с отсутствием спроса на такую ​​функцию?

Отсутствие спроса является решающим фактором.

Кроме того, фильтры CYYM/CYGM вызывают повышенный цветовой шум, поскольку требуют арифметических операций с большими коэффициентами при преобразовании. Однако разрешение яркости может быть лучше за счет цветового шума.

Существуют ли многоканальные датчики в качестве исследовательского проекта? Или я просто ошибаюсь в том, насколько это было бы полезно?

Вы ошибаетесь в том, что спектральный диапазон будет больше с большим количеством каналов, вы правы в том, что четвертый канал предоставляет ряд интересных методов обработки как для цвета, так и для монотонности.

В качестве альтернативы, если он существует (или был в прошлом), какие камеры предлагали его и каковы его основные области применения?

Sony F828 и Nikon 5700 например, они и некоторые другие есть даже в наличии б/у. Это обычные камеры.

Также интересно знать, что спектральный диапазон ограничен не только горячим зеркалом, присутствующим в большинстве камер, но и чувствительностью фотодиодов, из которых состоит матрица. Я не знаю, какой именно тип фотодиодов используется в бытовых камерах, но вот примерный график, показывающий ограничения полупроводников:

Сравнение светочувствительных полупроводников

Что касается программного обеспечения, которое может быть использовано для извлечения четвертого канала: возможно, dcrawно оно должно быть модифицировано и перекомпилировано для извлечения только одного канала.

Для F828 имеется матрица 4x3, в dcraw.cкоторой используется четвертый канал. Вот идея: { 7924,-1910,-777,-8226,15459,2998,-1517,2199,6818,-7242,11401‌​‌​,3481 }- это матрица в линейной форме, скорее всего каждое четвертое значение представляет Изумруд. Вы превращаете это в это: { 0,0,0,8191,0,0,0,0,0,0,0,0 }(я не знаю, какое число должно быть там вместо 8191, порыв догадки), перекомпилируйте и выходное изображение получает Изумрудный канал после демозаики в красный канал (если я правильно понимаю источники).

Комментарии не для расширенного обсуждения; этот разговор был перемещен в чат .
Эури, в ваших комментариях о dcraw и т. д. была очень полезная информация, теперь она перенесена в чат. Есть ли шанс, что вы сможете отредактировать это в своем ответе для потомков?

Несколько заметок от этого опытного инженера по оптическим системам. Во-первых, есть вещи, называемые «гиперспектральными» камерами, в которых используются решетки или их аналоги, чтобы разбить входящий свет на десятки или даже пару сотен цветовых (длинных волн) каналов. Они, как вы можете себе представить, не используются и не полезны для создания цветных фотографий как таковых, но отлично подходят для различения узкополосных спектральных линий, излучаемых или отраженных от определенных материалов. геологи, например, используют их для выявления месторождений полезных ископаемых с помощью гиперспектральной камеры, установленной в самолете.

Далее, существует огромная разница между цветами, создаваемыми каждой отдельной длиной волны (энергией фотона), и цветами, воспринимаемыми нашими глазами. У нас есть три, а для некоторых счастливчиков четыре разных конуса, каждый с разными кривыми спектрального отклика. Вы можете найти эти кривые по всей сети, включая первое изображение на этой странице Википедии. Затем диапазон цветов/оттенков, которые мы воспринимаем, покрывает всю карту , в то время как цвета, создаваемые любой отдельной длиной волны фотона, образуют линию в области этой карты.

Многочисленные эксперименты, в том числе впечатляющие, проведенные Эдвином Лэндом, показали, что смешивания цветов RGB достаточно, чтобы глаз мог воссоздать все возможные зрительные цвета. (На самом деле оказывается, что достаточно только двух цветов плюс представление другого в оттенках серого . Оптическая обработка в мозгу действительно странная)

Датчики RGB-камер так популярны, потому что они воспроизводят человеческое зрение.

Это то, что нужно большинству людей — делать фотографии, похожие на то, что мы видим.

Замена субпикселей RGB другими типами фильтров для выделения большего количества полос с лучшим спектральным разрешением будет работать, но:

  • только с одной целью . Всем нужны примерно одинаковые RGB-фильтры для хороших фотографий, но существует неограниченное количество возможных спектральных диапазонов, которые могут кому-то пригодиться. Таким образом нельзя сделать универсальную камеру.

  • это снизит общую чувствительность датчика . Каждый заданный субпиксель бесполезен для любого света, кроме той узкой полосы, которую он принимает. Больше фильтров = больше потерянного света.

Так что вместо того, чтобы делать узкоспециализированные датчики, лучше иметь датчик вообще без встроенных фильтров, и просто менять фильтры во время получения изображения. Таким образом, с каждым фильтром используется вся площадь сенсора, а не только небольшая часть, имеющая соответствующий субпиксель.

Это не совсем так, 3 основных цвета не могут дать все оттенки, которые может видеть человек. Если вы посмотрите на диаграмму цветности CIE, она выглядит как треугольник, но когда вы видите практичный треугольник RGB, вписанный внутрь, вы видите, сколько цветов вам не хватает. 4-й первичный элемент в сине-зеленой области создал бы четырехугольник с, возможно, на 20% большим количеством цветов.
PS единственная причина, по которой люди довольны RGB, заключается в том, что цвета за пределами типичной гаммы встречаются реже, чем те, которые RGB способен воспроизводить.
@MarkRansom верно, но это досадное ограничение влияет только на дисплеи ;-) а со стороны датчика нам нужно только воспроизвести кривые чувствительности человека, чтобы наш датчик RGB различал все цвета, которые могут видеть наши глаза!
Как бы фильтр Байера не ограничивал цветовое пространство треугольником, как это делает дисплей? Я не думаю, что этому вопросу уделяется достаточно внимания; например, это никогда не упоминается, когда речь идет о различиях сенсорных чипов.
тот же вопрос относится к сетчатке человека, имеющей только 3 вида «фильтров» — и ответ, я думаю, таков, что отображение и восприятие — это разные животные! пожалуй, в отличие от дисплеев, где гаммы дерутся друг с другом, это даже настолько скучно и просто, что об этом никто не говорит.
@MarkRansom, это неправда, что вы не можете иметь полную чувствительность с тремя типами фильтров. Диаграмма цветности CIE формируется с учетом этих значений чувствительности . Они характеризуются точками [0;1],[1;0],[0;0]на графике, который вы разместили.
@EuriPinhollow сами цветовые пространства определяются с 3 точками в качестве основных. Неважно, что производят сами фильтры, они должны быть отображены в треугольник, ограниченный этими тремя основными цветами.
@MarkRansom Я буквально сказал вам координаты точек, образующих треугольник. Цветная область внутри него просто представляет цвет, который видят люди.
@EuriPinhollow да, диаграмма xy содержит все видимые цвета, я не буду / не могу с этим спорить (хотя это прямоугольник, а не треугольник). Я утверждаю, что используемые нами цветовые пространства являются его подмножеством, определяемым тремя точками, и для физически реализуемой системы эти три точки должны лежать в пределах видимого пространства.
@MarkRansom, вы говорите об отображении или записи? Есть огромная разница. Пространство XYZ является трехцветным пространством, и его цветности имеют координаты на том графике, который я назвал. Вот он на фото (внешний, заштрихованный).
Записанные @EuriPinhollow цвета, которые невозможно отобразить, не очень полезны. Хотя я допускаю, что координаты XYZ можно использовать для указания каждого видимого цвета, существует компромисс между размером цветового пространства и разрешением. Обычно используемые 8 бит на канал не дают адекватного разрешения даже крошечному пространству sRGB.
@MarkRansom Мне интересно, что такое «разрешение» применительно к цветовым пространствам и как вы исключаете фактическое разрешение фактического изображения при оценке того, достаточно ли X бит для представления хорошего качества.
@EuriPinhollow, когда я говорю о разрешении, я имею в виду точность, которую вы можете использовать для указания координат. В sRGB, использующем 8-битные целочисленные координаты, вы можете увидеть полосы между соседними значениями, если изображение структурировано правильно. Люди часто жалуются на полосы на голубом небе. Вы можете компенсировать это, используя высокое пространственное разрешение в пикселях и дизеринг.
@MarkRansom не «несколько», пространственное разрешение и глубина цвета строго взаимосвязаны. Вы можете воспроизвести любой цвет, используя высокое пространственное разрешение, дизеринг и 1-битный цвет. Вы не можете сказать, что «8 бит недостаточно», не указав вариант использования.

В человеческом глазу есть три датчика цвета. Их спектральные профили широкие и перекрываются. Каждый из них посылает нервные сигналы в мозг, где ввод интерпретируется как цвет. Комментарий в предыдущем ответе о странной обработке в мозгу верен. В этом случае необходимы только 3 стимула для данного цвета. Подробнее см. в статье Википедии о цветовом зрении.

Были также многоспектральные камеры с дополнительными каналами для инфракрасного и ультрафиолетового света, но не в качестве потребительского товара.

Почему камеры не предлагают более 3 цветовых каналов? (Или они?)
СпросиСетьПолитика конфиденциальности1y, 0v