Почему датчики цифровых камер не могут экспонировать каждый фотосайт по отдельности?

Почему датчики камеры не могут работать так, как человеческий глаз? Я имею в виду, почему определенная часть изображения должна быть переэкспонирована/недоэкспонирована, если мы компенсируем темные и светлые области соответственно при съемке фотографии и выборе настроек диафрагмы и выдержки.

Я понимаю, что попадание света зависит от диафрагмы и скорости затвора, но, поскольку зеркальные фотокамеры цифровые, не может ли существовать технология, которая позволила бы каждой сенсорной ячейке использовать свой собственный замер, и, следовательно, все они не подвергались бы одинаковому количеству света, но в зависимости от замера центральный процессор камеры отключал определенные ячейки, чтобы не переэкспонировать их.

Надеюсь, я не говорю глупостей. Это кажется мне правдоподобной идеей.

Похоже, вы спрашиваете, почему датчик не может иметь неограниченный динамический диапазон? Или, может быть, другой путь будет «как работает датчик камеры». Интересный вопрос несмотря ни на что.
Да, вы бы сказали, что вопрос касается неограниченного динамического диапазона, но на самом деле мне кажется довольно странным, что, поскольку каждая сенсорная ячейка имеет возможность «записывать» или, скажем, улавливать любое количество света (не обращая внимания на отсечение белого/черного) , почему он не может сделать это на основе одной ячейки, а вместо этого захватить одно и то же количество по всему датчику? Возможно, это потребовало бы немного большей мощности процессора и еще много чего, но мне интересно, рассматривал ли это вообще какой-либо производитель DSLR ...
По-моему, слишком много проводки . Вам потребуются нетривиальные дополнительные схемы для каждого фотосайта. Ближайшими на сегодняшний день являются камеры, которые считывают половину пикселей в процессе экспозиции.
У вас есть ссылка на статью? Таким образом, единственный ответ на мой первоначальный вопрос заключается в том, что это на самом деле слишком сложно на данном этапе истории технологии DSLR?
Это вопрос, который немного выходит за рамки. Очень разумно спросить об этом. Я уверен, что однажды камеры будут работать так же, как вы предлагаете. ... Хотя лично я считаю, что технические ограничения подпитывают художественность.
Вы видели двойной ISO ML? Он чередует усиление в рядах пикселей, обменивая разрешение на динамический диапазон. Это похоже на то, что вы предлагаете: magiclantern.fm/forum/index.php?topic=7139 .

Ответы (8)

Кто решает, какие пиксели получают какое усиление? Многое из того, что происходит в зрительной системе человека, происходит в коре головного мозга, а не в глазах, и зависит от того, что мы считаем важным увидеть, на основе комбинации интеллектуальных решений и инстинктивного стремления к самосохранению (в некоторой степени поддающимся преодолению). . Хотя в одном смысле верно то, что мы видим то, что есть, в другом смысле верно и то, что мы видим то, что хотим (или должны) видеть.

Это было бы почтитривиально создать датчик с относительно низкой плотностью пикселей с большими фотосайтами, которые обеспечивают огромный динамический диапазон и (при условии, что технология типа CCD, поскольку текущая технология датчиков CMOS не может работать таким образом) попиксельный электронный затвор в дополнение к механический затвор. Так что бы это вам дало? Плоское изображение с большой битовой глубиной и очень низким локальным контрастом (если вся битовая глубина преобразуется как есть для отображения или печати), а также количество пикселей, которые почти, но не совсем обрезаются насыщенностью сенсора ( хотя на самом деле они обрезаются ограничивающим действием электронного затвора непосредственно перед точкой насыщения). Скажем, однако, в качестве аргумента, что этот датчик и связанный с ним компьютер могли записывать данные отсечения (причина, по которой он прекратил запись в этом месте, что может быть столь же простым, как запись фактической продолжительности воздействия на этом участке). Это позволило бы электронике камеры реконструировать, какими были бы цифры, если бы фотосайт оставался в игре до финального свистка. Так что теперь у нас есть еще более плоское изображение с большей битовой глубиной. И где вы проводите черту? 32 бита? 64?

Теперь самое сложное — превратить это плоское изображение с широким динамическим диапазоном в привлекательную фотографию. Самый простой подход состоит в том, чтобы взять восемь битов (или любую другую разрядность на выходе), которые представляют первичное измеренное изображение, и отбросить остальные. Вероятно, было бы не намного сложнее подогнать данные под S-образную кривую, сжав экстремальные тени и/или блики — что более или менее то, что уже делают настройки расширенного динамического диапазона на новых камерах. Но для каждого пикселя доступно ограниченное количество выходных битов, и большинство расширенных значений подсветки будут округлены до белого (или, по крайней мере, смеси 254 и 255). Таким образом, вы очень мало выиграли, резко усложнив систему.

Но остается еще один вариант — картирование выборочной области. Почему бы не уменьшить, скажем, небо или просто облака на этом небе, чтобы оно могло сохранить детали, сохраняя при этом желаемый контраст на переднем плане? Вот где живет трудная проблема. Что важно? Должна ли камера решать за вас? Если камера решит, то у нас есть большой прогресс в машинном зрении и искусственном интеллекте, чтобы обойти его первыми. Если нет, то действительно ли вы хотите принимать решения после съемки на этом уровне для каждого изображения, которое вы снимаете? Да, я знаю, что найдутся любители фото-техно, которые действительно захотят быть такими практичными, но можем ли мы признать, что это патологическое состояние, и что профессионалы, заинтересованные во времени обработки, и подавляющее большинство потребителей не заинтересованы в этом? не нравится?

Таким образом, вам нужен новый датчик, гораздо более сложная электроника вокруг датчика, огромный файл изображения для проецируемых необработанных данных (что требует больших карт и более длительного времени записи/более низкой частоты кадров), и все это для сбора данных, которые будут выброшены в большинстве случаев. время, так что вы можете время от времени снимать одноразовые HDR-изображения, которые требуют значительного вмешательства человека при постобработке (или огромного скачка в MV/AI). Вероятно, вы могли бы продать несколько из них, но я ожидаю, что рынок будет намного больше похож на рынок среднего формата, чем на существующий рынок 35 мм/APS-C. То есть вы продаете избранной группе состоятельных фотографов, которым действительно нужны возможности по профессиональным причинам или для реализации своего художественного видения, и нескольким, которые просто получают достаточно большой доход от постобработки, чтобы платить. налог на технологии.

Это отличный анализ (и я голосую за него как таковой). Но в итоге я нахожу выводы неубедительными. В конце концов, было бы несложно создать «глупую» матрицу сенселов, некоторые из которых замаскированы, скажем, нейтральным фильтром с шестью ступенями. (Например, для этого используйте одну из букв G в фильтре Байера.) Никаких значительных изменений в электронике не потребуется; ничего не изменится в камерах, объективах и т. д.; но в обмен на крошечную потерю чувствительности вы получите возможность различать (грубые) градации в выгоревших пикселях. Это близко к тому, о чем просит ОП.
Более простой подход уже существует в датчике Fuji EXR. У него есть сенсоры разного размера; маленькое и большое сенсоры спарены в каждом месте исходного пикселя на сенсоре. Хотя это может обеспечить более широкий диапазон захвата, он по-прежнему ограничен в своих возможностях — вы все равно можете убрать блики, если хотите получить все тени. (И текущая реализация Fuji использует слишком много пикселей на слишком маленьком датчике.) Предположим, что идеальная реализация с датчиками разных размеров — это все еще оставляет проблему обработки — и это, а не захват, является реальной проблемой.
Спасибо за ссылку на EXR. Это показывает, что мое предположение не только правдоподобно, но и реально. Разве программное обеспечение HDR не решило проблему обработки? Если вам удалось захватить широкий динамический диапазон с помощью встроенного датчика, то, по сути, у вас уже есть идеально зарегистрированный стек HDR. Конечно, ограничениями этой технологии будут ограничения HDR.
Опять же, прямая обработка даст дрянное изображение, если источником является HDR. Ограничение не в захвате, а в обработке — сколько изображений с ореолом вам нужно увидеть, прежде чем вы придете к выводу, что обработка HDR непроста? Люди из лучших побуждений все портят по-царски, и они знают, что они хотят, чтобы изображение «сказало». Тогда проблемы с хранением и скоростью записи все еще существуют, и есть еще один компромисс использования. Камера может быть всем для всех, но какова цена и эргономика? 14-битный захват и сжатие DR уже здесь; 16-бит не будет сильно отставать.
... И оба они до сих пор получают блики. Вам нужно значительно расшириться, чтобы полностью избежать проблемы, и в какой-то момент практичность выходит из строя, по крайней мере, на уровне массового рынка. Студийным шутерам это не нужно; большинству потребителей это не нужно. В основном я занимаюсь портретной съемкой в ​​окружении, и не могу вспомнить, сколько раз мне это было нужно ( многие из моих снимков были сделаны из-за передержки). Накладные расходы просто не будут стоить большинству людей, так что это создаст дорогой нишевый продукт.
Это интересная дискуссия, Стэн, и я тоже с тобой согласен, но, похоже, мы отклонились от вопроса. Судя по вашим комментариям, мы установили осуществимость — а может быть, даже существование — камеры, которая близка к той, что поставлена ​​в вопросе и (перефразируя известную (апокрифическую?) цитату Черчилля ) к тому, что мы обсуждаем на этом дело в цене :-).
Спасибо за подробный ответ. Довольно интересно, что я вижу все то, что я упустил из виду, когда предложил эту идею, рад, что вы указали на это. Выборочное картографирование территории было бы лучшим подходом, но вы правы, кто будет принимать решения? Конечно, если бы камера делала их сама, это, очевидно, было бы предназначено для масс, но делать карту сцены самостоятельно было бы бесполезно, поскольку очевидно, что это проще сделать с профессиональным программным обеспечением на большом экране, а не с камерой ( с некоторой потерей качества, которая, я полагаю, будет незначительной). Ваше здоровье!
@StanRogers, о котором вы говорите, это более старый «Super CCD», новый процессор EXR может делать разное время экспозиции для половины датчика, чтобы увеличить DR, но все пиксели имеют одинаковый размер (хотя с довольно экзотическим диагональным расположением и цветная мозаика, отличная от традиционной матрицы Байера).

Есть одна вещь, о которой упоминают лишь немногие, и это то, что сцена не будет выглядеть одинаково, если разные области экспонируются по-разному по сравнению с другими областями. Сцена выглядит именно так, потому что есть вариации. Да, это может быть способ сохранить блики и усилить тени, но, в конце концов, вам действительно нужен более широкий динамический диапазон, который может захватывать динамический диапазон сцены с использованием одной настройки экспозиции.

Наши глаза великолепно обеспечивают нам гораздо больший динамический диапазон, чем современные технологии потребительских камер. Я могу быстро оглядываться и одновременно различать точные детали в затененных и ярко освещенных местах.

Один из способов, которым производители камер решают эту проблему, заключается в использовании пикселей как с высокой, так и с низкой чувствительностью в одном датчике, а затем совмещения результата для каждого пикселя. Новые цифровые кинокамеры RED имеют матрицу сенсорных пикселей с нормальной и низкой чувствительностью, называемую HDRx. Маленькие пиксели сенсора с низкой чувствительностью объединяются в блики ярких пикселей для увеличения динамического диапазона.

Вы правы, в результате получится пресная фотография, но, очевидно, она должна иметь некоторые ограничения. Я считаю, что позволить камере решать, какие области должны быть ярче, а какие темнее, было бы слишком. Я не правильно подумал...

Во-первых, динамический диапазон человеческого глаза не так уж и велик. Это только кажется лучше, чем наши нынешние камеры высокого класса, потому что наш мозг постоянно объединяет «моментальные снимки», сделанные с использованием разных настроек экспозиции. Наши глаза не могут одновременно регистрировать очень яркие и очень темные объекты (хотя мозг может). Настоящее чудо обработки изображений, но только посредственная оптика/устройство обработки изображений.

Есть несколько предложений/прототипов, показывающих, как можно значительно улучшить динамический диапазон датчиков изображения:

Вам не хватает элементарной физики. Основная проблема заключается в том, что реальные сцены имеют большую контрастность. Наши глаза эволюционировали, чтобы справляться с этим, воспринимая уровни света логарифмически, а не линейно. К сожалению, современная сенсорная технология по своей сути измеряет свет линейно. Точнее говоря, шум фиксируется по линейной световой шкале.

С современной технологией максимальный предел контрастности в основном зависит от уровня шума. В качестве аргумента давайте использовать шкалу освещенности от 0 до 1000, что означает, что датчик может сообщить вам уровень освещенности от 0 до 1000. Какое максимальное соотношение он может измерить? Это зависит от уровня шума. Уровень шума — это то, что вы получаете вместо истинного черного цвета, который в этом примере равен 0. Грубо говоря, если уровень шума равен 2, то вы получите отношение яркости примерно 1000:2 = 500:1. Пока сцена не превышает этого (хотя почти все превысят его, на самом деле 500:1 не так уж и много), вы можете сделать любое логарифмическое отображение, какое захотите, позже.

Таким образом, текущая стратегия, учитывая, что современные датчики по своей природе линейны, состоит в том, чтобы попытаться увеличить отношение сигнал/шум и предоставить достаточное количество битов, чтобы шум квантования был ниже собственного случайного шума. Чем ниже уровень шума сенсора, тем более широкий динамический диапазон вы можете снимать, не обрезая светлые участки и не искажая тени.

Существует совершенно другая сенсорная технология, которая по своей сути измеряет логарифм яркости. Иногда их называют датчиками «CMOS», потому что они очень похожи на динамические CMOS RAM со снятой крышкой (я упрощаю, но первый тест в лаборатории действительно был проведен именно так). Вы получаете напряжение, пропорциональное логарифму света, но в настоящее время они имеют гораздо более низкое отношение сигнал/шум. Mitsubishi была первой, кто выпустил эти датчики на рынок, но они еще далеко не достаточно хороши для камер высокого класса.

Несомненно, будут достигнуты успехи на нескольких фронтах, и я уверен, что мы будем наблюдать устойчивый прогресс еще долгие годы. Однако есть веские причины, почему все так, как сейчас, а не только потому, что никто не может придумать что-то лучше. Если бы у кого-то была технология, которая могла бы точно измерять широкий динамический диапазон по цене, за которую люди готовы платить, он бы разбогател.

Я считаю, что это слишком сложно.

В основном было бы два возможных подхода; либо каждый фотодатчик мог отслеживать время и отключаться, либо ЦП мог отслеживать данные от фотодатчиков и отключать их.

Для первого подхода это будет означать, что каждому фотодатчику потребуется тактовый сигнал и счетчик, чтобы он мог отслеживать, сколько времени прошло до его отключения. Это намного больше схем, которые можно разместить на чипе, и для его работы требуется гораздо больше электроэнергии, что увеличивает шум сигнала. Наверное, настолько, что увеличение динамического диапазона было бы бессмысленным.

Для второго подхода ЦП потребуется считывать все данные с датчика примерно раз в 1/10000 секунды. Это примерно в 1000 раз быстрее, чем могут достичь современные технологии, так что это на десятилетия вперед, если вообще возможно.

Кроме того, есть и другие сложности с таким решением, например, каждый пиксель будет иметь разное время экспозиции. Вы получите довольно странные артефакты, если будете фотографировать все, что движется.

Я не уверен, что «выборочное размытие в движении» будет такой большой проблемой. При съемке движущегося объекта пиксели, которые будут экспонироваться дольше всего, будут теми, которые все время оставались в темноте. Это будут в основном равномерно темные области, где некоторое размытие будет не очень заметным. Пиксели на краях между темными и светлыми областями, в случае если объект движется, получат более высокую экспозицию и будут закрываться быстрее, что приведет к меньшему размытию.

Хотя это правда, что зеркальные фотокамеры являются цифровыми, объективы — нет. Все датчики камеры будут иметь одну и ту же диафрагму, независимо от того, насколько умным станет корпус DSLR, потому что диафрагма устанавливается на объективе. Поэтому я думаю, что изменение апертуры для каждой сенсорной ячейки невозможно, по крайней мере, с современной технологией линз.

Что касается скорости затвора, она контролируется камерой, но если мы представим камеру, которая может изменять скорость затвора в разных частях изображения, чтобы контролировать передержку или недодержку, вы получите неравномерное размытие движения. Более темные части сцены должны быть экспонированы дольше и будут более размытыми, чем более яркие части. Я думаю, что решение, которое меняет скорость затвора, не будет работать по этой причине.

Так что остается только ISO. Изменение ISO будет означать разный уровень шума в разных частях изображения. Звучит не так уж плохо, учитывая, что взамен вы получите значительно увеличенный динамический диапазон. Я мало знаю о том, как работают датчики, но я могу предположить, что настройка ISO реализована в датчиках как своего рода «настройка» в отношении определенного подмножества шкалы яркости. Мне кажется, что иметь независимый замер и регулировку ISO для каждой сенсорной ячейки было бы непомерно дорого, но, возможно, изображение можно разделить на области и измерять каждую область отдельно. Затем у камеры должен быть какой-то алгоритм для смешивания областей с разной экспозицией, что-то вроде того, что делает «объединение», когда собирает панораму, где каждое изображение имеет разную экспозицию. Это звучит выполнимо для меня.

Другой вариант — иметь камеру с несколькими датчиками, каждый из которых настроен на разное значение ISO. В видеотехнике есть 3 ПЗС-камеры, где каждая ПЗС записывает один из красного, зеленого и синего цветов. Я не понимаю, почему не может быть аналогичной концепции для цифровых зеркальных камер, где несколько датчиков делают снимок с разными уровнями ISO, создавая изображение HDR.

Я не могу найти информацию в данный момент, но я, кажется, читал описание подобной технологии. Идея была примерно такой: единственное, о чем нужно позаботиться, — это пересветы. Если вы можете предотвратить это, о темных областях можно позаботиться, увеличив экспозицию всего изображения. Таким образом, чтобы предотвратить пересветы, каждый датчик будет отслеживать свой накопленный свет, и если он приблизится к максимуму, датчик отключится. Само по себе это ничего не улучшит, а на самом деле усугубит ситуацию, вместо того, чтобы иметь несколько ярких белых пересветов, можно было бы получить еще больше немного более темных бликов. Таким образом, вместо того, чтобы просто отключиться, ячейка также отключила бы ячейки в каком-то районе, что сохранило бы некоторые детали в ярких областях.

Как я уже писал, сейчас не могу найти текст, но как-то он в моем сознании ассоциируется с цифровыми камерами HP.

Если найдете, дайте ссылку на статью. Действительно интересная идея.

Это можно сделать математически (теоретически): http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.64.9692&rep=rep1&type=pdf

Не могли бы вы подытожить эту статью? Приятно иметь ссылку, но было бы полезно, если бы вы кратко описали, о чем идет речь.
Почему датчики цифровых камер не могут экспонировать каждый фотосайт по отдельности?
СпросиСетьПолитика конфиденциальности1y, 0v