Какая обработка файлов RAW выполняется в камере?

Недавно я столкнулся с дебатами о том, справедливо ли называть RAW «необработанными» или «неизмененными» данными датчика DSLR. Насколько я знаю, данные аналогового датчика обрабатываются в цифровой файл RAW с использованием настройки ISO, в ходе которого данные датчика Байера также подвергаются демозаике. Однако это всего лишь необходимые шаги для сохранения цифрового файла с сохранением максимального качества.

Верны ли эти предположения? Если да, то нужно ли выполнять какие-либо дополнительные действия между датчиком, принимающим свет, и сохранением файла RAW? И можно ли их разумно назвать «изменением» данных датчика, или справедливо сказать, что файл RAW содержит неизмененные данные датчика?

Обсуждение данных RAW в сравнении с изображениями на этом сайте немного похоже на утверждение, что экспонированная пленка содержит взвесь кристаллов галогенида серебра, а не изображения. Для меня в обоих случаях есть скрытое изображение [или, с философской точки зрения, континуум возможных скрытых изображений], и в 10-м издании Руководства по фотографии иногда используется «RAW-изображение». В любом случае, я явно больше люблю смотреть на то, как используются термины, чем пытаться стандартизировать термины, не имеющие технического стандарта. И с этой точки зрения (практической) RAW — это то, что камера может производить с минимумом произвольной интерпретации.
@benrugers Это также моя позиция по этой теме. Тем не менее, я пытаюсь лучше понять, что происходит между датчиком и файлом RAW, и каким образом этот процесс теоретически может быть изменен (хотя последнее не является частью моего первоначального вопроса) ... то есть, если шаги Я описал в своем вопросе правильно и есть ли что-то еще важное для создания файла RAW
Во время этой операции демозаика не выполняется, по крайней мере, ни для одной из моих камер.
Добавление метаданных к измерениям квантованного сенсора — это то, что позволяет алгоритмам владеть скрытым изображением в данных при передаче в пиксельный конвейер. Это метаданные, которые указывают, требует ли скрытое изображение демаскировки.
@benrugers и каждое изображение с камеры с маской Байера (подавляющее большинство камер, используемых для фотографии , как определено здесь) будут иметь метаданные, указывающие на необходимость демозаики.
@MichaelClark Я согласен с тем, что массивы фильтров Байера являются наиболее распространенными. Для демозиации «Это массив фильтров Байера», конечно, недостаточно метаданных. Должен быть известен цвет первого фильтра в элементе массива; записываются ли данные построчно, столбец за столбцом или каким-либо другим способом; как данные сжаты; разрядность квантования; и т. д. К счастью, это доступно по ссылке, а размещение модели камеры и аналогичных высокоуровневых описаний в метаданных позволяет выполнять поиск и алгоритмическую обработку скрытого изображения RAW.
Никто не сказал, что вся эта информация не нужна для демозаики. Никто не говорил, что камеры с байеровскими масками не дают такой информации. Мы сказали, что любое изображение, созданное камерой с маской Байера , должно быть подвергнуто демозаике .
Я согласен, что мы это сказали. Я извиняюсь за расширение необходимых метаданных, связанных с демозаикой, подразумевая, что кто-то сказал что-то, что никто не сказал «как». В любом случае, я ни в коем случае не имел в виду что-то подобное.

Ответы (2)

Он сильно варьируется от камеры к камере. Некоторые конструкции выполняют минимальную обработку самого датчика изображения, другие — немного больше. Те, кто делает больше, делают это в основном в области шумоподавления либо до, либо после отправки аналоговых данных для преобразования в цифровые данные. Одним из методов является относительное усиление сигнала от пикселей, замаскированных для красного, зеленого или синего (это делается по причинам, связанным с различными шумовыми характеристиками пикселей, отфильтрованных для разных цветов маски Байера). Другой метод, используемый после аналого-цифрового преобразования , заключается в усреднении пикселей с гораздо более высоким значением яркости, чем у их соседей, до значения, намного более близкого к окружающим пикселям.

Даже разные модели камер с одной и той же конструкцией датчика могут по-разному обрабатывать выходные данные датчика до или после преобразования в цифровую информацию, прежде чем они будут сохранены в виде файла необработанных данных. Информация об условиях, при которых были получены данные (модель камеры, характеристики сенсора, ISO, баланс белого и т. д.), будет добавлена ​​к файлу, поэтому приложение, в конечном итоге преобразующее данные в видимое изображение, будет (надеюсь) знать, как его преобразовать. . Демозаика обычно не применяется к данным датчиков до того, как они будут сохранены в виде необработанного файла. Это делается, когда необработанные данные преобразуются во что-то другое, например изображение, отображаемое на мониторе с помощью приложения для преобразования необработанных данных, или преобразуются в виде вывода в формате jpeg или tiff.

В Интернете есть некоторые мысли о том, что некоторые камеры применяют некоторую коррекцию объектива непосредственно к данным, а не к метаданным. Некоторые камеры также применяют предварительную настройку баланса белого, когда они выполняют цифровое масштабирование некоторых цветовых каналов.
@MirekE Все это делается при преобразовании необработанных данных в jpeg в камере либо для предварительного просмотра изображения jpeg, встроенного в необработанный файл, либо для сохранения в виде изображения jpeg. Необработанные данные практически не имеют цвета, пока они не будут преобразованы в демозаику.
Это можно сделать с необработанными необработанными файлами, по-видимому, именно так работает CornerFix. site.google.com/site/cornerfix Я потратил некоторое время на изучение этого, когда у меня была камера, на которую это явно повлияло (Leica M9), помимо Leica, также были обсуждения, что это, возможно, сделано на камере Sony с фиксированным объективом FF, но это было несколько лет назад, и у меня больше нет ссылок, которыми я мог бы поделиться, кроме тех, которые я упоминаю в ответе Бирфл.
То же самое можно сказать и о цифровой оптимизации объектива для необработанных файлов Canon, в результате чего необработанный файл вдвое превышает размер оригинала. Но ничто из этого не выполняется в камере конвейером обработки камеры, о чем этот вопрос.
У меня нет информации о Canon - это может быть применено в качестве метаданных калибровки объектива. Я говорил о прямом манипулировании необработанными данными.
Поскольку преобразование файлов .cr2 в .dng приводит к «запеканию» точек белого и черного, а информация из замаскированных пикселей выбрасывается вместе с примечаниями производителя в метаданных, я не считаю такой файл «сырым». Это что-то вроде высокобитного TIFF - где-то между raw и jpeg/png/и т.д.
@MirekE Но ни один из примеров, которые вы приводите, не делается камерой на камеру , о чем говорится в вопросе. Они выполняются пост-камерными приложениями, которые преобразуют данные из уже существующего «сырого» файла, созданного камерой. Любой результат этой манипуляции, даже если он сохранен в том же формате файла .cr2, .nef и т. д., больше не является настоящим необработанным файлом.
Опять же, я говорю о прямом преобразовании данных RGBG . У меня нет времени заниматься реинжинирингом необработанных файлов Leica M9, ​​поэтому, если вы скажете, что Leica M8/9 не модифицирует необработанные данные в камере с коррекцией объектива (а именно, виньетирование), то я вам поверю.
@MirekE Помимо того, что вы называете предварительной обработкой цвета , которую некоторые камеры делают при усилении электрического сигнала от пикселей, отфильтрованных по разным цветам с немного разной степенью, и в значительной степени уже было рассмотрено в ответе. Но я отредактировал, чтобы сделать его более очевидным.
Где в моем ответе говорится что-то вроде «... Leica M8 / 9 определенно не изменяет необработанные данные в камере с коррекцией объектива (а именно, виньетирование) ...»? Вам нужно внимательнее прочитать первые два предложения! Такие слова, как «сильно варьируется» и «Некоторые делают... минимум..., другие делают... больше...» не означают того, что вы, кажется, думаете, что они означают.
«В основном» не означает то же самое, что и «только» в большей степени, чем «многие» или «большинство» означают то же самое, что и «все»!

Еще в 1980-х Крейг Андертон написал книгу под названием « Домашняя запись для музыкантов» , в которой он заметил, что студия звукозаписи — это не захват реальности, а ее процессор. Вы должны думать о своей камере так же. Свет, формирующий изображение, попадает в линзу, которая изменяет его, достигает сенсора, который изменяет его, проходит через различные части аналоговой схемы, которые изменяют его, и, наконец, становится цифровыми данными посредством аналого-цифрового преобразователя. (ADC), что, как вы могли догадаться, изменяет его.

Любое изменение является изменением, и было бы разумно назвать изменение, сделанное с целью обработки . Несомненно, некоторые вещи сделаны намеренно в аналоговых каскадах вашей камеры. Регулировка ISO — это слон в этой комнате, потому что аналоговое усиление необходимо, чтобы получить максимальную отдачу от АЦП.

Вы не получаете информацию прямо с датчика, потому что это аналоговый сигнал, а аналоговые сигналы, как известно, трудно хорошо хранить и воспроизводить. Называете ли вы то, что происходит между этим и тем, когда у вас есть изменение или обработка цифровой информации, это обсуждается тривиально. Если вы собираетесь разделить эти волосы, ответ заключается в том, что, вероятно, это и то, и другое.

Идеальным местом для захвата данных для необработанных файлов является выход АЦП, потому что все, что происходит с ним за пределами этого, является алгоритмическим и может выполняться вне камеры. Если вы найдете лучший способ сделать что-то (демозаика, применение кривых и т. д.), гораздо экономичнее будет обновить необработанный конвертер, работающий на компьютере, чем создавать, тестировать и распространять новую прошивку камеры. Предоставление необработанных данных также является своего рода признанием того, что решения, принятые производителем, не всем понравятся. Минимальное воздействие на данные после ADC дает фотографу ту же гибкость, что и в фотолаборатории.

Является ли содержимое необработанного файла прямо из ADC или каким-то образом фальсифицировано, известно только производителям. Один подразумевает, что это не так , и я склонен полагать, что это правда по причинам, которые выходят за рамки ответа на этот вопрос.

Как указывает Майкл Кларк в своем ответе, все в необработанном файле, не являющееся данными изображения, является дополнительной информацией, которую можно использовать при принятии решений о том, как ее обрабатывать.

Если только вы не проектируете свой датчик и конвейер обработки с основной целью получить как можно более высокие оценки на DxO Mark. Затем вы применяете некоторое шумоподавление перед сохранением «сырых» данных. Снижение уровня шума перед проверкой данных, по-видимому, улучшает SNR и, следовательно, DR. А что, если точечные источники света, такие как тусклые звезды, исчезнут вместе с шумом? Это лучший датчик, верно? DxO так говорит!
@MichaelClark: Хорошо, что Volkswagen не производит камеры. ;-)
Если одна компания использует предварительное условие WB, вторая — шумоподавление и сжатие с потерями, а третья применяет коррекцию объектива непосредственно к данным, я не могу согласиться с вашим утверждением о том, что «очень велика вероятность того, что то, что вы получаете в необработанном файле, получено прямо от АЦП». ". Он есть не во всех моделях камер, но многих застал врасплох...
@MirekE: без доказательств того, что это действительно происходит, никто из нас не может сказать, поэтому я соответствующим образом обновил свой ответ.
@MirekE: (1) Тип шумоподавления, который может привести к тому, что наблюдал DXO, полностью находится в пределах возможностей современных датчиков, и они не заявляют о том, на какой стороне АЦП, по их мнению, это произошло. (2) Спорный вопрос о том, считаются ли артефакты сжатия преднамеренным изменением. (3) Все, что указано на странице Adobe, заключается в том, что многие камеры применяют коррекцию объектива к не-сырым форматам, а некоторые другие встраивают профиль объектива в качестве метаданных, которые затем применяются Adobe, а не камерой. (4) Опять же, весьма вероятно, что это происходит в аналоговой области.
Комментарии не лучшее место для подробного обсуждения. Я оставлю ваши комментарии без ответа и оставлю это на усмотрение читателя.