Понижение частоты дискретизации в камере и шум, эквивалентный ISO

У меня есть корпус Sony с 24-мегапиксельным датчиком CMOS APS-C. Он будет хранить изображения в следующих разрешениях:

  1. 6000x4000 (24 МП)
  2. 4240x2832 (12 МП)
  3. 3008x2000 (6 Мп)

Сравнивая случаи 24MP и 6MP, легко увидеть, что камера может эффективно выбирать из четырех физических пикселей для создания каждого сохраненного пикселя. Основываясь только на этом факте, я бы ожидал , что SNR будет в два раза выше. Или, другими словами, я мог бы удвоить ISO при записи 6MP и ожидать того же шума, что и при 24MP, при прочих равных условиях. Насколько верна моя теория?

Теперь, на практике камеры с даунсэмплингом достигают полного теоретического улучшения шума?

Существует так много физических и логических слоев между точкой, в которой изображение попадает на датчик, и местом, где оно, наконец, записывается в поток цифрового изображения, мне остается только гадать, может ли камера работать еще лучше при понижении частоты дискретизации?

(И наоборот, если известно, что понижение частоты дискретизации на камере неоптимально, можно было бы предпочесть «заплатить» за запись с максимальным разрешением и понижение частоты дискретизации при постобработке, где может быть достигнуто полное Sqrt[N] улучшение SNR.)

Практически, я подозреваю, что вам лучше всего снимать в формате RAW, а затем обрабатывать с использованием лучшего в своем классе алгоритма шумоподавления, а не приближаться к JPEG.

Ответы (1)

Всегда возможно, что плохо написанное приложение для постобработки может выполнять шумоподавление и субдискретизацию, а также другие процессы необработанного преобразования с более низким качеством, чем рутина в камере. Но хорошо написанные приложения для постобработки (которые включают в себя все популярные и множество менее популярных) могут делать это намного лучше, чем подпрограммы в камере, которые ограничены проблемами скорости и мощности, а также одним Универсальный подход к каждому изображению, преобразованному в камере.

Каждое изображение, которое делает ваша камера, начинается с файла необработанных данных размером 6000x4000 пикселей. Для создания файлов JPEG с разрешением 24 МП, 12 МП или 6 МП камера обрабатывает эти необработанные данные в файл изображения JPEG.

Вы можете сделать то же самое, по крайней мере, так же хорошо и, как правило, намного лучше, обрабатывая эти необработанные данные и применяя шумоподавление постфактум на компьютере. Причины должны быть достаточно очевидны:

  • Камеры оптимизированы (или, по крайней мере, используют сбалансированный подход) для экономии заряда батареи. Компьютеры оптимизированы для вычислительной мощности. Встроенный в камеру процессор рассчитан на эффективность, а алгоритмы обработки рассчитаны на эффективность с точки зрения энергопотребления. Обработка на компьютере обычно не связана с экономией энергии — приложение для преобразования исходных данных на компьютере обычно более оптимизировано для максимальной вычислительной мощности, потому что его источник питания намного больше, чем батарея в большинстве камер.
  • Камеры созданы для скорости. Чем короче процедура обработки, тем быстрее она может быть выполнена. Это позволяет камере быстрее обрабатывать каждое изображение и переходить к следующему изображению. Более короткое время обработки в камере обеспечивает более высокую частоту кадров до тех пор, пока не будет достигнута точка, в которой внутренний буфер заполнен (когда скорость записи камеры на карту становится узким местом). Есть несколько приложений для компьютерной обработки фотографий, которые оптимизированы для скорости за счет качества, но большинство из них позволяют пользователю установить качество в качестве приоритета, если приложение не написано таким образом с самого начала.
  • Шумоподавление довольно интенсивно использует процессор. Иногда для этого может потребоваться больше вычислительной мощности, чем для демозаики того же файла. См. первые два пункта выше.
  • Шумоподавление также является более гибким с большинством приложений постобработки, чем с большинством элементов управления в камере. Вместо того, чтобы выбирать Off-Low-Medium-High в камере и позволять камере фактически устанавливать значения яркости и цветного шума строго на основе предустановленного значения для конкретного ISO, при постобработке вы можете управлять уменьшением яркостного и цветного шума независимо друг от друга. пользовательская основа для каждого кадра на основе фактического содержимого. Вы также можете выборочно применять разные уровни шумоподавления к разным областям одной и той же фотографии с помощью инструмента «Кисть», если в вашем приложении есть такая функция.
  • Камеры обрабатывают необработанные данные в изображение в формате JPEG. Если в качестве выходного файла выбран формат jpeg, камера будет сохранять информацию только в формате jpeg на карту памяти. Остальные данные в необработанном файле отбрасываются и не сохраняются. Таким образом, вы застряли с единственной интерпретацией необработанных данных. Если вам не нравится этот результат, вы не можете вернуться к необработанным данным и сделать это снова с другими настройками. При наличии необработанного файла компьютеры сохраняют все необработанные данные, даже если отображают на мониторе только их часть в более или менее формате JPEG. Когда в настройки вносятся изменения, приложение может использовать все данные в необработанном файле, чтобы повторно преобразовать эти данные в другую более или менее форму типа jpeg для отображения на экране. Эти изменения не разрушают исходные необработанные данные. Единственное, что изменилось, — это то, как необработанные данные интерпретируются для создания изображения. Если пользователю не нравится такая интерпретация, он может изменить настройки и позволить приложению снова интерпретировать исходные необработанные данные. И опять. И опять. И опять...
  • Есть много других соображений при обработке необработанных данных, касающихся качества изображения, помимо шумоподавления. Для обработки в камере см. первый и второй пункты выше. На компьютере каждый шаг может занимать столько времени, сколько пожелает пользователь, и выполняться по одному, чтобы оптимизировать каждый шаг в процессе в соответствии с предпочтениями фотографа/редактора. Камеры, как правило, используют универсальный подход к обработке необработанных данных в изображение в формате jpeg.
  • Все подходы к даунсемплингу неодинаковы. Грубый квадрат 4 пикселя в один пиксель с уменьшением 4: 1, как описано в вопросе, не дает такого гладкого изображения, как метод, который использует информацию из окружающих пикселей, во многом так же, как демозаика создает значения цвета, чтобы интерполировать значения пикселей результирующего сокращения. Конечно, такой подход также является более сложным и требует большей вычислительной мощности.
Я не знаю достаточно, чтобы даже спрашивать, кроме как указать на этот ответ на вопрос, связанный с комментариями, который предполагает, что «датчик может выполнять объединение пикселей на аппаратном уровне, что уменьшает шум считывания при съемке с более низким разрешением». Мой вопрос, по сути, был примерно таким: т.е. может ли какое-то оборудование сделать что-то лучше , чем это можно сделать с необработанными данными? Отбрасываются ли полезные данные перед сохранением необработанных данных?
«Может ли какое-то оборудование сделать что-то лучше, чем это можно сделать с необработанными данными?» Обработка в камере делает то же, что и с необработанными даннымиточно такие же необработанные данные , которые будут храниться на карте памяти (при условии, что они не сжаты, как в большинстве камер). Все, что делается с выходом датчика до его оцифровки, делается как с необработанными данными, используемыми в камере, так и с необработанными данными, используемыми позже при постобработке, потому что это одни и те же данные . «... уровень аппаратного обеспечения (которое может) сделать что-то лучше ...» - это, вероятно, аппаратное обеспечение вашего компьютера, а не аппаратное обеспечение камеры.
Ответ, на который вы ссылаетесь выше, говорит то же самое, что и мой ответ: если вы используете необработанные данные для обоих, компьютер может дать вам лучшее преобразование. Этот ответ только предполагает, что в камере может быть лучше , если внешнее преобразование выполняется в формате jpeg, созданном камерой, а не из необработанных данных.
На самом деле, несжатый выше должен сказать сжатый без потерь .
Верно. И чтобы уточнить мой комментарий: под аппаратным обеспечением я имел в виду что-то на оптическом или сенсорном уровне, а не механизм постсенсорного расчета. Например, есть камеры , которые выполняют такие действия, как смещение оптических фильтров или датчиков для передискретизации способами, которые не применяются к потоку необработанных данных. Таким образом, другой способ взглянуть на мой вопрос: «Могут ли обычные стеки датчиков изображения CMOS использовать данные или физику для понижения дискретизации, которые недоступны в файлах необработанных данных датчика?»