Повышение разрешения изображения CSI: насколько это реально?

Короткий ответ: вы можете получить очень хорошие результаты, но только при определенных условиях и абсолютно даже не близко к тому, что показано в связанном видеоклипе.

Моя компания, Amped Software , разрабатывает программное обеспечение для обработки изображений и видео для криминалистических и разведывательных приложений, поэтому, по сути, мы являемся аналогом программного обеспечения CSI в реальном мире.

Касаясь общей проблемы повышения качества, могу сказать, что для нашего рынка оправдать ожидания, создаваемые сериалами и голливудскими фильмами, — огромная проблема. Вы можете видеть на нашей странице образцов, что иногда результаты, которые мы можем получить, действительно поразительны, но важно понимать, что мы можем получить их только при некоторых условиях: если есть информация, которая покрывается нарушениями, но она есть , мы можем восстановить его. Если информации нет, мы не можем и не должны ее воссоздавать. В этом конкретном приложении важно не только получить результаты с визуальной точки зрения, но и следовать научному рабочему процессу, который должен быть принят судом .

В прошлом году я представил исследование, описывающее проблемы и результаты почти 200 случаев, над которыми я работал, и окончательный результат был следующим:

• более чем в 50% случаев делать нечего (например, восстановить номерной знак размером 5х2 пикселя вообще невозможно ни одним программным обеспечением в мире);
• примерно в 30% случаев мы можем получить небольшой результат (например, восстановить какую-то букву номерного знака или улучшить общий вид лица);
• в 10% случаев вы получаете хорошие результаты (например, вы получаете большую часть номерного знака).

Обратите внимание, что во всех этих случаях были серьезные проблемы с качеством. Если их качество было хорошим, нас не просили работать над ними.

Что касается конкретно повышения разрешения :

• когда вы увеличиваете изображение, вы интерполируете недостающие пиксели: из одного изображения вы можете визуально улучшить внешний вид изображения, но вы не добавите никаких реальных деталей ;
• Методы сверхвысокого разрешения могут дать хорошие результаты при определенных условиях: у вас должно быть достаточно кадров, сдвинутых на нецелое количество пикселей и желательно с небольшим количеством артефактов сжатия. В лучшем случае можно ожидать хороших результатов при 2-х и 3-х кратном увеличении.

То, что показано в видеоклипе, возможно только в том случае, если исходное видео было снято с разрешением в несколько мегапикселей, и тогда у вас будет разрешение для очень близкого масштабирования (примерно как на Google Maps). Конечно, в этот момент все еще будут другие проблемы, такие как правильный фокус, условия низкой освещенности, тот факт, что перспектива глаза отличается от перспективы всего объекта в видео, и это лишь некоторые из них.

Вы не можете сделать что-то из ничего, вы должны иметь (или догадываться) некоторую информацию, чтобы каким-либо образом улучшить изображение. Например, если вы знаете свойства функции размытия (и на изображении нет шума), вы действительно можете размыть фотографию. Однако вы редко знаете о функции размытия, и всегда присутствует шум, что сильно ограничивает то, что вы можете восстановить (Adobe недавно продемонстрировала фильтр устранения размытия, но их демонстрация была с синтетическим размытием).

Короче говоря, CSI - это почти чистая выдумка - выигрыш, который возможен в реальной жизни, ничтожен, ничего общего с 5-кратным увеличением разрешения, которое показывают по телевизору.

Проверка на здравомыслие: если бы они могли все это сделать, люди не платили бы десятки тысяч за 40+ МП камеры Hasselblad, дешевле было бы просто дублировать программное обеспечение!

edit: я как-то не заметил, что в исходном вопросе упоминалось супер-разрешение из видео. На самом деле возможно сверхвысокое разрешение нескольких изображений, но только с учетом ограничений сенсора. Он работает с использованием набора изображений с субпиксельными сдвигами. Это дает информацию о значениях между пикселями, что позволяет создать изображение с более высоким разрешением. Супер-разрешение из видео работает, потому что движущийся объект создает такие же сдвиги, однако внешний вид объектов не должен сильно меняться между кадрами. В лучшем случае этот метод дает вам только результаты датчика с более высоким разрешением, вы не можете преодолеть пределы разрешающей способности объектива, которые были бы весьма ограничены объективами спецификации CCTV.

Вот пример сверхразрешения в хороших условиях:

_{(источник: wikimedia.org )}

изображение с сайта photoacute.com

улучшение разрешения, да, но все еще далеко от производительности уровня CSI.

Чтобы сослаться на мой комментарий выше, последние модели Hasselblad фактически реализуют супер-разрешение со сдвигом сенсора под названием «многокадровый захват», поэтому вы все еще не можете победить производителей среднего формата в их собственной игре с использованием умного программного обеспечения ...

Итак, это то, что у меня есть до сих пор:

Площадь глаза, где они видят баскетбольный мяч, составляет около 1 квадратного миллиметра. Основываясь на росте девушки, мы можем уверенно оценить, что он должен составлять не более 1 миллионной доли от общего количества пикселей на экране. (Ширина и высота изображения, хотя и не очень хорошо определены для фотографий, поскольку некоторые объекты могут быть ближе, выглядят примерно примерно 3 х 3 метра, что означает 10 миллионов квадратных миллиметров. Однако глаз может быть ближе к реальному объективу камеры, поэтому Я грубо оцениваю и делю на 10 долларов.)

Если бы запись была в HD-качестве, это все равно было бы всего 2 мегапикселя, поэтому баскетбольный мяч там, где мы видим, должен быть размером в один пиксель.

Я думаю, что рассуждения, несомненно, показывают, что это неправда, но мне все еще интересно, каковы верхние пределы улучшения изображения?

Существует некоторое коммерчески доступное программное обеспечение с Super Resolution. Сам я ничего из этого не пробовал, но рекламный материал довольно хорош. Программное обеспечение предназначено для наблюдения, безопасности и вооруженных сил, но я предполагаю, что некоторые криминалистические подразделения будут иметь доступ к этому материалу.

Два примера: Ikena от MotionDSP и TacitView от 2d3 .

Улучшение изображения/видео до уровня, предлагаемого в телешоу, просто невозможно и фактически ограничено устройством захвата изображения. Это технология, которая должна развиваться в первую очередь.

Невозможно получить информацию из набора 10 пикселей в распознаваемый объект. На уровне пикселей это окончательный объем информации, представленной в изображении. У вас есть только 100 блоков цвета в этом конечном масштабе. Вы можете увеличить область 10x10 пикселей до 100x100 пикселей с помощью интерполяции, но информация в 10x10 пикселей — это все, что нужно, и интерполяция опирается на обоснованные предположения, основанные на этих 10x10 пикселей, сделанные программным обеспечением. Результатом будет размытие 100 x 100 пикселей. В качестве альтернативы возьмите изображение размером 2000x2000 пикселей и интерполируйте его до 4000x4000 пикселей, и некоторые размытия, не такие четкие на исходном изображении, могут выглядеть более четкими, чем возможные объекты на большем изображении, чисто из-за парейдолии - но даже тогда это предположение или предположение. Интерполированное изображение даст «иллюзию» большей детализации,

Улучшение изображения зависит исключительно от максимального количества информации, захваченной с помощью исходного источника изображения, и масштабирование в пикселях — это все, что есть. Некоторые камеры могут снимать изображения с очень хорошим разрешением, но никакое программное обеспечение не может выделить детали, которые не записаны в исходном изображении.

Теперь, чтобы вернуться к шоу CSI, большинство из них захватывают стандартные кадры с камеры наблюдения, которые, во-первых, не особенно высокого разрешения в реальной жизни, поэтому, когда я вижу такого рода улучшения на шоу, это просто заставляет меня смеяться. - поскольку это невозможно даже с самой продвинутой формой программного обеспечения для редактирования изображений (а PhotoShop действительно находится на верхнем уровне продвинутой шкалы). Улучшение изображения и масштабирование на 100% зависят от информации, полученной устройством обработки изображений, поэтому камера наблюдения, способная зафиксировать, скажем, отражение лица человека на чьей-то глазной роговице, должна быть сверхмощной и невероятно дорогой. . Отснятый материал должен иметь возмутительно высокое разрешение пикселей на кадр (скажем, 100 мегапикселей или примерно 9,5 терабайт для хранения 1 секунды отснятого материала). что увеличило бы размер файла отснятого материала до такой степени, что каждой камере наблюдения потребовалась бы небольшая ферма серверов для хранения отснятого материала за 24 часа. Очень дорого. Полученная в результате технология улучшения будет опираться на устройства захвата изображений, способные в первую очередь выполнять этот уровень детализации видео и захвата изображений, хранить данные в удобном виде и быть в такой степени, чтобы ее развертывание в городах было недорогим. Размер файла на видеоматериале будет настолько огромным (вспомните около 9,5 терабайт в секунду), что для работы программного обеспечения, способного это сделать, потребуется чрезвычайно мощный суперкомпьютер (по сегодняшним меркам). С развитием технологий с такой скоростью это может стать возможным в какой-то момент в будущем, возможно, уже при нашей жизни. Только тогда они могли бы это сделать, но изображения не были бы улучшены, они будут увеличивать только сверхдетальные изображения. Я знаю это, так как работаю с цифровыми изображениями на полную ставку.