Техническое объяснение «безлинзовой камеры Hitachi»

Hitachi хвастается тонкой безлинзовой камерой. Я не могу найти никакой технической информации о том, как это работает — только пресс-релизы и т. д.† Может ли кто-нибудь вернуться к опубликованным описаниям, чтобы реконструировать, как это работает?

«Шаблон концентрического круга» очень похож на пластину зоны Френеля (также известную как дифракционная линза), но все не так просто. Они также указывают на интенсивную компьютерную обработку (необработанные данные датчика изображения не распознаются AFAICT), а изображения предполагают, что хроматическая аберрация практически отсутствует.

Примеры онлайн-описаний:

http://image-sensors-world.blogspot.com/2016/11/hitachi-lensless-camera-adjusts-focus.html http://image-sensors-world.blogspot.com/2016/11/more-on -hitach-безлинзовая-камера.html

Примеры диаграмм:

введите описание изображения здесь

введите описание изображения здесь

†(могут быть документы или патенты, но я их не нашел.)

Я впервые слышу об этой безлинзовой концепции. Оказывается, что, поместив эту зонную пластинку Френеля на некотором фиксированном расстоянии перед датчиком изображения, результирующее изображение будет содержать информацию о расстоянии до объекта (объектов), и поэтому фокальная плоскость может быть выбрана после того, как снимок будет сделан сложными методами. математический анализ необработанного изображения. Похоже, идея в принципе заслуживает внимания. Вопрос в том, насколько хорошо этот метод работает на практике из-за таких проблем, как разрешение изображения и динамический диапазон сенсора.
Вы понимаете это на том же уровне неопределенности, что и я. Меня интересуют подробности типа "Это точно зональная тарелка или просто похоже?" «Какое расстояние до датчика изображения и почему?» Диаграмма, которую я разместил, предполагает, что математический анализ очень прост — преобразование Фурье — но я не понимаю, почему или какая математическая операция соответствует изменению эффективного фокусного расстояния.
Они просто имитируют объектив для эстетического эффекта? Или то, что они делают, необходимо для получения четкого изображения?

Ответы (5)

Образец с полосами может эффективно действовать как аналоговый компьютер, вычисляющий преобразование Фурье или аналогичную связанную величину. Вторая маска (вычисляемая), вероятно, реализует фильтрацию преобразования Фурье, после чего выполняется второе преобразование Фурье. Весь этот процесс привел бы к эмуляции эффективного соотношения дисперсии.

Я предполагаю, что идея состоит в том, чтобы эмулировать линзу, используя это эффективное соотношение дисперсии, чтобы воссоздать эффект, который будет иметь линза.

Вам, вероятно, нужно добавить немного больше деталей к первому предложению: я так понимаю, вы имеете в виду, что модуляция с помощью шаблона интерференции эквивалентна синхронной демодуляции. Я не уверен, что эмуляция объектива правильная – по крайней мере, не в полной мере. Вам нужна информация о фазе, чтобы эмулировать объектив. Я вижу, как ваш ответ будет работать для очень простых волновых фронтов: демодуляция полосами дает вам нормаль волнового фронта в каждой точке изображения, откуда фаза (по модулю смещения) может быть восстановлена, например , линейной регрессией по ортонормированному набору. ..
.... (обычно функций Цернике, хотя я использовал базис Чебышева вида Т н ( Икс ) Т м ( у ) на прямоугольных доменах тоже успешно). Эта часть обработки будет очень похожа на ту, что происходит с информацией о нормали волнового фронта в зависимости от поперечного положения, полученной датчиком волнового фронта Hartmann Shack. Но я действительно не вижу, чтобы он работал со сложной информацией в световых полях с «настоящих» фотографий. Возможно, это и есть ответ: система очень ограничена в типах изображений, которые она может делать.

Мне кажется, они используют комбинацию зонной пластинки Френеля и муаровых полос для реконструкции изображения. Нужно будет поработать над математикой, на которую у меня сейчас нет времени, но идея выглядит примерно так. Сначала вы умножаете свет, падающий на массив датчиков, с помощью зонной пластины Френеля. Теперь это не могут быть просто черные и белые кольца, показанные на изображении. Думаю, это должна быть фазовая функция. Затем данные датчика обрабатываются путем их умножения на сдвинутую версию зонной пластины Френеля. Результат, по-видимому, будет содержать некоторый линейный рисунок полос, проявляющийся в виде муарового узора. Чтобы извлечь эту линейную картину муаровых полос, нужно было бы вычислить абсолютное значение, а затем выполнить фильтрацию нижних частот. Затем можно преобразовать Фурье линейную полосу, чтобы получить ее амплитуду и фазу (фильтрация нижних частот может быть выполнена после преобразования Фурье). Этот процесс, вероятно, будет выполняться для всех возможных сдвигов, чтобы получить все возможные частоты и ориентацию линейных муаровых полос, тем самым создавая изображение. Имеет ли это смысл?

Это, вероятно, началось как что-то вроде следующей довольно простой идеи, хотя я уверен, что есть уточнения и детали.

У нас есть поглощающий фильтр с концентрическим кольцевым узором, расположенный на определенном расстоянии перед датчиком изображения.

Я предполагаю, что шаблон кольца:

Т ( Икс , у ) знак равно ( 1 + грех ф ) / 2 , ф знак равно а ( Икс 2 + у 2 )
куда Т коэффициент пропускания фильтра в точке ( Икс , у ) , а также а — некоторая константа с единицами, обратными квадрату длины, значение которой не имеет значения на этом уровне анализа.

(Это то же самое, что (параболическая) зонная пластинка Френеля с фокусным расстоянием ф знак равно π / ( λ а ) , но это просто совпадение! Действительно, я предполагаю геометрическую оптику!! А именно: я предполагаю, что источник света после прохождения через фильтр просто создает тень. Дифракция конечно есть, но я думаю, что она вызывает искажения, а не является предполагаемым принципом действия. На практике для этого, вероятно, потребуется расположить датчик изображения гораздо ближе к фильтру, чем ф .)

Теперь, когда мы предполагаем геометрическую оптику, точечный источник света создает тень в виде кольца на датчике изображения . Если источник света находится в бесконечности, тень смещается в зависимости от местоположения источника света. Если источник света ближе, чем бесконечность, тень одновременно смещается и увеличивается по сравнению с исходным кольцевым фильтром.

Давайте рассмотрим случай бесконечно далекого источника света. Затем наш датчик изображения будет измерять синусоидальный кольцевой узор с интенсивностью

я ( Икс , у ) знак равно ( 1 + грех ф ) / 2 , ф знак равно а ( ( Икс + Δ Икс ) 2 + ( у + Δ у ) 2 )
куда Δ Икс а также Δ у - направляющие косинусы источника, умноженные на расстояние от фильтра до датчика изображения.

Мы знаем Т в цифровом виде, и мы только что измерили я , поэтому мы можем наложить их в цифровом виде. Получим муаровые полосы с фазой

ф ф знак равно ( 2 а ) ( Икс , у ) ( Δ Икс , Δ у ) + С
то есть муаровые полосы образуют красивую синусоиду, двумерный волновой вектор которой пропорционален косинусу направления падающего света. ( С некоторая константа.)

Итак , возьмите изображение, умножьте его (точка за точкой) на Т , и преобразуйте его Фурье, и вы получите изображение, сфокусированное на бесконечности . Или, если вы используете увеличенную версию Т , вы получите изображение, сфокусированное на плоскости объекта, в котором источник света увеличит рисунок тени на ту же величину.

Или что-то в этом роде, плюс наверняка множество уточнений и деталей.

Из пресс-релиза на веб-сайте Hitachi (который вы, возможно, уже видели, пока еще не слишком технический):

(1) Технология обработки изображений с использованием муаровых полос

Пленка с концентрическими кругами (интервал которых сужается к краю пленки) помещается перед датчиком изображения, и изображение тени, образованное лучом света, падающим на пленку, захватывается датчиком изображения. При обработке изображения на тень накладывается аналогичный концентрически-круговой рисунок и формируются муаровые полосы с интервалами, зависящими от угла падения светового луча. Используя муаровые полосы, можно получать изображения с помощью простой и часто используемой обработки изображений, называемой «преобразованием Фурье» *4 (рисунок).

(2) Технология регулировки фокуса захваченных изображений

Положение фокуса можно изменить, изменив размер рисунка концентрических кругов, наложенного на тень, формируемую на датчике изображения световым лучом, падающим на пленку. Путем наложения рисунка концентрического круга путем обработки изображения после захвата изображения можно свободно регулировать положение фокуса.

Интересно, никогда раньше такого не видел.

Лучше всего было бы посмотреть на функцию рассеяния точки из точки объекта, расположенной в каком-то месте перед объективом.

0-й порядок изображения — это просто тень маски.

Интерференция 1-го порядка фокусирует точку объекта в некоторой точке изображения за маской.

Теперь я пытаюсь представить, как выглядят оба поля (0-го и 1-го порядков) чуть-чуть за маской (но все еще далеко от плоскости фокусировки). 0-й порядок — это изображение маски, смещенное относительно центра в соответствии с углом исходного падающего светового луча. Оно слегка увеличено (источник располагался на конечном расстоянии от маски). Поле 1-го порядка также смещено и немного уменьшено (сойдется в фокусе).

Если мы пренебрегаем увеличением/уменьшением обеих частей, у нас в основном есть два изображения маски, сдвинутые на крошечную, но разную величину. Как и на рисунке, представленном в вопросе, они будут давать муаровый узор. Анализируя волновой вектор паттерна, мы можем восстановить исходную точку источника. Это удобно сделать с помощью преобразования Фурье.

Конечно, потребуется дополнительная фильтрация, но я думаю, что это может быть сутью.