Если бы все спутники Starlink имели камеры телефонного уровня и простые прицелы, могли бы изображения, обработанные их сетью обработки изображений сверхвысокого разрешения, быть конкурентоспособными?

Итак, ограничившись космическими наблюдениями:

Нет, по нескольким причинам.

I. С астрономической точки зрения камеры мобильных телефонов — ужасные устройства для формирования изображений. Сами по себе они имеют крошечные отверстия — обычно 1 или 2 мм в диаметре. Большие апертуры делают две вещи: улучшают максимально возможное угловое разрешение и собирают больше света. Разрешение зависит от диаметра апертуры; Космический телескоп Хаббла (HST) с его главным зеркалом диаметром 2,4 метра имеет разрешение примерно в две тысячи раз лучше, чем у камеры мобильного телефона. Мощность светосилы зависит от площади апертуры; это означает, что HST обладает светосилой примерно 5 миллионов камер мобильных телефонов с апертурой 1 мм.

Теперь вы сказали «на простых телескопах», что подразумевает, что вы используете камеру мобильного телефона только для ее формирователя изображения (датчика изображения и сопутствующей оптики). Но теперь вам придется потратить дополнительные деньги на настоящий телескоп , включая специальную оптику, которая направляет свет в модуль камеры; этот телескоп, вероятно, будет размером не менее метра и массой в сотни килограммов, а значит, он будет не меньше самого космического корабля Starlink.

Есть и другие проблемы, такие как отсутствие выбираемых пользователем фильтров. Камера WFC3-UVIS (УФ + оптическая) на HST имеет около 60 различных фильтров для использования при ответах на различные научные вопросы; датчик камеры сотового телефона не имеет фильтров, за исключением попиксельных фильтров R, G и B, которые есть у датчиков изображения камеры для потребительского использования. Даже если вы добавите модуль фильтра перед модулем камеры, фиксированные попиксельные RGB-фильтры будут означать, что только 1/3 пикселя фактически будет использоваться в данный момент времени (например, если вы выбрали «красноватый» фильтр, свет увидят только пиксели с фильтрами R на пиксель).

Камеры сотовых телефонов также имеют шумную электронику, что приводит к шумным изображениям. Это связано с тем, что типичное использование камеры мобильного телефона включает в себя сцены, полностью залитые светом (во всяком случае, с точки зрения астронома). Дополнительный шум от электроники в таких случаях обычно не заметен. Но если вы пытаетесь наблюдать за слабыми астрономическими объектами, это действительно имеет значение. Астрономические формирователи изображений в видимом свете имеют более высокое качество и охлаждаются до температуры жидкого азота для снижения электронного шума.

II. Создание работающего астрономического космического телескопа — это нечто большее, чем просто установка модуля камеры на спутник. Вы должны быть в состоянии очень точно навести все это на цель и удерживать ее в правильном направлении при съемке изображения, даже если спутник быстро перемещается в пространстве. Для этого вам потребуются вспомогательные («направляющие») камеры и датчики, компьютеры для анализа изображений звезд, видимых направляющими камерами, и вычисления необходимых корректировок, а также некоторые средства вращения спутника, чтобы удерживать его в правильном направлении, с помощью гироскопов . , реактивные колеса или небольшие подруливающие устройства.

III. «Сети изображений сверхвысокого разрешения» — это не вещь, за исключением случая интерферометрических массивов (примером которых является телескоп «Горизонт событий»). Но они работают, сохраняя и комбинируя информацию о фазе входящего света от нескольких телескопов. В случае с радиотелескопами фаза изменяется достаточно медленно, чтобы вы могли записать это и потом скомбинировать на (супер)компьютере. В случае EHT записанные данные за несколько дней наблюдений были настолько объемными, что их загружали на жесткие диски, которые передавались в центральный центр обработки данных.

Оптический свет меняет фазу слишком быстро, чтобы ее можно было записать (и если бы вы могли, как бы вы передали информацию?), поэтому объединение должно выполняться в реальном времени, направляя свет от разных телескопов к центральному инструменту. Таким образом, вам не нужна «камера», записывающая изображения на каждом спутнике; вместо этого вам нужны какие-то средства перенаправления входящего света на специальный центральный спутник, где световые лучи объединяются. Комбинирование должно быть выполнено с исключительной точностью. Это возможно на земле, где ни один из телескопов не движется; на орбите, когда все спутники постоянно движутся друг относительно друга, это было бы кошмарно сложно.

(Обратите внимание, что я ничего не упомянул об использовании «нейронных сетей» или других форм машинного обучения. Это потому, что они были бы бесполезны, поскольку они предназначены для получения правдоподобно выглядящих выдуманных данных, а вам нужны реальные данные — - что на самом деле там в космосе прямо сейчас.)

Этот вопрос, по-видимому, конкретно касается наземных наблюдений, но основные ограничения такие же, как и для астрономических изображений.

Комбинируя несколько изображений, вы можете делать такие вещи, как:

• Уменьшите шум датчика или помехи от попадания ионизирующих частиц на датчик.
• Точно так же отклоните переходные процессы, такие как вспышки отраженного солнечного света, пролетающие самолеты и т. д.
• Комбинируйте изображения с разных ракурсов или в разное время, чтобы компенсировать условия освещения, создавать более контрастные изображения или выделять изменения, вырезать препятствия или создавать 3D-модели.
• Компенсация сенсора с низким разрешением.

Чего вы не можете сделать, так это увеличить разрешение за пределы дифракционного предела оптики формирования изображения. В лучшем случае вы можете получить лучшее изображение продукта дифракционного размытия оптики.

Можно использовать методы машинного обучения, чтобы угадать, какие функции могут создавать размытое изображение, но на самом деле вы не визуализируете эти функции. Если вы знаете, что транспортное средство относится к определенной марке и модели, вы можете синтезировать более четкое его изображение, но это добавляет информацию к изображению, а не извлекает из него дополнительную информацию. Нейронная сеть будет искать то, на что она была обучена, а не то, что есть на самом деле… в конце концов, вы только что автоматизировали парейдолию. Посмотрите на DeepDream экстремальные примеры этого в действии.