Аппаратное или программное обеспечение Gen-Lock для различных экшн-камер

Я смотрю на одну GoPro Hero 4 Blackи Rollei 5S Wifiту же сцену под другим углом.

Как я могу аппаратно или позже программно с помощью ffmpeg заблокировать их?

Мои идеи:

Програмное обеспечение

  • интерполировать кадры и выравнивать совпадающие кадры с помощью машинного обучения

Аппаратное обеспечение

  • Управляйте ими через Wi-Fi, чтобы запускать их одновременно. Тем не менее, вопрос заключается в том, когда они на самом деле запускаются после получения команды и как ими управлять, используя только один адаптер Wi-Fi или адаптер Bluetooth или любой другой протокол, который они используют. Не зная, что это сработает, это требует больших усилий.

Ответы (1)

Я не уверен, что есть действительно хороший ответ на эту проблему без специального оборудования. Обычные беспроводные продукты на самом деле не будут отличным вариантом, поскольку Wi-Fi и Bluetooth будут иметь проблемы с переменной задержкой и пропущенными пакетами. Что вам действительно нужно, так это что-то вроде триггеров вспышки, но способное многократно срабатывать с вашей частотой кадров. Тем не менее, это должно быть специальное беспроводное решение проблемы.

Что касается программного обеспечения, вы можете попробовать интерполяцию кадров, но я не уверен, что связанная с этим потеря качества будет не хуже, чем незначительная разница во времени из-за отсутствия синхронизации. Это все еще не совпадет точно, поскольку это скорее предположение, чем то, что произошло на самом деле.

Это также игнорирует тот факт, что Rolling Shutter с самого начала значительно снижает преимущество gen-lock. Сам датчик требует времени, чтобы прочитать сцену, поэтому даже верхняя и нижняя части кадра не синхронизированы. Genlock — это действительно то, что имеет большее значение для переключения в реальном времени, когда вам нужно иметь возможность поддерживать постоянную последовательность кадров и нужен кадр для отправки. Это также может быть полезно для точной настройки синхронизации аудио/видео, но это довольно второстепенно по сравнению с техническими потребностями, особенно если вы снимаете видео с высокой частотой кадров.

На самом деле это может быть реальным решением вашей проблемы. Если вы снимаете с более высокой частотой кадров, чем предполагаемый конечный продукт, у вас будут кадры намного ближе друг к другу по времени, и вы сможете выбирать, какие кадры использовать. Это будет работать лучше всего, если это четное число, но выпадающие списки также могут работать приемлемо. Таким образом, если вы снимали 60 кадров в секунду и планировали использовать 30, вы можете выбрать кадры, чтобы вытащить их, чтобы убедиться, что вы отстаете не более чем на половину кадра, а в среднем всего на 1/4 кадра. Это довольно плотная синхронизация, не требующая какой-либо странной магии.