Влияет ли частота дискретизации на процесс синхронизации с источником видео?

Я записал интервью, используя камеру «наведи и снимай» для видео и свой телефон Android с помощью Smart Recorder. Камера записывает в формате MOV и распаковывает с монофоническим звуком. Затем я использую свой смартфон, чтобы записать себя и интервьюируемого, так как камера находится далеко, чтобы нас слышать. Звук в формате .wav, и я использую Premiere Pro для их выравнивания. Хотя поначалу он работает, иногда он внезапно волшебным образом теряет синхронизацию, поэтому мне приходится вырезать звук, чтобы я мог наверстать упущенное.

Я озадачен и хотел бы узнать ваше мнение о том, как свести это к минимуму, если возможно, устранить его. Моя теория заключается в том, что частота дискретизации является проблемой. Если это неверно, посоветуйте иначе.

Если он действительно рассинхронизируется, то это вряд ли будет проблемой скорости, которая вызовет дрейф. Но часто может показаться, что что-то выходит из синхронизации просто потому, что это внезапно становится заметным. В качестве эксперимента возьмите хлопушку или что-то подобное и стреляйте из нее каждые несколько секунд в течение обычного интервью. Он действительно выскакивает или дрейфует? Это поможет определить решение.
@JimMack Спасибо за замечательный совет. Я сделаю это позже.

Ответы (3)

Вы можете сказать, какой из них выходит из синхронизации следующим образом:

Настройте камеру и телефон, как обычно. Поставьте часы, которые показывают секунды, прямо перед камерой. Затем, хотя это звучит скучно, запишите, как вы отсчитываете секунды.

Синхронизируйте видео и аудио в Premiere Pro, как обычно. Когда они выходят из синхронизации, проверьте, не потерялось ли видео на секунду или аудио. Вы должны быть в состоянии сказать, основываясь на повторяющемся ритме.

Затем, как указал @AJHenderson, вы должны заменить неисправное оборудование. Я согласен, что камера, которая может принимать внешний аудиовход, вероятно, лучший вариант, хотя и дорогой.

У меня есть другая теория, поскольку телефон, который я использую, был подключен к моему планшету, и в то время он постоянно загружал изображения на Flickr, что немного задержало запись звука.
Любопытный вопрос: теле- и кинопродюсеры обычно записывают свой звук отдельно от его источника, и они синхронизируются в посте. Они не подключают свой микрофон напрямую к камере, не так ли?
@MrA - Эй Джей Хендерсон, вероятно, ответил бы на это лучше, но, насколько я помню из киношколы, ответ - нет - они записываются на разные устройства и синхронизируются в постобработке. Я считаю, что преимущество видеокамеры заключается в том, что когда вы подключаете микрофон, он синхронизирует звук с видео для вас, и вы также получаете преимущество микрофона хорошего качества, расположенного рядом с источником звука. (Если эти ответы помогают, пожалуйста, проголосуйте за них! Спасибо.)
re: звук сеп. Это было правилом при съемке фильма, но менее распространено при съемке видео. Современные видеомагнитофоны имеют отличные звуковые дорожки, не уступающие Nagra. Даже когда используется звук sep, если носитель видеозаписи может принимать звук, разумно подавать на него тот же или совместимый источник, чтобы облегчить последующую синхронизацию и для резервного копирования. А профессионалы, использующие звук sep, часто используют общий тайм-код, записанный на все устройства (или синхронизируют временные коды устройств между кадрами). Но в любом случае «подключение микрофона к камере» не является профессиональной практикой — всегда есть микшер.

Есть множество возможностей, но наиболее вероятные из них связаны с улучшением снаряжения. Наиболее серьезные проблемы синхронизации с телефонами, как правило, возникают у телефонов, которые используют видео с переменной частотой кадров или имеют дешевые кодировщики, которые имеют тенденцию пропускать или задерживать кадры.

Когда вы записываете видео, каждый кадр должен быть записан более или менее в реальном времени. Существует небольшой буфер для хранения кадров во время их обработки, но если изображения не обрабатываются с той скоростью, с которой они снимаются, то в конечном итоге этот буфер заполняется. Если телефон не справляется, у него есть два варианта: либо сразу отбросить кадр и перейти к следующему, либо использовать формат файла, который позволяет изменять частоту кадров на лету и записывать меньше кадров в секунду, когда возникают проблемы. .

Оба этих подхода часто разрушают любую аудиосинхронизацию. Переменная частота кадров, если она хорошо реализована, должна немного ограничить дрейф, поскольку кадры должны по-прежнему продвигаться с довольно постоянной скоростью, но они могут задерживаться и рассинхронизироваться. Пропущенные кадры, как правило, намного хуже. Поскольку для этого кадра ничего не существует, просто используется следующий кадр, и в видео теряется часть времени, которая не теряется в отдельном аудиопотоке, в котором не было пропущенного кадра.

Обе эти проблемы, к сожалению, зависят от аппаратного обеспечения, и их невозможно исправить на имеющемся у вас оборудовании. (Я полагаю, вы можете попытаться уменьшить разрешение, чтобы облегчить работу кодировщику.) Если один из них является источником проблемы, приобрести другую камеру с лучшим кодировщиком — это единственный другой вариант, который у вас действительно есть, если вы хотите сохраняйте разрешение, которое вы используете.

Другая возможная проблема, которая сегодня менее распространена, заключается в том, что внутренние часы временного кода могут просто работать быстро или медленно. По большей части синхронизация кадров довольно совместима с современными технологиями, но если есть проблема, вы можете попробовать синхронизировать в начале и в конце видео и соответствующим образом настроить скорость звука. Когда будете это делать, проверьте несколько раз середину, потому что большинство современных задач, вероятно, не будут такими простыми, и середина все равно будет рассинхронизирована.

Еще лучшим решением является использование камеры, которая может принимать внешний аудиовход. Синхронизируя звук с видео в режиме реального времени во время записи на одно и то же устройство, вы можете обеспечить правильную синхронизацию кодировщиком. Вероятно, все же неплохо сделать внешнюю запись, так как это поможет определить, были ли проблемы с захватом, но использование внешнего аудиовхода намного проще, чем решать проблемы с синхронизацией постфактум.

Спасибо! Но я использую свой смартфон как устройство для записи звука и мыльницу для записи видео.
Ах, я неправильно понял, но ответ по-прежнему актуален и для ситуации «наведи и снимай». Это делает более вероятным отставание дешевого кодировщика и неспособность сохранить хороший временной код. Аудиозапись, как правило, намного проще, и телефоны, как правило, имеют хорошие часы, потому что они должны поддерживать хорошее время для хорошей беспроводной связи. С другой стороны, «наведи и снимай» обычно добавляют видео в последнюю очередь и часто могут выполнять маргинальную работу при сохранении постоянного времени (поскольку оно не требуется для большинства потребительских товаров).
Интересная мысль. Вы подозреваете, что проблема с синхронизацией связана с режимом «наведи и снимай». Я буду иметь это в виду и сделаю тест от других пользователей и посмотрю.

Проблемы синхронизации аудио/видео заметны примерно через +/- 0,1 с. Часы с частотой дискретизации в вашем телефоне и камере должны иметь одинаковую скорость с точностью до 0,1 секунды в течение 10 минут или любой продолжительности ваших клипов, чтобы вы могли выровнять только одну точку.

0.1 / (10 * 60) = .0001. Это примерно 1 часть на 10 тыс. Википедия говорит, что кварцевые часы часто имеют стабильность 6 частей на миллион. То, что я просмотрел, указывает на то, что , вероятно, стоит немного больше, чтобы получить тактовую частоту, которая закрывается на заводе. (и 6 частей на миллион — это своего рода долгосрочный дрейф, который вы можете ожидать вокруг начальной точки, а не абсолютная точность типичной передачи).

Имейте в виду, что большинство камер, особенно. те, которые в основном предназначены для фотосъемки, не нуждаются в часах с такой же точностью, как наручные, поэтому у них, вероятно, их нет. Потому что это будет стоить дополнительно.

Я видел именно такой дрейф между звуком с моего Panasonic Lumix и звуком, записанным в то же время на ноутбуке Dell. См. раздел Синхронизация аудио с видео+плохой камерой-аудио, бесплатные рекомендации NLE , где я описываю медленный способ ручной синхронизации клипов и прошу более быстрый автоматический способ.

Во всяком случае, это отсутствие синхронизации часов меня совсем не удивило. Это не имеет ничего общего с падением кадров или плохим качеством оборудования. Должно работать нормально, если предположить, что оба тактовых генератора работают с постоянной скоростью, но не с ОДНОЙ скоростью. Таким образом, вы можете исправить клип с помощью линейной коррекции с двумя параметрами: смещение + растяжение.

Я согласен с предположением А. Дж. Хендерсона о том, что, вероятно, часы камеры менее верны. Телефоны имеют приемники GPS для хронометража и могут использовать или не использовать этот точный источник времени в качестве часов для частоты дискретизации входного аудиосигнала. А также, как указывает AJ, необходимо сделать Wi-Fi, что, вероятно, требует откалиброванных источников синхронизации, если только они не могут просто зафиксироваться на принятой частоте. Не уверен, насколько важны точные часы с современными модуляциями Wi-Fi, но, вероятно, это важно.

Я бы ожидал проблем с записью на любых двух устройствах, которые не получают свои образцы часов из одного и того же источника времени. Пока не появились портативные GPS-приемники, в киностудиях были главные часы, которые распределяли время между всеми записывающими аудио/видео устройствами, поэтому в 1 реальном часе отснятого материала с одной камеры было столько же кадров, сколько за 1 реальный час отснятого материала с другой камеры.