Допустим, у меня есть видео со скоростью 30 кадров в секунду, созданное камерой, панорамирующейся с постоянной скоростью при съемке статичного пейзажа.
Когда я смотрю видео, движение в видео совершенно плавное.
Когда я удваиваю скорость, движение остается совершенно плавным.
Когда я уменьшаю скорость вдвое, видео выглядит прерывистым, но движение снова выглядит плавным.
Проблема возникает, когда я пытаюсь изменить скорость нерегулярными числами. Допустим, я хочу изменить скорость видео на 120%. Затем я экспортирую видео со скоростью 30 кадров в секунду. Затем движение в видео становится визуально прерывистым, отрывистым.
Я быстро понял, что происходит:
При увеличении скорости мое видео с частотой 30 кадров в секунду становится 30 * 1.2 = 36 FPS. Но я экспортирую со стандартными 30 кадрами в секунду, поэтому каждый 6-й кадр отбрасывается. Это означает, что каждые 5 кадров камера движется с удвоенной скоростью. Если я смотрю на движение кадр за кадром, движение камеры выглядит так: медленно, медленно, медленно, медленно, БЫСТРО, медленно, медленно, медленно, медленно, БЫСТРО, медленно, медленно, медленно, медленно, БЫСТРО и т. д.
Итак, наконец, мой вопрос: какой вариант у меня есть, чтобы получить плавное движение или скрыть эту проблему при изменении скорости видео с небольшими интервалами?
Съемка с более высокой скоростью затвора, на мой взгляд, не вариант, так как она просто размывает движение до тех пор, пока проблема не будет видна.
Я использую Adobe Premiere и Adobe After Effects. Сможет ли плагин Time Warp в After Effects создавать плавное движение с помощью векторов движения? Что делать, если в сцене есть активное движение? Будет ли он по-прежнему хорошо выглядеть?
Я еще не видел, чтобы люди действительно понимали эту проблему. Как называется этот эффект? Есть ли у кого-нибудь ссылка или статья, объясняющая то, что я описал?
Съемка с более высокой скоростью затвора, на мой взгляд, не вариант, так как она просто размывает движение до тех пор, пока проблема не будет видна.
Я не понимаю эту часть. Не скрывает ли проблема до тех пор, пока она не перестанет быть видимой, чего вы хотите?
Кроме того, более высокая скорость затвора приводит к менее размытым кадрам, а не наоборот.
Я быстро понял, что происходит: при увеличении скорости мое видео с 30 кадрами в секунду становится 30*1,2=36 кадров в секунду. Но я экспортирую со стандартной скоростью 30 кадров в секунду, поэтому каждый 6-й кадр пропускается.
Это поведение Media Encoder по умолчанию. Adobe называет это выборкой кадров. Как вы сказали, поскольку кадры будут отбрасываться через равные промежутки времени, это приведет к любопытным результатам.
Итак, наконец, мой вопрос: какой вариант у меня есть, чтобы получить плавное движение или скрыть эту проблему при изменении скорости видео с небольшими интервалами?
Используйте один из других режимов временной интерполяции, которые может предложить Premiere Pro. В нижней части диалогового окна «Настройки экспорта» есть раскрывающееся меню, содержащее три параметра: «Выборка кадров», «Смешение кадров» и «Оптический поток». Вы найдете такое же раскрывающееся меню на панели «Скорость/длительность», доступ к которому можно получить через контекстное меню, чтобы изменить режим интерполяции отдельных клипов.
Из документации :
Функция Optical Flow в Premiere Pro использует анализ кадров и оценку движения пикселей для создания совершенно новых видеокадров, что обеспечивает значительно более плавное изменение скорости, переназначение времени и преобразование частоты кадров. [...]
Выборка кадров повторяет или удаляет кадры по мере необходимости для достижения желаемой скорости. Смешение кадров повторяет кадры, а также смешивает их по мере необходимости, чтобы сгладить движение.
Вот еще одна полезная статья об использовании интерполяции Optical Flow.
Я предлагаю вам попробовать все режимы интерполяции и посмотреть, что лучше всего подходит для ваших кадров.
Еще одна вещь, вы, вероятно, не хотите это слышать, но видео со скоростью 30 кадров в секунду действительно плохо подходит для создания эффектов замедленного или ускоренного движения (за исключением, возможно, таймлапсов со скоростью 200% или более). Как вы сами объяснили, осталось не так много кадров, поэтому некоторые кадры нужно будет отбросить, синтезировать или смешать каким-то образом, что в лучшем случае выглядит некачественно. Алгоритмы интерполяции делают достойную работу, но она никогда не будет выглядеть так же хорошо, как если бы кадры были сняты с более высокой частотой кадров.
Существует значительное количество литературы, объясняющей, как частота кадров и скорость затвора связаны с достижением желаемого восприятия движения. Как правило, выдержка, равная 1/2 частоты кадров (1/48 секунды для частоты кадров 24 кадра в секунду), дает наилучшие результаты. Но есть причины, по которым можно выбрать (относительно) более короткую или более длинную выдержку, в том числе причина, по которой скорость воспроизведения будет отличаться от скорости захвата. Но в первую очередь нужно понять, как взаимодействуют скорость воспроизведения и скорость затвора, прежде чем беспокоиться о стратегиях интерполяции. В литературе обсуждается не только это, но и допустимые значения скорости панорамирования для заданного поля зрения и скорости затвора. Вот лишь один пример такого обсуждения .
Существует также значительный объем литературы, объясняющей, как интерполяции частоты кадров работают или ломаются при различных условиях изменения частоты кадров (некоторые из которых вы уже заметили). Некоторые интерполяции частоты кадров лучше всего работают с большим размытием движения. Некоторые работают лучше с меньшим размытием движения. И если вы не сделали математику заранее, вы можете обнаружить, что частота кадров и выдержка приведут к повсеместно плохим результатам, независимо от доступных вам стратегий интерполяции. В общем, если вы хотите дать шанс оптическому потоку, вам нужны четкие пиксели, а не размытые. Оптический поток может как создавать «анимацию» (синтетические кадры между фактическими кадрами, захваченными датчиком), так и создавать размытие движения для всех кадров (как реальных, так и синтетических). Это вычислительно затратный процесс, и нередко профессиональные продюсерские компании на самом деле настраивают свое программное обеспечение, чтобы оно лучше всего работало с имеющимися у них кадрами. Но если вы позаботитесь заранее, зная, какая скорость затвора сведет к минимуму размытие движения в ваших последовательностях, и зная, какие типы предметов или объектов следует избегать, чтобы не нарушать качество вашего механизма оптического потока, вы можете использовать программное обеспечение для реалистично создавать промежуточные кадры. Если вы не подготовитесь заранее, вы, вероятно, получите очень искусственные результаты, привлекающие внимание к алгоритмическим ограничениям программного обеспечения, а не к гениальности вашего художественного руководства. Зная, какая скорость затвора минимизирует размытие движения в ваших последовательностях, и зная, какие типы предметов или объектов следует избегать, чтобы не нарушать качество вашего механизма оптического потока, вы можете использовать программное обеспечение для реалистичного создания промежуточных кадров. Если вы не подготовитесь заранее, вы, вероятно, получите очень искусственные результаты, привлекающие внимание к алгоритмическим ограничениям программного обеспечения, а не к гениальности вашего художественного руководства. Зная, какая скорость затвора минимизирует размытие движения в ваших последовательностях, и зная, какие типы предметов или объектов следует избегать, чтобы не нарушать качество вашего механизма оптического потока, вы можете использовать программное обеспечение для реалистичного создания промежуточных кадров. Если вы не подготовитесь заранее, вы, вероятно, получите очень искусственные результаты, привлекающие внимание к алгоритмическим ограничениям программного обеспечения, а не к гениальности вашего художественного руководства.