Есть ли способ улучшить качество видео со снегом/конфетти/ЖК-дисплеем в фоновом режиме?

Да, эта функция существует, но пока не используется широко .

Компания Texas Instrument разработала такое решение под названием SmartCodec , которое предполагается внедрить в систему видеонаблюдения Samsung: Мегапиксельная камера Это аппаратное решение, предназначенное для рынка видеонаблюдения.

Я думаю, что это будет реализовано в будущих видеокодеках HEVC, принятых многими вещателями, и это называется схема управления скоростью на основе области интереса HEVC, которая уже выпущена и используется сегодня, но эта функция действительно выглядит новой. И, я думаю, потребуются месяцы-годы, чтобы его внедрить в энкодер производственного цеха. Судя по всему, это что-то действительно новое, так как доклад об этом был принят к презентации на ICIP 2016, который проходил в сентябре.

Есть ли какая-то техника (кодирование/сжатие/и т.д.), которая может улучшить качество элементов переднего плана, когда такой фон присутствует в кадре?

Я не знаю ни одного алгоритма кодирования, который мог бы различать объекты в видео и выделять разное количество битов для этих объектов в зависимости от их важности. На самом деле алгоритмы сжатия работают не так. Возможно, с машинным обучением мы в конце концов доберемся до этого, но я почти уверен, что такой вещи не существует.

Эти видео загружаются оригинальной телекомпанией (с доступом к исходному видео самого высокого качества) и более или менее выглядят как 480p, даже при просмотре с разрешением 720p или 1080p. Те же проблемы с качеством проявляются в видео на собственном сайте вещателя, так что дело не только в переборе со сжатием на YouTube:

Плохое качество вызвано низким битрейтом в сочетании с видеоконтентом, который не может быть хорошо сжат (как объяснил в видео Том Скотт). Другими словами, видео имеет высокую энтропию, т.е. больше информации, чем обычное видео (без конфетти, снега или чего-то подобного). Чтобы сохранить видео с высокой энтропией в том же качестве, что и видео с низким качеством, вам нужен более высокий битрейт. Так что, если у вас есть контроль над окончательным видео, просто поднимите битрейт, и все будет в порядке. Другая возможность — использовать переменный битрейт. Таким образом, кодер может выделить более высокий битрейт для частей видео с высокой энтропией и более низкий для частей с низкой энтропией, что значительно повысит общее качество.

Если вы загружаете на Youtube, вы ничего не можете сделать. Независимо от того, насколько высок битрейт и качество вашего исходного видео, Yotube сожмет его при загрузке, из-за чего оно снова будет выглядеть плохо. Вы можете экспортировать свое видео в формате 4k, это может помочь, поскольку Youtube использует более высокий битрейт для видео 4k, следовательно, лучшее качество. Но если ваши исходные кадры сняты не в формате 4k, я бы не рекомендовал этого делать.

И я уверен, что некоторые люди также были бы заинтересованы в любых методах, которые можно использовать во время съемок, которые дали бы лучшие результаты, когда они не могут изменить содержание кадра и должны иметь дело со снегом/конфетти/анимационным ЖК-дисплеем в фон.

Что вы можете контролировать?
Если вы хотите избежать этого беспорядка, уберите конфетти из кадра. Выключите ЖК-экран. Если вы не можете этого сделать, измените композицию и/или перспективу, чтобы в кадре было меньше всего этого. Увеличьте масштаб актеров/танцоров, чтобы они заполнили большую часть экрана, а значит, уменьшился фоновый шум.

Но, честно говоря, это действительно проблема Youtube, потому что они используют ужасно низкий битрейт для кодирования. Я бы не пошел на компромисс со своей видеокомпозицией или контентом, чтобы избежать этой проблемы. Просто используйте другой хостер, который кодирует загружаемые видео с более высоким битрейтом, например Vimeo .

И я уверен, что некоторые люди также были бы заинтересованы в любых методах, которые можно использовать во время съемок, которые дали бы лучшие результаты, когда они не могут изменить содержание кадра и должны иметь дело со снегом/конфетти/анимационным ЖК-дисплеем в фон.

Получение узкой глубины резкости (что связано с выбором объективов камеры) должно помочь, размывая часть «шума» как перед объектом, так и позади него. Операторам камеры может потребоваться больше усилий, чтобы удерживать объект в фокусе.

Может быть, вы можете попробовать видеоредактор (Adobe Premiere Pro, After Effects и т. д.) или видеоулучшитель (AVCLabs Video Enhancer AI).