Нейросетевой метод для стабильного во времени матирования видеопоследовательностей с людьми

И. А. Молодецких^ab, М. В. Ерофеев^b, А. В. Москаленко^b, Д. С. Ватолин<sup>ab

a</sup> Институт системного программирования им. В.П. Иванникова РАН
^b Московский государственный университет имени М. В. Ломоносова

Аннотация: Предлагается новый метод матирования видео с людьми на основе нейросетей, не требующий дополнительных входных данных, таких как тернарные карты. Разработанная нейросетевая архитектура достигает стабильности получаемых карт прозрачности во времени за счёт свёрточных LSTM-модулей в прямых соединениях U-Net в сочетании со сглаживанием карт сегментации на основе поблочной оценки движения. Также предлагается алгоритм генерации искусственного движения, генерирующий обучающие видеоклипы для сети матирования видео, используя фотографии с эталонными картами прозрачности и фоновые видео. К фотографиям и их картам прозрачности применяются случайные карты сдвигов, имитирующие движение в реальных видео. Затем производится композиция результата с фоновыми клипами. Искусственное движение позволяет обучать глубокие нейросети, работающие с видео, в отсутствие большого размеченного набора видеоданных, и предоставляет эталонный оптический поток переднего плана обучающих видео для использования в функциях потерь.

Ключевые слова: матирование видео, семантическое матирование людей, сглаживание во времени, глубокое обучение.

DOI: 10.15514/ISPRAS-2025-37(3)-6