Разработка и исследование алгоритмов генерации видео на основе диффузионных моделей

Abstract

В данной работе представлен подход к редактированию реальных видео с использованием предварительно обученных диффузионных моделей без необходимости дополнительного обучения на видеоданных. Для генерации предлагается набор методов, основанных на использовании временной согласованности между кадрами исходного видео для сохранения пространственно-временных связей объектов в кадре генерируемого видео.

This paper presents an approach to editing real videos using pre-trained diffusion models without the need for additional training on video data. For generation, a set of methods is proposed based on the use of temporal consistency between frames of the source video to preserve the spatial-temporal relationships of objects in the frame of the generated video.