Phenaki

Phenaki - это модель, способная создавать реалистичную видео синтезу на основе последовательности текстовых подсказок. Генерация видео из текста представляет собой особенно сложную задачу из-за вычислительных затрат, ограниченного количества высококачественных текстово-видео данных и переменной длины видео. Чтобы решить эти проблемы, в Phenaki вводится новая каузальная модель для изучения представления видео, которая сжимает видео до небольшого представления дискретных токенов. Этот токенизатор использует каузальное внимание во времени, что позволяет ему работать с видео переменной длины. Для генерации видео токенов из текста используется двунаправленный замаскированный трансформер, обусловленный предварительно вычисленными текстовыми токенами. Сгенерированные видео токены затем декодируются для создания фактического видео. Чтобы решить проблемы с данными, демонстрируется, как совместное обучение на большом корпусе пар изображение-текст, а также на меньшем количестве примеров видео-текст может привести к обобщению за пределы того, что доступно в видео наборах данных. По сравнению с предыдущими методами генерации видео, Phenaki может генерировать произвольно длинные видео, обусловленные последовательностью подсказок (т.е. временем изменяющимся текстом или историей) в открытой области. Насколько известно, это первый раз, когда в статье исследуется генерация видео из времени изменяющихся подсказок. Кроме того, предложенный видео кодер-декодер превосходит все базовые линии на основе каждого кадра, используемые в литературе, с точки зрения пространственно-временного качества и количества токенов на видео.