Phenaki

Phenaki é um modelo inovador capaz de realizar síntese de vídeos realistas a partir de uma sequência de prompts textuais. A geração de vídeos a partir de texto apresenta desafios significativos, como o alto custo computacional, a quantidade limitada de dados de alta qualidade texto-vídeo e a variação no comprimento dos vídeos. Para lidar com esses problemas, Phenaki introduz um novo modelo causal para aprender a representação de vídeo, que comprime o vídeo em uma pequena representação de tokens discretos. Este tokenizador utiliza atenção causal no tempo, permitindo trabalhar com vídeos de comprimento variável. Para gerar tokens de vídeo a partir de texto, é utilizado um transformador mascarado bidirecional condicionado a tokens de texto pré-computados. Os tokens de vídeo gerados são subsequentemente des-tokenizados para criar o vídeo real. Além disso, para lidar com questões de dados, é demonstrado como o treinamento conjunto em um grande corpus de pares imagem-texto, bem como um número menor de exemplos vídeo-texto, pode resultar em generalização além do que está disponível nos conjuntos de dados de vídeo. Comparado aos métodos anteriores de geração de vídeos, Phenaki pode gerar vídeos arbitrariamente longos condicionados a uma sequência de prompts (ou seja, texto variável no tempo ou uma história) em domínio aberto. Até onde sabemos, esta é a primeira vez que um artigo estuda a geração de vídeos a partir de prompts variáveis no tempo. Além disso, o codificador-decodificador de vídeo proposto supera todas as bases lineares por quadro atualmente utilizadas na literatura em termos de qualidade espaço-temporal e número de tokens por vídeo.