Phenaki

Phenaki es un modelo innovador capaz de realizar síntesis de videos realistas a partir de una secuencia de indicaciones textuales. La generación de videos a partir de texto presenta desafíos significativos, como el alto costo computacional, la limitada cantidad de datos de alta calidad de texto y video, y la longitud variable de los videos. Para abordar estos problemas, Phenaki introduce un nuevo modelo causal para el aprendizaje de la representación de video, que comprime el video en una pequeña representación de tokens discretos. Este tokenizador utiliza atención causal en el tiempo, lo que le permite trabajar con videos de longitud variable. Para generar tokens de video a partir de texto, se utiliza un transformador enmascarado bidireccional condicionado a tokens de texto previamente calculados. Los tokens de video generados se des-tokenizan posteriormente para crear el video real. Además, Phenaki demuestra cómo el entrenamiento conjunto en un gran corpus de pares de imagen-texto, así como en un número menor de ejemplos de video-texto, puede resultar en una generalización más allá de lo disponible en los conjuntos de datos de video. En comparación con los métodos anteriores de generación de video, Phenaki puede generar videos arbitrariamente largos condicionados a una secuencia de indicaciones (es decir, texto variable en el tiempo o una historia) en un dominio abierto. Según nuestro conocimiento, esta es la primera vez que un artículo estudia la generación de videos a partir de indicaciones variables en el tiempo. Además, el codificador-decodificador de video propuesto supera a todos los baselines por cuadro actualmente utilizados en la literatura en términos de calidad espacio-temporal y número de tokens por video.