Phenaki

Phenaki est un modèle innovant pour la synthèse de vidéos réalistes basé sur une séquence de prompts textuels. La génération de vidéos à partir de texte pose de nombreuses défis, tels que le coût informatique élevé, la quantité limitée de données de haute qualité text-vidéo et la longueur variable des vidéos. Pour résoudre ces problèmes, Phenaki introduit un nouveau modèle causal pour l'apprentissage de la représentation vidéo, qui compresse la vidéo en une petite représentation de jetons discrets. Ce tokenizer utilise une attention causale dans le temps, ce qui lui permet de fonctionner avec des vidéos de longueur variable. Pour générer des jetons vidéo à partir du texte, un transformateur masqué bidirectionnel conditionné sur des jetons de texte pré-calculés est utilisé. Les jetons vidéo générés sont ensuite dé-tokenisés pour créer la vidéo réelle. Pour aborder les problèmes de données, il est démontré comment l'entraînement conjoint sur un grand corpus de paires image-texte ainsi qu'un plus petit nombre d'exemples vidéo-texte peut entraîner une généralisation au-delà de ce qui est disponible dans les ensembles de données vidéo. Par rapport aux méthodes de génération de vidéos précédentes, Phenaki peut générer des vidéos de longueur arbitraire conditionnées par une séquence de prompts (c'est-à-dire du texte variable dans le temps ou une histoire) dans un domaine ouvert. De plus, l'encodeur-décodeur vidéo proposé surpasse tous les baselines par trame actuellement utilisés dans la littérature en termes de qualité spatio-temporelle et du nombre de jetons par vidéo.