Phenaki

Phenaki: Un modello innovativo per la generazione di video da testo Phenaki è un modello che permette di creare video realistici partendo da testo. Può lavorare con prompt che cambiano nel tempo e generare video di diverse lunghezze, anche di diversi minuti. Utilizza un encoder-decoder per trasformare il testo in video, affrontando sfide computazionali e limiti dei dati. Introduce un nuovo approccio causale per l'apprendimento della rappresentazione video. È stato testato in vari scenari, come la creazione di video di un orsacchiotto che nuota, un astronauta che cammina su Marte e una sequenza di 2 minuti in una città futuristica. Phenaki può generare video di lunghezza arbitraria in base a una sequenza di prompt, superando i metodi basati su baseline per frame in termini di qualità e numero di token. Rappresenta un progresso significativo nelle possibilità di creazione di contenuti multimediali in vari settori. Per maggiori dettagli tecnici, si consiglia di visitare il sito ufficiale.