Phenaki

Phenaki is een geweldige AI-tool voor het maken van realistische video's op basis van een serie tekstuele prompts. Dit model lost de uitdagingen op die komen kijken bij het maken van video's uit tekst, zoals hoge rekencosten, beperkte hoeveelheden hoogwaardige tekst-video-data en variabele video-lengtes. Met een nieuw causaal model voor het leren van video-representaties wordt de video gecomprimeerd tot een kleine representatie van discrete tokens. Deze tokenizer maakt gebruik van causale aandacht in de tijd, waardoor het met video's van verschillende lengtes kan werken. Om video-tokens uit tekst te genereren, wordt een bidirectionele gemaskeerde transformer gebruikt, afhankelijk van vooraf berekende tekst-tokens. De gegenereerde video-tokens worden daarna gedetokeniseerd om de echte video te maken. Daarnaast laat Phenaki zien hoe gezamenlijke training op een grote verzameling beeld-tekst-paren en een kleiner aantal video-tekst-voorbeelden kan leiden tot een bredere toepassing dan alleen wat beschikbaar is in de video-datasets. In vergelijking met eerdere video-generatiemethoden kan Phenaki willekeurig lange video's maken, afhankelijk van een reeks prompts (bijvoorbeeld tijdvariabele tekst of een verhaal) in een open domein. Voor zover wij weten is dit de eerste keer dat een paper het maken van video's vanuit tijdvariabele prompts onderzoekt. Ook presteert de voorgestelde video-encoder-decoder beter dan alle per-frame baselines die momenteel in de literatuur worden gebruikt wat betreft spatio-temporele kwaliteit en het aantal tokens per video.