Phenaki

Phenaki to zaawansowany model zdolny do tworzenia realistycznych filmów na podstawie sekwencji tekstowych promptów. Jego działanie opiera się na nowym modelu przyczynowym do nauki reprezentacji wideo, który kompresuje wideo do małej reprezentacji dyskretnych tokenów. Tokenizer ten wykorzystuje przyczynową uwagę w czasie, co pozwala mu działać z filmami o zmiennej długości. Do generowania tokenów wideo z tekstu wykorzystuje dwukierunkowy transformer z maską, uwarunkowany wstępnie obliczonymi tokenami tekstowymi. Następnie wygenerowane tokeny wideo są de-tokenizowane w celu utworzenia faktycznego wideo. W celu rozwiązania problemów z danymi pokazano, jak wspólne szkolenie na dużym korpusie par obraz-tekst oraz mniejszej liczbie przykładów wideo-tekst może prowadzić do uogólnienia wykraczającego poza to, co dostępne w zbiorach danych wideo. W porównaniu z poprzednimi metodami generowania wideo, Phenaki może generować dowolnie długie filmy uwarunkowane sekwencją promptów (tj. zmiennym w czasie tekstem lub historią) w domenie otwartej. Proponowany enkoder-dekoder wideo przewyższa wszystkie bazowe linie dla każdej klatki obecnie stosowane w literaturze pod względem jakości przestrzenno-czasowej i liczby tokenów na film. Czytaj więcej w artykule dostępnym tutaj.