Phenaki

Phenakiは、テキストのシーケンスに基づいてリアルなビデオ合成が可能なモデルです。ビデオを生成することは、計算コスト、高品質なテキスト - ビデオデータの限られた量、およびビデオの可変長さのために特に困難です。これらの問題に対処するために、ビデオを離散トークンの小さな表現に圧縮する新しい因果モデルが導入されています。このトークナイザーは時間における因果的な注意を使用し、可変長のビデオで動作できます。テキストからビデオトークンを生成するために、予め計算されたテキストトークンに条件付けられた双方向マスクドトランスフォーマーが使用されています。生成されたビデオトークンはその後、実際のビデオを作成するためにデトークン化されます。データの問題に対処するために、画像 - テキストペアの大規模なコーパスと少数のビデオ - テキストの例の共同訓練が、ビデオデータセットで利用可能なものを超えて一般化できることが示されています。以前のビデオ生成方法と比較して、Phenakiはオープンドメインでシーケンスのプロンプト（つまり、時間可変のテキストまたはストーリー）に条件付けられた任意の長さのビデオを生成できます。私たちの知る限り、これは時間可変のプロンプトからビデオを生成することを研究する最初の論文です。また、提案されたビデオエンコーダ - デコーダは、時空間の品質とビデオごとのトークン数の点で、現在の文献で使用されているすべてのフレームごとのベースラインを上回っています。