Parti

O modelo Parti, Pathways Autoregressive Text-to-Image, é uma inovação na geração de imagens a partir de texto. Ele trata a geração de texto para imagem como um problema de modelagem sequência para sequência, semelhante à tradução de máquina. Utiliza o poderoso tokenizador de imagem, ViT-VQGAN, para codificar imagens como sequências de tokens discretos e se beneficia dos avanços em modelos de linguagem de grande escala. Com o escalonamento do codificador-decodificador do Parti até 20 bilhões de parâmetros, observamos melhorias consistentes na qualidade. Ele alcança um escore FID de zero tiro de 7.23 e um escore FID ajustado de 3.22 no MS-COCO, mostrando desempenho de ponta. Além disso, é eficaz em uma ampla variedade de categorias e aspectos de dificuldade em nossa análise em Localized Narratives e PartiPrompts, um novo benchmark holístico de mais de 1600 prompts em inglês que lançamos como parte deste trabalho. No entanto, o modelo também possui limitações, que são discutidas no trabalho. Embora produza saídas de alta qualidade para uma ampla gama de prompts, existem desafios relacionados ao tratamento de negação, representações estereotipadas e riscos potenciais, como a criação de deepfakes. Apesar disso, os modelos de texto para imagem abrem novas possibilidades para a criação de imagens únicas e agradáveis esteticamente, potencializando a criatividade e a produtividade humana.