CM3leon représente une avancée significative dans le domaine des modèles génératifs d'IA, combinant la génération de texte et d'images dans un seul modèle de fondation. Ce modèle, prononcé comme "caméléon", est conçu pour être plus efficace et performant que les modèles précédents, tout en nécessitant moins de ressources de calcul. CM3leon est le premier modèle multimodal formé avec une recette adaptée des modèles de langage uniquement textuels, incluant une étape de pré-entraînement à grande échelle augmentée par récupération et une seconde étape de réglage fin supervisé multitâche (SFT). Cette approche simple produit un modèle robuste et démontre que les transformateurs basés sur tokenizer peuvent être entraînés aussi efficacement que les modèles génératifs basés sur la diffusion existants.
CM3leon excelle dans la génération d'images à partir de texte, atteignant des performances de pointe malgré un entraînement nécessitant cinq fois moins de calcul que les méthodes précédentes basées sur des transformateurs. Le modèle combine la polyvalence et l'efficacité des modèles autorégressifs tout en maintenant des coûts d'entraînement et une efficacité d'inférence faibles. En tant que modèle multimodal masqué causal (CM3), CM3leon peut générer des séquences de texte et d'images conditionnées sur des séquences arbitraires d'autres contenus textuels et visuels, élargissant ainsi considérablement la fonctionnalité des modèles précédents.
L'application d'un réglage fin multitâche à grande échelle à CM3leon pour la génération d'images et de texte améliore significativement les performances sur des tâches telles que la génération de légendes d'images, la réponse à des questions visuelles, l'édition basée sur le texte et la génération d'images conditionnelles. CM3leon établit un nouveau standard en matière de génération d'images à partir de texte, surpassant les modèles concurrents comme Parti de Google, avec un score FID (Fréchet Inception Distance) de 4.88 sur le benchmark MS-COCO en zero-shot.
CM3leon démontre également une capacité impressionnante à générer des objets compositionnels complexes et performe bien sur une variété de tâches de vision par ordinateur et de langage, y compris la réponse à des questions visuelles et la génération de légendes longues. Le modèle montre que des performances de pointe peuvent être atteintes avec un ensemble de données d'entraînement relativement petit, comparé à des modèles plus grands entraînés sur des ensembles de données plus étendus.
En résumé, CM3leon est une percée dans le domaine des modèles génératifs multimodaux, offrant des performances de pointe, une efficacité accrue et une polyvalence inégalée dans la génération de texte et d'images. Ce modèle ouvre de nouvelles perspectives pour la créativité et les applications dans divers domaines, y compris le métavers.
