CM3leon

CM3leon stellt einen bedeutenden Fortschritt in der generativen KI dar, indem es sowohl Text-zu-Bild- als auch Bild-zu-Text-Generierung in einem einzigen Modell vereint. Dieses Modell, das auf einer Architektur basiert, die sowohl Text als auch Bilder verarbeiten kann, erreicht Spitzenleistungen in der Text-zu-Bild-Generierung und übertrifft dabei bisherige transformerbasierte Methoden mit einem Fünftel des Rechenaufwands. CM3leon zeichnet sich durch seine Fähigkeit aus, komplexe Kompositionen zu generieren und eine breite Palette von visuell-sprachlichen Aufgaben zu bewältigen, darunter visuelle Fragebeantwortung und Langzeitbeschriftung. Ein besonderes Merkmal von CM3leon ist seine Fähigkeit zur textgesteuerten Bildbearbeitung, die es ermöglicht, Bilder basierend auf textuellen Anweisungen zu verändern, was bisherige Modelle, die auf spezifische Aufgaben spezialisiert waren, nicht leisten konnten. Die Architektur von CM3leon, ein decoder-only Transformer, ermöglicht es, sowohl Text als auch Bilder zu generieren, was eine Vielzahl von Anwendungen unterstützt. Das Training von CM3leon umfasst eine groß angelegte, abrufgestützte Vorverarbeitung und eine fein abgestimmte, multitask-basierte Nachverarbeitung, was zu einer verbesserten Leistung bei Aufgaben wie der Generierung von Bildunterschriften und der Beantwortung visueller Fragen führt. CM3leon zeigt, dass durch die Anwendung von Skalierungsstrategien, die ursprünglich für textbasierte Modelle entwickelt wurden, auch die Leistung von autoregressiven Modellen für die Bildgenerierung erheblich verbessert werden kann. Mit CM3leon wird der Weg für multimodale Sprachmodelle geebnet, die nicht nur die Kreativität fördern, sondern auch Anwendungen im Metaverse verbessern könnten.