AudioCraft

AudioCraft to innowacyjne rozwiązanie dla potrzeb generowania dźwięków. Jest to jednolity kod źródłowy dla różnych zastosowań audio, takich jak tworzenie muzyki, efektów dźwiękowych i kompresji po szkoleniu na sygnałach audio w postaci surowej. Jego modele, takie jak MusicGen i AudioGen, składają się z jednego autoregresyjnego Modelu Językowego (LM), który działa na strumieniach skompresowanych dyskretnych reprezentacji muzycznych, czyli tokenów. Wprowadzono prosty sposób wykorzystania wewnętrznej struktury równoległych strumieni tokenów, który pozwala skutecznie modelować sekwencje audio, jednocześnie uchwycając długoterminowe zależności w dźwięku i umożliwiając generowanie wysokiej jakości dźwięku. Modele te wykorzystują EnCodec - kodek neuronowy audio, który uczy się dyskretnych tokenów audio z surowej fali dźwiękowej. Tokeny generowane przez model są następnie przekazywane do dekodera EnCodec, aby przekształcić je z powrotem w przestrzeń audio i uzyskać wyjściową falę dźwiękową. Ponadto można zastosować różne typy modeli warunkowych do sterowania generacją, na przykład wykorzystując wstępnie wytrenowany enkoder tekstu do aplikacji tekstowo-dźwiękowych.