Polymath: Rewolucja w produkcji muzycznej dzięki uczeniu maszynowemu
Polymath to niesamowite narzędzie wykorzystujące uczenie maszynowe do przekształcania każdej biblioteki muzycznej w bibliotekę próbek do produkcji muzycznej. Oferuje płynny i wydajny przepływ pracy dla producentów muzycznych, DJ-ów i deweloperów audio opartych na ML.
To narzędzie wykonuje wiele funkcji. Automatycznie rozdziela utwory na części takie jak bity, basy i inne. Dodatkowo kwantyzuje utwory do tego samego tempa i siatki rytmicznej, analizuje strukturę muzyczną, tonację i inne ważne informacje oraz konwertuje audio na MIDI.
Podział źródła muzycznego odbywa się przy użyciu sieci neuronowej Demucs, podczas gdy segmentacja i etykietowanie struktury muzycznej jest realizowane za pomocą sieci neuronowej sf_segmenter. Śledzenie wysokości dźwięku i wykrywanie tonacji jest obsługiwane przez sieć neuronową Crepe, a transkrypcja muzyki na MIDI odbywa się przy użyciu sieci neuronowej Basic Pitch. Kwantyzacja i wyrównanie muzyki są zarządzane przy użyciu pyrubberband, a pobieranie i przetwarzanie informacji muzycznych odbywa się przy użyciu librosa.
Polymath ma wiele zastosowań. Pozwala producentom muzycznym łatwo łączyć elementy z różnych utworów, aby tworzyć unikatowe kompozycje. DJ-e mogą wykorzystać jego funkcję wyszukiwania, aby stworzyć dopracowane sety mash-up. Dla deweloperów ML ułatwia proces tworzenia dużej bazy danych muzycznych do szkolenia modeli generatywnych.
Aby korzystać z Polymath, należy spełnić pewne wymagania. Użytkownicy muszą mieć odpowiednie oprogramowanie zainstalowane w swoim systemie, w tym ffmpeg. Proces instalacji obejmuje sklonowanie repozytorium, zmianę katalogu i zainstalowanie wymaganych zależności. Ponadto istnieją instrukcje dotyczące obsługi GPU i konfiguracji Docker.
Dzięki Polymath użytkownicy mogą dodawać utwory do biblioteki, kwantyzować je, wyszukiwać podobne utwory i konwertować audio na MIDI. Narzędzie to stanowi kompleksowe rozwiązanie dla osób pracujących w dziedzinie produkcji muzycznej i uczenia maszynowego.
