Clips AI: Rewolucja w świecie wideo dla programistów
Clips AI to zajebista biblioteka w Pythonie, która bez problemu zamienia długie wideo w super klipy. Zaledwie kilkoma liniami kodu można podzielić wideo na wiele części i zmienić proporcje obrazu z 16:9 na 9:16. Jest stworzona specjalnie dla wideo skupionych na audio i opartych na historii, takich jak podcasty, wywiady, przemówienia i kazania. Algorytm tworzenia klipów analizuje transkrypcję wideo, żeby wykryć i stworzyć świetne klipy. Algorytm zmiany rozmiaru dynamicznie kadruje wideo, skupiając się na aktualnym mówcy i przekształcając wideo w różne proporcje obrazu.
Żeby stworzyć klipy, wideo musi być najpierw przepisane. Transkrypcja odbywa się dzięki WhisperX, super wrapperowi na Whisper z dodatkowymi funkcjami do wykrywania czasów rozpoczęcia i zakończenia każdego słowa. Aby przyciąć oryginalne wideo do wybranego klipu, trzeba zajrzeć do odpowiedniego materiału dotyczącego przycinania.
Do zmiany rozmiaru wideo potrzebny jest token dostępu Hugging Face, bo do diarizacji mówców używa się Pyannote. Nie trzeba płacić za korzystanie z Pyannote, a instrukcje są na stronie Pyannote HuggingFace. Aby zmienić rozmiar oryginalnego wideo na pożądany stosunek boków, trzeba zajrzeć do materiału dotyczącego zmiany rozmiaru.
