Clips AI - Thư viện Python cho xử lý video
Clips AI là một thư viện Python nguồn mở có khả năng tự động chuyển đổi video dài thành các đoạn clip. Với chỉ vài dòng mã, bạn có thể phân đoạn một video thành nhiều clip và thay đổi tỷ lệ khung hình từ 16:9 thành 9:16.
Được thiết kế cho các video tập trung vào âm thanh và có nội dung kể chuyện như podcast, phỏng vấn, bài diễn thuyết và bài thuyết giáo. Thuật toán cắt của chúng tôi phân tích bản ghi chép của video để xác định và tạo ra các clip. Thuật toán thay đổi kích thước của chúng tôi thay đổi khung hình của video một cách linh động để tập trung vào người nói hiện tại, chuyển đổi video thành các tỷ lệ khung hình khác nhau.
Việc cài đặt bao gồm cài đặt các phụ thuộc của Python. Chúng tôi đề nghị sử dụng môi trường ảo (như venv) để tránh xung đột phụ thuộc. Bạn có thể cài đặt bằng cách chạy các lệnh sau: pip install clipsai và pip install whisperx@git+https://github.com/m-bain/whisperx.git. Ngoài ra, bạn cũng cần cài đặt libmagic và ffmpeg.
Để tạo các clip, video phải được phiên âm trước. Việc phiên âm được thực hiện với WhisperX, một wrapper nguồn mở trên Whisper với chức năng bổ sung để phát hiện thời gian bắt đầu và kết thúc của mỗi từ. Sau đó, bạn có thể sử dụng ClipFinder để tìm và tạo các clip.
Để thay đổi kích thước của video, một token truy cập hugging face là cần thiết vì Pyannote được sử dụng cho việc xác định người nói. Bạn sẽ không bị tính phí khi sử dụng Pyannote và hướng dẫn có trên trang Pyannote HuggingFace.
Cuối cùng, Clips AI được phát triển bởi Clips AI, Inc. vào năm 2024. Bạn có thể theo dõi chúng tôi trên GitHub.
