Clips AI에 대한 소개
Clips AI는 오픈소스 Python 라이브러리로, 장편 비디오를 자동으로 클립으로 변환합니다. 몇 줄의 코드만으로 비디오를 여러 개의 클립으로 분할하고 16:9에서 9:16으로 화면 비율을 조정할 수 있습니다.
이 도구는 오디오 중심의 내러티브 기반 비디오(예: 팟캐스트, 인터뷰, 연설, 설교 등)에 특화되어 있습니다. 클리핑 알고리즘은 비디오의 트랜스크립트를 분석하여 클립을 식별하고 생성합니다. 리사이징 알고리즘은 동적으로 비디오를 리프레임하여 현재 화자를 중심으로 하고 다양한 화면 비율로 변환합니다.
설치 방법 Python 종속성을 설치합니다. 종속성 충돌을 피하기 위해 가상 환경(예: venv)을 사용하는 것이 좋습니다.
pip install clipsai
pip install whisperx@git+https://github.com/m-bain/whisperx.git
libmagic과 ffmpeg도 설치해야 합니다.
클립 생성 클립은 비디오의 트랜스크립트를 사용하여 찾기 때문에 비디오를 먼저 트랜스크립트해야 합니다. 트랜스크립션은 WhisperX를 사용하여 수행되며, Whisper에 대한 오픈소스 래퍼로 각 단어의 시작 및 종료 시간을 감지하는 추가 기능이 있습니다.
from clipsai import ClipFinder, Transcriber
transcriber = Transcriber()
transcription = transcriber.transcribe(audio_file_path="/abs/path/to/video.mp4")
clipfinder = ClipFinder()
clips = clipfinder.find_clips(transcription=transcription)
print("StartTime: ", clips[0].start_time)
print("EndTime: ", clips[0].end_time)
클리핑 참조를 읽어보세요.
비디오 리사이징 비디오를 리사이징하기 위해서는 Pyannote를 사용하기 때문에 허깅 페이스 액세스 토큰이 필요합니다. Pyannote를 사용하는 데 비용이 들지 않으며, Pyannote HuggingFace 페이지에 사용 방법이 나와 있습니다.
from clipsai import resize
crops = resize(
video_file_path="/abs/path/to/video.mp4",
pyannote_auth_token="pyannote_token",
aspect_ratio=(9, 16)
)
print("Crops: ", crops.segments)
리사이징 참조를 읽어보세요.
Clips AI는 개발자들에게 유용한 비디오 처리 도구로, 2024년 Clips AI, Inc.에서 제공됩니다. GitHub에서도 팔로우하세요.
