Rudrabha/Wav2Lip에 대한 소개
Rudrabha/Wav2Lip은 동영상의 립싱크를 정확하게 수행하는 강력한 AI 도구입니다. 이 도구는 Sync Labs에서 무료로 호스팅되며, 다양한 기능과 특징을 가지고 있습니다.
주요 기능
- 어떤 신원, 목소리, 언어에 대해서도 작동하며, CGI 얼굴과 합성 음성에도 적용 가능합니다.
- 완전한 훈련 코드, 추론 코드 및 사전 훈련된 모델을 제공합니다.
- Google Colab 노트북을 통해 빠르게 시작할 수 있는 링크를 제공합니다.
사용 방법
python inference.py --checkpoint_path <ckpt> --face <video.mp4> --audio <an-audio-source>명령어를 사용하여 동영상을 원하는 오디오에 립싱크할 수 있습니다. 결과는 기본적으로results/result_voice.mp4에 저장되며, 인자로 지정할 수도 있습니다.
사전 준비
- Python 3.6
sudo apt-get install ffmpeg로 ffmpeg 설치pip install -r requirements.txt로 필요한 패키지 설치- 얼굴 감지 사전 훈련 모델을
face_detection/detection/sfd/s3fd.pth에 다운로드해야 합니다.
훈련 방법
- LRS2 데이터셋을 사용하여 모델을 훈련합니다. 데이터셋 폴더 구조를 준비하고,
python preprocess.py명령어로 데이터셋을 전처리합니다. 그 후, 전문가 립싱크 판별기를 훈련하고, Wav2Lip 모델을 훈련합니다.
평가
evaluation/폴더에 평가에 대한 지침이 있습니다.
라이센스 및 인용
- 이 저장소는 개인/연구/비상업적 목적으로만 사용할 수 있습니다. 상업적 요청의 경우 또는 에 직접 문의하세요.
이러한 강력한 기능과 편리한 사용법으로 Rudrabha/Wav2Lip은 동영상 제작 및 관련 분야에서 유용한 도구가 될 수 있습니다.
