Rudrabha/Wav2Lip

Rudrabha/Wav2Lip, konuşma videolarının dudak hareketleriyle senkronize edilmesini sağlayan güçlü bir araçtır. Bu proje, Sync Labs tarafından ücretsiz olarak sunulmaktadır. Proje, herhangi bir kimlik, ses ve dil için çalışır ve CGI yüzleri ile sentetik sesler için de uygundur. Tam eğitim kodu, çıkarım kodu ve önceden eğitilmiş modeller mevcuttur. Ayrıca, Google Colab Notebook ile hızlı bir başlangıç yapılabilir. Proje, LRS2 veri kümesi üzerinde eğitilmiştir ve çeşitli değerlendirme ölçütleri ve kriterleri sunmaktadır. Ancak, ticari kullanım LRS2 veri kümesi kullanım şartlarına göre kesinlikle yasaktır. Prerequisite'lar arasında Python 3.6 ve ffmpeg bulunur. Gerekli paketler pip install -r requirements.txt komutuyla yüklenebilir. Ayrıca, yüz algılama önceden eğitilmiş modeli face_detection/detection/sfd/s3fd.pth adresine indirilmelidir. Önceden eğitilmiş modeller kullanılarak herhangi bir videoyu herhangi bir sese dudak senkronizasyonu yapılabilir. Ayrıca, daha iyi sonuçlar için çeşitli ipuçları da verilmiştir. Örneğin, --pads argümanı ile algılanan yüz sınırlayıcı kutusunu ayarlamak, --nosmooth argümanı ile yüz algılamalarının aşırı yumuşatılmasından kaynaklanan sorunları çözmek veya --resize_factor argümanı ile daha düşük çözünürlüklü bir video elde etmek gibi. Ayrıca, LRS2 için eğitim hazırlığı da ayrıntılı bir şekilde açıklanmıştır. İki ana eğitim adımı vardır: uzman dudak senkronizasyonu ayırt edicisinin eğitimi ve Wav2Lip modelinin eğitimi. Ayrıca, başka veri kümeleri üzerinde eğitim yaparken dikkat edilmesi gereken noktalar da belirtilmiştir.