Clips AI: Una Biblioteca Python para la Repurposición de Vídeos
Clips AI es una biblioteca de código abierto en Python que ofrece una solución innovadora para convertir videos de larga duración en clips. Con solo unas pocas líneas de código, los desarrolladores pueden segmentar un video en múltiples clips y cambiar el aspecto de la relación de aspecto de 16:9 a 9:16.
Esta biblioteca está diseñada especialmente para videos centrados en el audio y basados en narrativas, como podcasts, entrevistas, discursos y sermones. Su algoritmo de recorte analiza la transcripción del video para identificar y crear clips. Además, el algoritmo de cambio de tamaño reframa dinámicamente los videos para centrarse en el hablante actual, convirtiendo el video en diversas relaciones de aspecto.
Para comenzar a trabajar con Clips AI, primero se debe instalar las dependencias de Python. Se recomienda encarecidamente utilizar un entorno virtual (como venv) para evitar conflictos de dependencias. Se puede instalar Clips AI y WhisperX con los siguientes comandos:
pip install clipsai
pip install whisperx@git+https://github.com/m-bain/whisperx.git
También es necesario instalar libmagic y ffmpeg.
Para crear clips, primero se debe transcribir el video. Esto se realiza con WhisperX, un envoltorio de código abierto en Whisper con funcionalidad adicional para detectar los tiempos de inicio y final de cada palabra. Una vez transcrito el video, se puede utilizar la clase ClipFinder para encontrar los clips.
from clipsai import ClipFinder, Transcriber
transcriber = Transcriber()
transcription = transcriber.transcribe(audio_file_path="/abs/path/to/video.mp4")
clipfinder = ClipFinder()
clips = clipfinder.find_clips(transcription=transcription)
print("StartTime: ", clips[0].start_time)
print("EndTime: ", clips[0].end_time)
Para cambiar el tamaño de un video, se requiere un token de acceso de Hugging Face, ya que se utiliza Pyannote para la diarización de hablantes. No se cobra por el uso de Pyannote y las instrucciones están en la página de Pyannote HuggingFace.
from clipsai import resize
crops = resize(
video_file_path="/abs/path/to/video.mp4",
pyannote_auth_token="pyannote_token",
aspect_ratio=(9, 16)
)
print("Crops: ", crops.segments)
En resumen, Clips AI proporciona una herramienta poderosa y fácil de usar para los desarrolladores que desean repurposicionar videos de manera eficiente y efectiva.
