Clips AI: Transformando Videos Largos en Clips Cortos

Clips AI es una biblioteca de Python de código abierto que convierte automáticamente videos largos en clips. Con solo unas pocas líneas de código, puedes segmentar un video en múltiples clips y cambiar su relación de aspecto de 16:9 a 9:16. ¡Es como tener un editor de video en tu bolsillo!

Introducción

Diseñada para videos centrados en audio y narrativos, como podcasts, entrevistas, discursos y sermones, Clips AI utiliza un algoritmo de segmentación que analiza la transcripción del video para identificar y crear clips. Además, su algoritmo de redimensionamiento enmarca dinámicamente los videos para centrarse en el hablante actual, convirtiendo el video en varias relaciones de aspecto.

Instalación

Para comenzar a usar Clips AI, primero necesitas instalar las dependencias de Python. Se recomienda encarecidamente usar un entorno virtual (como venv) para evitar conflictos de dependencias. Aquí están los comandos que necesitas:

pip install clipsai
pip install whisperx@git+https://github.com/m-bain/whisperx.git

Además, necesitas instalar libmagic y ffmpeg para el procesamiento de video.

Creando Clips

Dado que los clips se encuentran utilizando la transcripción del video, primero debes transcribir el video. La transcripción se realiza con WhisperX, un envoltorio de código abierto sobre Whisper que ofrece funcionalidad adicional para detectar los tiempos de inicio y fin de cada palabra. Aquí tienes un ejemplo de cómo hacerlo:

from clipsai import ClipFinder, Transcriber

transcriber = Transcriber()
transcription = transcriber.transcribe(audio_file_path="/abs/path/to/video.mp4")
clipfinder = ClipFinder()
clips = clipfinder.find_clips(transcription=transcription)
print("StartTime: ", clips[0].start_time)
print("EndTime: ", clips[0].end_time)

Redimensionando un Video

Para redimensionar un video, se requiere un token de acceso de Hugging Face, ya que se utiliza Pyannote para la diarización del hablante. No se te cobrará por usar Pyannote, y las instrucciones están disponibles en la página de Hugging Face de Pyannote. Aquí tienes un ejemplo de cómo redimensionar un video:

from clipsai import resize

crops = resize(
    video_file_path="/abs/path/to/video.mp4",
    pyannote_auth_token="pyannote_token",
    aspect_ratio=(9, 16)
)
print("Crops: ", crops.segments)

Conclusión

Clips AI es una herramienta poderosa para desarrolladores que buscan optimizar su contenido de video. Con su capacidad para segmentar y redimensionar videos de manera eficiente, ¡es hora de que le des una oportunidad! Visita Clips AI en GitHub para más información y recursos.

¡No olvides seguirnos en GitHub para actualizaciones y nuevas características!