Clips AI - мощный инструмент для разработчиков, работающих с видео. Это открытая исходная библиотека на Python, которая позволяет автоматически превращать длинные видео в клипы. Всего несколькими строками кода вы можете разбить видео на несколько клипов и изменить его соотношение сторон с 16:9 на 9:16.
Clips AI предназначен для аудиоцентричных, повествовательных видео, таких как подкасты, интервью, речи и проповеди. Алгоритм создания клипов анализирует транскрипт видео, чтобы определить и создать клипы. Алгоритм изменения размера динамически перефокусирует видео на текущего говорящего, преобразуя видео в различные соотношения сторон.
Для установки необходимо установить зависимости Python. Рекомендуется использовать виртуальную среду (например, venv), чтобы избежать конфликтов зависимостей. После установки зависимостей, можно приступать к созданию клипов. Для создания клипов видео сначала должно быть транскрибировано. Транскрибирование выполняется с помощью WhisperX, открытого исходного обертки на Whisper с дополнительной функциональностью для обнаружения времени начала и окончания каждого слова.
Для изменения размера видео требуется токен доступа к Hugging Face, поскольку для диаризации говорящего используется Pyannote. Инструкции по использованию Pyannote можно найти на странице Pyannote HuggingFace.
В целом, Clips AI предоставляет удобные возможности для обработки видео и может быть полезным инструментом для разработчиков, работающих в этой области.
