openai/whisper

openai/whisper es un modelo de reconocimiento de voz de propósito general. Está entrenado en un amplio conjunto de datos de audio diversos y también es un modelo multitarea que puede realizar reconocimiento de voz multilingüe, traducción de voz y identificación de idiomas. Un modelo Transformer secuencia-a-secuencia se entrena en varias tareas de procesamiento de voz, incluyendo reconocimiento de voz multilingüe, traducción de voz, identificación de lenguaje hablado y detección de actividad de voz. Estas tareas se representan conjuntamente como una secuencia de tokens a ser predichos por el decodificador, permitiendo que un solo modelo reemplace muchas etapas de una tubería tradicional de procesamiento de voz. El formato de entrenamiento multitarea utiliza un conjunto de tokens especiales que sirven como especificadores de tarea o como objetivos de clasificación. Para configurar, se utilizó Python 3.9.9 y PyTorch 1.10.1 para entrenar y probar los modelos, pero se espera que el código base sea compatible con Python 3.8 - 3.11 y versiones recientes de PyTorch. El código base también depende de algunos paquetes de Python, especialmente de tiktoken de OpenAI para su implementación rápida de tokenizador. Puede descargar e instalar (o actualizar a) la última versión de Whisper con el siguiente comando: pip install -U openai-whisper. Alternativamente, el siguiente comando descargará e instalará el último commit de este repositorio, junto con sus dependencias de Python: pip install git+https://github.com/openai/whisper.git. Existen seis tamaños de modelo, cuatro con versiones solo en inglés, ofreciendo equilibrios entre velocidad y precisión. El rendimiento de Whisper varía ampliamente según el idioma. Se puede transcribir el habla en archivos de audio utilizando el comando de la línea de comandos. También se puede realizar la transcripción dentro de Python. Además, hay ejemplos más detallados disponibles en Discusiones para compartir usos más específicos de Whisper y extensiones de terceros.