Whisper: Reconocimiento de voz robusto a través de supervisión débil a gran escala

Whisper es un modelo de reconocimiento de voz de propósito general desarrollado por OpenAI. Entrenado en un amplio conjunto de datos de audio diverso, Whisper no solo realiza reconocimiento de voz, sino que también puede traducir discursos y identificar idiomas. En este artículo, exploraremos sus características, cómo configurarlo y algunos consejos prácticos para maximizar su uso.

Características principales

1. Multitarea

Whisper es un modelo multitarea que puede realizar varias funciones de procesamiento de voz, incluyendo:

• Reconocimiento de voz multilingüe
• Traducción de voz
• Identificación de idiomas
• Detección de actividad de voz

2. Modelos disponibles

Whisper ofrece seis tamaños de modelo, cada uno con diferentes requisitos de memoria y velocidad de inferencia. A continuación se presentan los modelos disponibles:

• Tiny: 39 M parámetros, ~1 GB VRAM, velocidad relativa ~10x
• Base: 74 M parámetros, ~1 GB VRAM, velocidad relativa ~7x
• Small: 244 M parámetros, ~2 GB VRAM, velocidad relativa ~4x
• Medium: 769 M parámetros, ~5 GB VRAM, velocidad relativa ~2x
• Large: 1550 M parámetros, ~10 GB VRAM, velocidad relativa 1x
• Turbo: 809 M parámetros, ~6 GB VRAM, velocidad relativa ~8x

3. Rendimiento por idioma

El rendimiento de Whisper varía significativamente según el idioma. Se ha observado que los modelos en inglés tienden a tener un mejor rendimiento, especialmente los modelos tiny.en y base.en.

Configuración

Para instalar Whisper, asegúrate de tener Python 3.9.9 y PyTorch 1.10.1. Puedes instalar Whisper utilizando el siguiente comando:

pip install -U openai-whisper

Además, necesitarás instalar ffmpeg, que está disponible en la mayoría de los gestores de paquetes. Por ejemplo:

• En Ubuntu o Debian:

  sudo apt update && sudo apt install ffmpeg
  

• En MacOS usando Homebrew:

  brew install ffmpeg
  

Uso de la línea de comandos

Para transcribir archivos de audio, puedes usar el siguiente comando:

whisper audio.flac audio.mp3 audio.wav --model turbo

Si deseas traducir un archivo de audio que contiene habla no inglesa, puedes especificar el idioma:

whisper japanese.wav --language Japanese --task translate

Ejemplo de uso en Python

Whisper también se puede utilizar dentro de Python. Aquí tienes un ejemplo:

import whisper
model = whisper.load_model("turbo")
result = model.transcribe("audio.mp3")
print(result["text"])  

Conclusión

Whisper es una herramienta poderosa para el reconocimiento de voz y la traducción, ideal para desarrolladores y empresas que buscan integrar capacidades de voz en sus aplicaciones. Con su enfoque multitarea y su rendimiento robusto, es una opción destacada en el campo de la inteligencia artificial.

¡Prueba Whisper hoy!

No dudes en visitar el repositorio de GitHub de Whisper para obtener más información y comenzar a utilizar esta increíble herramienta.