openai/whisper

openai/whisper é um modelo de reconhecimento de fala de propósito geral. Ele é treinado em um grande conjunto de dados de áudio diversos e também é um modelo multitarefa que pode realizar reconhecimento de fala multilingue, tradução de fala e identificação de idioma. Um modelo Transformer sequência-para-sequência é treinado em várias tarefas de processamento de fala, incluindo reconhecimento de fala multilingue, tradução de fala, identificação de linguagem falada e detecção de atividade de voz. Essas tarefas são conjuntamente representadas como uma sequência de tokens a serem previstos pelo decodificador, permitindo que um único modelo substitua muitas etapas de um pipeline tradicional de processamento de fala. O formato de treinamento multitarefa usa um conjunto de tokens especiais que atuam como especificadores de tarefa ou alvos de classificação. Para configurar, usamos Python 3.9.9 e PyTorch 1.10.1 para treinar e testar nossos modelos, mas o código base deve ser compatível com Python 3.8 - 3.11 e versões recentes do PyTorch. O código base também depende de alguns pacotes Python, especialmente o tiktoken da OpenAI para sua implementação rápida de tokenizador. Você pode baixar e instalar (ou atualizar para) a versão mais recente do Whisper com o seguinte comando: pip install -U openai-whisper. Alternativamente, o seguinte comando irá puxar e instalar o último commit deste repositório, juntamente com suas dependências Python: pip install git+https://github.com/openai/whisper.git. Para atualizar o pacote para a última versão deste repositório, execute: pip install --upgrade --no-deps --force-reinstall git+https://github.com/openai/whisper.git. Também é necessário que a ferramenta de linha de comando ffmpeg esteja instalada no seu sistema, que está disponível na maioria dos gerenciadores de pacotes. Existem seis tamanhos de modelo, quatro com versões apenas em inglês, oferecendo trade-offs entre velocidade e precisão. O desempenho do Whisper varia amplamente dependendo do idioma. O comando a seguir transcreverá o discurso em arquivos de áudio, usando o modelo turbo: whisper audio.flac audio.mp3 audio.wav --model turbo. Para transcrever um arquivo de áudio contendo fala não em inglês, você pode especificar o idioma usando a opção --language. Adicionando --task translate irá traduzir a fala para inglês. A transcrição também pode ser realizada dentro do Python.