Usando o SpeechBrain no Hugging Face

speechbrain é um toolkit conversacional open-source e completo para áudio/fala. O objetivo é criar um toolkit único, flexível e fácil de usar que permita desenvolver facilmente tecnologias de fala de última geração, incluindo sistemas para reconhecimento de fala, reconhecimento de falantes, aprimoramento de fala, separação de fala, identificação de idioma, processamento de sinal de microfone múltiplo e muitos outros.

Explorando o SpeechBrain no Hub

Você pode encontrar modelos do speechbrain filtrando à esquerda na página de modelos.

Todos os modelos no Hub vêm com os seguintes recursos:

1. Um cartão de modelo gerado automaticamente com uma breve descrição.
2. Tags de metadados que auxiliam na descoberta, com informações como idioma, licença, artigo e mais.
3. Um widget interativo que você pode usar para interagir com o modelo diretamente no navegador.
4. Um widget de Inference Providers que permite fazer solicitações de inferência.

Usando modelos existentes

speechbrain oferece diferentes interfaces para gerenciar modelos pré-treinados para diferentes tarefas, como EncoderClassifier, EncoderClassifier, SepformerSeparation e SpectralMaskEnhancement. Essas classes possuem um método from_hparams que você pode usar para carregar um modelo do Hub

Aqui está um exemplo para executar inferência para reconhecimento de sons em sons urbanos.

import torchaudio
from speechbrain.pretrained import EncoderClassifier

classifier = EncoderClassifier.from_hparams(
    source="speechbrain/urbansound8k_ecapa"
)
out_prob, score, index, text_lab = classifier.classify_file('speechbrain/urbansound8k_ecapa/dog_bark.wav')

Se você quiser ver como carregar um modelo específico, pode clicar em Use in speechbrain e receber um trecho de código funcional para carregá-lo!

Recursos adicionais

• Site do SpeechBrain website.
• Documentação do SpeechBrain docs.