Meta desenvolve o SeamlessM4T, um modelo capaz de traduzir e converter simultaneamente textos em fala e vice-versa em quase 100 línguas. Este modelo utiliza o sistema BERT 2.0 para codificação de áudio, que divide as entradas em seus tokens componentes para análise, e um vocoder HiFi-GAN para gerar respostas faladas.
Este modelo também foi testado e mostrou uma melhoria de 37% e 48%, respectivamente, em relação a ruídos de fundo e variações de estilo de fala em comparação com sua versão anterior. Além disso, Meta desenvolveu um corpus de fala-paralela de fonte aberta, denominado SeamlessAlign, extraído de “dezenas de bilhões de sentenças” e “quatro milhões de horas” de dados públicos de fala.
O SeamlessM4T é uma ferramenta essencial para equipas multinacionais e empresas que precisam lidar com fala e texto em diferentes idiomas. Como muitos profissionais hoje em dia trabalham em diferentes países, é importante poder comunicar-se de maneira eficiente e proficiente. Além disso, o modelo pode ser usado para melhorar a inclusão e a acessibilidade para pessoas com deficiência auditiva em todo o mundo. As possibilidades são infinitas.
O modelo utiliza um modelo inteligente para tradução de texto e conversão de fala em tempo real, o que é uma grande vantagem para organizações com negócios internacionais. Além disso, a versatilidade do modelo permite aos utilizadores personalizar a resposta de fala e texto, o que é um enorme benefício em relação a outros modelos no mercado.
A equipa da Meta está a trabalhar duro para desenvolver continuamente o SeamlessM4T e está a incentivar a comunidade de desenvolvimento a colaborar nesta empreitada. A Meta tornou o modelo de código-fonte aberto e disponível para download no GitHub, a fim de incentivar o desenvolvimento futuro da tecnologia subjacente.
“Acreditamos que o SeamlessM4T é um avanço importante na procura da comunidade de IA pela criação de sistemas multitarefa universais”, escreveu a equipa. “Mantendo a nossa abordagem à ciência aberta, estamos entusiasmados em partilhar publicamente o nosso modelo para permitir que pesquisadores e desenvolvedores desenvolvam esta tecnologia.” Se estiver interessado em trabalhar com o SeamlessM4T, acesse o GitHub para baixar o modelo, os dados de treinamento e a documentação.
