ALBERT

O BERT trouxe um novo paradigma na pesquisa de linguagem natural, utilizando auto-supervisão com grande quantidade de texto. O ALBERT é uma atualização do BERT que avança o desempenho em 12 tarefas de NLP e é disponibilizado como código aberto. A chave para otimizar o desempenho do ALBERT é alocar a capacidade do modelo de forma mais eficiente. Isso inclui embeddings de nível de entrada que aprendem representações independentes de contexto e redução de parâmetros com fatoração da parametrização de embeddings. Além disso, o compartilhamento de parâmetros elimina redundâncias. O ALBERT-base tem apenas 12M de parâmetros, uma redução significativa em comparação com o BERT-base, mas ainda tem um desempenho respeitável. O ALBERT-xxlarge também traz redução de parâmetros e ganhos de desempenho. O sucesso do ALBERT mostra a importância de identificar aspectos que geram representações contextuais poderosas e o ALBERT é disponibilizado para a comunidade de pesquisa.