ALBERT

ALBERT is een toffe ontwikkeling in de wereld van zelfsupervisie voor taalrepresentaties. Sinds de komst van BERT heeft de natuurlijke taalonderzoek een nieuw paradigma omarmd, waarbij massa's bestaande tekst gebruikt wordt om de parameters van een model vooraf te trainen zonder dat dataannotatie nodig is. ALBERT is een upgrade op BERT en scoort state-of-the-art resultaten op 12 NLP-taken. Het model is ontworpen om de capaciteit efficiënter in te delen. Door de factorisatie van de embedding-parametrisering wordt een flinke reductie in de parameters van het projectieblok gerealiseerd, met slechts een klein dipje in de prestaties. Daarnaast wordt de mogelijke overbodigheid in de Transformer-gebaseerde neurale netwerkarchitecturen aangepakt door parametersdeling over de lagen. Deze twee ontwerpwijzigingen samen leiden tot een ALBERT-base-model met slechts 12M parameters, een enorme besparing ten opzichte van het BERT-base-model, terwijl toch prima prestaties worden behaald. Met een verbeterde context-afhankelijke taalrepresentatie kan het algemene taalbegrip worden opgekrikt, zoals blijkt uit de resultaten op verschillende benchmarks. ALBERT wordt als open-source-implementatie beschikbaar gesteld aan de onderzoeksgemeenschap om verder vooruitgang in het veld van NLP te stimuleren.