Open Sourcing BERT

Open Sourcing BERT is een gamechanger in de wereld van natuurlijke taalverwerking (NLP). Met behulp van cookies van Google wordt de kwaliteit van de diensten opgehoogd en het verkeer geanalyseerd. BERT bouwt voort op recente ontwikkelingen in het pre-trainen van contextuele representaties. In tegenstelling tot eerdere modellen is BERT de eerste diep bidirectionele, onbeheerde taalrepresentatie, die alleen wordt voorgetraind met een simpele tekstcorpus, zoals Wikipedia. Door sommige woorden in de input te maskeren, kan BERT elk woord bidirectioneel voorspellen. Daarnaast leert BERT ook om relaties tussen zinnen te modelleren. Cloud TPUs spelen een dikke rol bij het succes van BERT, omdat ze de ruimte geven om snel te experimenteren en de modellen aan te passen. De Transformer-modelarchitectuur vormt ook de basis voor het succes van BERT. BERT heeft sicke resultaten behaald op 11 NLP-taken, waaronder de competitieve Stanford Question Answering Dataset (SQuAD v1.1). De vrijgegeven modellen kunnen binnen een paar uur worden afgestemd op een breed scala aan NLP-taken. Op dit moment zijn de modellen alleen in het Engels beschikbaar, maar er wordt gehoopt in de nabije toekomst modellen voor verschillende talen uit te brengen.