Open Sourcing BERT

Open Sourcing BERT to zajebista sprawa w świecie wstępnego szkolenia dla przetwarzania języka naturalnego (NLP). W branży NLP jednym z większych ciosów jest brak odpowiedniej ilości danych do szkolenia. Jednak nowoczesne modele NLP oparte na głębokim uczeniu korzystają z dużej ilości danych, żeby działać lepiej. Techniki wstępnego szkolenia z użyciem niezaznaczonych tekstów z sieci pozwalają na szkolenie modeli reprezentacji języka ogólnego, które potem można dopasować do małych zadań NLP, jak odpowiadanie na pytania czy analiza nastrojów. Open Sourcing BERT opiera się na ostatnich pracach w tej dziedzinie, ale wyróżnia się tym, że jest pierwszym głęboko dwukierunkowym, bez nadzoru modelem reprezentacji języka, szkolonym przy użyciu zwykłego korpusu tekstowego, w tym przypadku Wikipedii. Żeby uniknąć problemu, gdy słowo, które się przewiduje, mogłoby pośrednio 'zobaczyć się samo' w wielowarstwowym modelu, stosuje się metodę maskowania niektórych słów na wejściu. Open Sourcing BERT uczy się też modelować relacje między zdaniami poprzez szkolenie w prostym zadaniu generowanym z dowolnego korpusu tekstowego. Te modele można dostosować do szerokiej gamy zadań NLP w kilka godzin albo mniej. Obecnie dostępne modele są przeznaczone tylko dla języka angielskiego, ale planuje się w przyszłości wypuścić modele dla różnych języków.