RoBERTa

RoBERTa to zaawansowana metoda dla samo-nadzorowanego uczenia systemów przetwarzania języka naturalnego (NLP). Opiera się ona na strategii maskowania języka BERT, gdzie system uczy się przewidywać celowo ukryte sekcje tekstu w nieoznakowanych przykładach językowych. Zaimplementowana w PyTorch, RoBERTa modyfikuje kluczowe hiperparametry BERT, takie jak usunięcie obiektu pretrainingowego następnego zdania BERT i szkolenie z znacznie większymi mini-batchami i szybkościami uczenia. Pozwala to RoBERTa poprawić obiekt modelowania maskowanego języka w porównaniu z BERT i prowadzi do lepszej wydajności w zadaniach końcowych. Próbowaliśmy również szkolić RoBERTa na o rząd wielkości więcej danych niż BERT przez dłuższy czas. Użyliśmy istniejących nieoznakowanych zbiorów danych NLP oraz nowego zbioru CC-News, pochodzącego z publicznych artykułów prasowych. Po wdrożeniu tych zmian projektowych nasz model osiągnął wyniki na poziomie światowym w zadaniach MNLI, QNLI, RTE, STS-B i RACE oraz znaczącą poprawę w benchmarku GLUE. Z wynikiem 88,5 RoBERTa zajęło najwyższą pozycję na tablicy wyników GLUE, dorównując wydajności poprzedniego lidera, XLNet-Large. Te wyniki podkreślają znaczenie wcześniej niezbadanych wyborów projektowych w szkoleniu BERT i pomagają rozwikłać względne wkładu rozmiaru danych, czasu szkolenia i obiektów pretrainingowych.