RoBERTa

RoBERTa se basa en la estrategia de enmascaramiento de lenguaje de BERT. El sistema aprende a predecir secciones de texto intencionalmente ocultas en ejemplos de lenguaje sin anotar. Implementado en PyTorch, RoBERTa modifica hiperparámetros clave de BERT. Elimina el objetivo de preentrenamiento de la siguiente oración de BERT y entrena con lotes más grandes y tasas de aprendizaje más altas. Esto permite a RoBERTa mejorar el objetivo de modelado de lenguaje enmascarado en comparación con BERT y conduce a un mejor rendimiento en tareas downstream. También exploramos entrenar a RoBERTa con una cantidad de datos un orden de magnitud mayor que BERT durante un período de tiempo más largo. Utilizamos conjuntos de datos NLP sin anotar existentes y CC-News, un conjunto nuevo extraído de artículos de noticias públicas. Después de implementar estos cambios de diseño, nuestro modelo logró un rendimiento de vanguardia en las tareas MNLI, QNLI, RTE, STS-B y RACE, y una mejora significativa en el benchmark GLUE. Con un puntaje de 88.5, RoBERTa alcanzó la posición superior en el tablero de líderes de GLUE, igualando el rendimiento del líder anterior, XLNet-Large. Estos resultados resaltan la importancia de las opciones de diseño previamente inexploradas en el entrenamiento de BERT y ayudan a desentrañar las contribuciones relativas del tamaño de los datos, el tiempo de entrenamiento y los objetivos de preentrenamiento. RoBERTa es parte del compromiso continuo de Facebook de avanzar en el estado del arte en sistemas de auto-supervisión que se pueden desarrollar con menos dependencia en la etiquetación de datos que requiere mucho tiempo y recursos. Esperamos ver lo que la comunidad más amplia hace con el modelo y el código de RoBERTa.