ALBERT

ALBERT es una mejora a BERT para el aprendizaje auto-supervisado de representaciones de lenguaje. Su investigación ha permitido empezar con un modelo que ya tiene conocimiento del lenguaje. Se presenta como una implementación de código abierto en TensorFlow con varios modelos preentrenados. Su diseño busca una asignación más eficiente de la capacidad del modelo. Logra una reducción del 80% en los parámetros del bloque de proyección y del 90% en los del bloque de atención-alimentación, lo que permite un modelo más eficiente. ALBERT obtiene un buen rendimiento en 12 tareas de NLP, incluyendo SQuAD v2.0 y RACE. En RACE, establece un nuevo récord de puntuación de 89.4. El éxito de ALBERT demuestra la importancia de mejorar la arquitectura del modelo para mejorar la eficiencia y el rendimiento en NLP, y se libera a la comunidad de investigación.