ALBERT

Depuis l'apparition de BERT, la recherche en langage naturel a adopté un nouveau paradigme d'apprentissage auto-supervisé. Identifier le moteur de la performance NLP est complexe, et la clé pour optimiser la performance, comme le montre la conception d'ALBERT, est d'allouer plus efficacement la capacité du modèle. Les embeddings au niveau d'entrée doivent apprendre des représentations indépendantes du contexte, tandis que les embeddings de couche cachée doivent créer des représentations dépendantes du contexte. Pour évaluer la compréhension linguistique d'un modèle, on peut utiliser le jeu de données RACE. Un modèle avec des représentations de mots indépendantes du contexte obtient un score faible, tandis que BERT, avec des connaissances dépendantes du contexte, a un meilleur score. Le succès d'ALBERT montre l'importance d'identifier les aspects d'un modèle pour obtenir des représentations contextuelles puissantes. Pour favoriser les avancées, ALBERT est open-sourcé à la communauté de recherche.