Open Sourcing BERT: L'Avant-Garde de la Pré-formation pour le Traitement du Langage Naturel

Introduction

L'un des plus grands défis en traitement du langage naturel (NLP) est le manque de données d'entraînement. Les modèles modernes de NLP basés sur l'apprentissage profond bénéficient d'une grande quantité de données, améliorant leur performance lorsqu'ils sont entraînés sur des millions, voire des milliards, d'exemples annotés. Pour combler cette lacune, des chercheurs ont développé diverses techniques pour entraîner des modèles de représentation linguistique à usage général en utilisant le texte non annoté disponible sur le web.

Cette semaine, nous avons open-sourcé une nouvelle technique de pré-formation NLP appelée Bidirectional Encoder Representations from Transformers, ou BERT. Avec cette publication, quiconque dans le monde peut entraîner son propre système de question-réponse à la pointe de la technologie en environ 30 minutes sur un seul TPU Cloud, ou en quelques heures avec un GPU unique.

Qu'est-ce qui rend BERT différent ?

BERT se base sur des travaux récents en pré-formation de représentations contextuelles, mais il est le premier modèle de représentation linguistique profondément bidirectionnel et non supervisé, pré-entraîné uniquement sur un corpus de texte brut (dans ce cas, Wikipedia).

La Force de la Bidirectionnalité

La bidirectionnalité permet à BERT de représenter chaque mot en tenant compte de son contexte précédent et suivant, ce qui améliore considérablement la compréhension du langage. Contrairement aux modèles unidirectionnels, BERT utilise une technique de masquage pour prédire les mots masqués dans une phrase, ce qui lui permet d'apprendre efficacement à partir de données non annotées.

Résultats avec BERT

Pour évaluer la performance, nous avons comparé BERT à d'autres systèmes NLP de pointe. Sur le Stanford Question Answering Dataset (SQuAD v1.1), BERT atteint un score F1 de 93,2 %, surpassant le score précédent de 91,6 %.

Comment utiliser BERT

Les modèles que nous publions peuvent être ajustés pour une grande variété de tâches NLP en quelques heures ou moins. Bien que les modèles BERT que nous publions soient uniquement en anglais, nous espérons publier des modèles pré-entraînés dans diverses langues prochainement.

Conclusion

BERT représente une avancée majeure dans le traitement du langage naturel, et nous encourageons les chercheurs et développeurs à explorer ses capacités. Pour plus d'informations, consultez notre publication et commencez à utiliser BERT via Colab avec le notebook "BERT FineTuning with Cloud TPUs".

Appel à l'action

N'attendez plus ! Plongez dans le monde de BERT et découvrez comment il peut transformer vos projets de traitement du langage naturel.