BERT

Hey les gens! Aujourd'hui, on va parler de BERT, ce truc de ouf dans le monde du traitement du langage naturel (NLP). Vous savez, en NLP, le manque de données d'entraînement, c'est un vrai casse-tête. Mais BERT, c'est là pour sauver la mise! Il est développé pour utiliser un max de texte non annoté sur le web. Pas comme les autres modèles, BERT, c'est le premier à être vraiment bidirectionnel et non supervisé, pré-entraîné avec un corpus de texte brut, genre Wikipédia. BERT, il représente chaque mot en prenant en compte son contexte d'avant et d'après, c'est trop fort! Pour s'attaquer au problème de l'entraînement bidirectionnel, on cache quelques mots dans l'entrée et on fait en sorte que chaque mot prédise ces mots masqués, c'est malin! BERT apprend aussi à gérer les relations entre les phrases en s'entraînant sur une tâche simple. Et les Cloud TPUs, c'est la clé! Ils ont permis de tester, corriger et peaufiner les modèles. Le modèle Transformer, développé par Google en 2017, c'est la base du succès de BERT. Quand on évalue les performances, BERT, il écrase les autres systèmes NLP de pointe. Il a un score F1 de 93,2% sur SQuAD v1.1, c'est énorme! Il améliore aussi de 7,6% le score sur le benchmark GLUE. Les modèles qu'on a publiés, on peut les ajuster sur plein de tâches NLP en quelques heures ou moins. Pour l'instant, les modèles BERT sont en anglais, mais on espère sortir des modèles pré-entraînés sur d'autres langues bientôt.