T5

L'apprentissage par transfert a transformé le NLP. Le modèle T5 reformule toutes les tâches NLP en format texte-à-texte. Il génère du texte en entrée et en sortie, permettant d'utiliser le même modèle et hyperparamètres pour diverses tâches. T5 utilise un cadre texte-à-texte, est pré-entraîné sur l'ensemble de données C4. Une étude sur la méthodologie d'apprentissage par transfert a montré que les modèles encodeur-décodeur sont généralement meilleurs. Le modèle T5 de 11 milliards de paramètres a obtenu des résultats de pointe sur plusieurs benchmarks NLP. Il peut être utilisé pour répondre à des questions en mode fermé et pour la génération de texte avec des blancs. Les chercheurs sont impatients de voir son utilisation. Ce travail est le fruit de la collaboration de nombreux chercheurs.