Einführung in Transfer Learning mit T5

Transfer Learning hat in den letzten Jahren zu einer neuen Welle von Spitzenleistungen im Bereich der natürlichen Sprachverarbeitung (NLP) geführt. Die Effektivität des Transfer Learning beruht auf der Vorab-Trainierung eines Modells mit reichlich verfügbaren, unlabeled Textdaten und einer selbstüberwachten Aufgabe, wie z.B. Sprachmodellierung oder das Ausfüllen fehlender Wörter. Nach dieser Phase kann das Modell auf kleineren, beschrifteten Datensätzen feinjustiert werden, was oft zu (deutlich) besseren Ergebnissen führt als das Training nur mit beschrifteten Daten.

Die Entwicklung von T5

Im Jahr 2018 wurden durch Modelle wie GPT, ULMFiT, ELMo und BERT bedeutende Fortschritte erzielt. 2019 erlebten wir eine Vielzahl neuer Methoden wie XLNet, RoBERTa, ALBERT, Reformer und MT-DNN. Um die besten Transfer-Learning-Techniken zu identifizieren, haben wir in "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer" eine großangelegte empirische Untersuchung durchgeführt und ein neues Modell entwickelt, das wir T5 nennen.

Ein einheitlicher Text-zu-Text-Rahmen

Mit T5 schlagen wir vor, alle NLP-Aufgaben in ein einheitliches Text-zu-Text-Format umzuwandeln, bei dem sowohl Eingabe als auch Ausgabe immer Textstrings sind. Dies ermöglicht es uns, dasselbe Modell, dieselbe Verlustfunktion und dieselben Hyperparameter für jede NLP-Aufgabe zu verwenden, einschließlich maschineller Übersetzung, Dokumentenzusammenfassung, Fragebeantwortung und Klassifizierungsaufgaben.

Das Colossal Clean Crawled Corpus (C4)

Ein wichtiger Bestandteil des Transfer Learning ist der unlabeled Datensatz, der für das Vorab-Training verwendet wird. Um die Auswirkungen der Skalierung des Vorab-Trainings genau zu messen, benötigten wir einen Datensatz, der nicht nur qualitativ hochwertig und vielfältig, sondern auch massiv ist. Der C4-Datensatz, den wir entwickelt haben, ist eine gereinigte Version von Common Crawl und ist um zwei Größenordnungen größer als Wikipedia. Unser Reinigungsprozess umfasste Duplikatsentfernung, das Verwerfen unvollständiger Sätze und das Entfernen anstößiger oder störender Inhalte.

Eine systematische Studie der Transfer-Learning-Methoden

Mit dem T5-Text-zu-Text-Rahmen und dem neuen Vorab-Trainingsdatensatz (C4) haben wir die Landschaft der Ideen und Methoden für NLP-Transfer-Learning untersucht. Die vollständigen Details der Untersuchung sind in unserem Papier zu finden, einschließlich Experimente zu:

• Modellarchitekturen
• Vorab-Trainingszielen
• unlabeled Datensätzen
• Trainingsstrategien
• Skalierung

Erkenntnisse und Skalierung

Um die aktuellen Grenzen des Transfer Learning für NLP zu erkunden, führten wir eine letzte Reihe von Experimenten durch, bei denen wir alle besten Methoden aus unserer systematischen Studie kombinierten und unseren Ansatz mit Google Cloud TPU-Beschleunigern skalieren. Unser größtes Modell hatte 11 Milliarden Parameter und erzielte Spitzenleistungen auf den Benchmarks GLUE, SuperGLUE, SQuAD und CNN/Daily Mail.

Fazit

Wir sind gespannt, wie Menschen unsere Erkenntnisse, den Code und die vorab trainierten Modelle nutzen, um ihre Projekte zu starten. Probieren Sie das Colab-Notebook aus und teilen Sie uns mit, wie Sie es verwenden!

Danksagungen

Diese Arbeit war eine gemeinsame Anstrengung, an der mehrere Forscher beteiligt waren.