Text

El aprendizaje transferible ha revolucionado el procesamiento del lenguaje natural (NLP) en los últimos años. El modelo Text-To-Text Transfer Transformer (T5) es una contribución significativa en este ámbito. Con T5, se propone un marco de texto a texto unificado, donde la entrada y la salida son siempre cadenas de texto. Esto permite utilizar el mismo modelo, función de pérdida y hiperparámetros en diversas tareas de NLP, incluyendo traducción, resumen de documentos, respuesta a preguntas y tareas de clasificación. Además, se introduce un nuevo conjunto de datos de pre-entrenamiento, el Colossal Clean Crawled Corpus (C4), que es una versión limpia y masiva de Common Crawl. Con este marco y conjunto de datos, se realizó un estudio sistemático de la metodología de aprendizaje transferible. Se encontró que los modelos codificador-decodificador generalmente superan a los modelos de 'decodificador solamente' en arquitecturas de modelos. Además, se confirmó que los objetivos de pre-entrenamiento de estilo de rellenar espacios en blanco funcionan mejor y que el factor más importante es el costo computacional. También se mostró que el entrenamiento en datos en el dominio puede ser beneficioso, pero el pre-entrenamiento en conjuntos de datos más pequeños puede llevar a un sobreajuste perjudicial. Además, se descubrió que el aprendizaje multitarea puede ser casi tan competitivo como un enfoque de pre-entrenamiento y luego afinamiento, pero requiere elegir cuidadosamente con qué frecuencia se entrena el modelo en cada tarea. Finalmente, al combinar todos los mejores métodos del estudio sistemático y escalar el enfoque con aceleradores Google Cloud TPU, se logró un modelo con 11 mil millones de parámetros que alcanzó resultados de vanguardia en varios benchmarks de NLP. T5 también es flexible y se ha aplicado con éxito a tareas novedosas como la respuesta a preguntas de libro cerrado y la generación de texto con espacios en blanco de tamaño variable.