Open Sourcing BERT

Open Sourcing BERT es una técnica de la chingada para el pre-entrenamiento en el Procesamiento del Lenguaje Natural (NLP). Una de las grandes broncas en NLP es la falta de datos de entrenamiento. Pero los modelos de NLP basados en el aprendizaje profundo moderno se benefician de un montón de datos. Para ayudar a cerrar esa brecha, los investigadores han desarrollado técnicas de pre-entrenamiento usando una cantidad enorme de texto no anotado en la web. BERT se basa en el trabajo reciente en representaciones contextuales pre-entrenadas y es el primer modelo de representación de lenguaje no supervisado bidireccional. A diferencia de otros modelos anteriores, BERT usa solo un corpus de texto plano (en este caso, Wikipedia). Esto significa que representa cada palabra usando tanto el contexto anterior como el siguiente, haciendo que sea profundamente bidireccional. Para evitar que la palabra que se está prediciendo se vea a sí misma en un modelo de varias capas, se usa la técnica de tapar algunas palabras en la entrada y luego condicionar cada palabra bidireccionalmente para predecir las palabras tapadas. Además, BERT también aprende a modelar las relaciones entre oraciones a través de un pre-entrenamiento en una tarea sencilla. Todo esto ha permitido a BERT conseguir resultados de la puta madre en 11 tareas de NLP. Con el lanzamiento de BERT, cualquiera puede entrenar su propio sistema de respuesta a preguntas de vanguardia en aproximadamente 30 minutos en un solo Cloud TPU o en unas pocas horas usando una sola GPU. El lanzamiento incluye el código fuente construido sobre TensorFlow y varios modelos de representación de lenguaje pre-entrenados. Aunque los modelos que se están lanzando ahora son solo en inglés, se espera lanzar modelos pre-entrenados en una variedad de idiomas en un futuro cercano.