LaMDA

LaMDA, nasz najnowszy przełom w dziedzinie technologii konwersacyjnej, opiera się na architekturze Transformer. Jego zdolności konwersacyjne kształtowały się przez lata. Podczas szkolenia LaMDA nauczyło się kilku subtelności, które odróżniają otwartą rozmowę od innych form językowych. Jedną z nich jest trafność odpowiedzi. Czy odpowiedź w danym kontekście rozmowy ma sens? Na przykład, gdy ktoś mówi: „Właśnie zacząłem brać lekcje gry na gitarze.” Można oczekiwać, że inna osoba odpowie coś w rodzaju: „Super! Moja mama ma vintage'ową gitarę Martin, którą uwielbia grać.” Takie odpowiedzi mają sens w świetle początkowego stwierdzenia. Jednak trafność to nie jedyna cecha dobrej odpowiedzi. Satysfakcjonujące odpowiedzi powinny być również konkretne, wyraźnie związane z kontekstem rozmowy. LaMDA opiera się na wcześniejszych badaniach Google, które pokazały, że językowe modele oparte na Transformer i szkolone w rozmowach mogą nauczyć się mówić praktycznie o wszystkim. Od tego czasu odkryliśmy również, że po przeszkoleniu LaMDA można je dostosować, aby znacznie poprawić trafność i konkretność jego odpowiedzi. Jednak przy tworzeniu technologii takich jak LaMDA naszym najwyższym priorytetem jest zapewnienie minimalizacji takich zagrożeń, jak na przykład propagowanie niewłaściwego użycia języka czy powielanie błędnych informacji.