Vicuna

Vicuna is een open-source chatbot die een grote impact heeft gemaakt in de wereld van kunstmatige intelligentie. Het is getraind door LLaMA te finetunen op gebruikersgedeelde gesprekken van ShareGPT en laat een competitieve prestatie zien. Het bereikt een kwaliteit van meer dan 90% van OpenAI ChatGPT en Google Bard en presteert beter dan andere modellen zoals LLaMA en Stanford Alpaca in veel gevallen. De training van Vicuna omvat verschillende stappen. Er worden ongeveer 70K gesprekken verzameld van ShareGPT.com en de trainingsscripts worden verbeterd om meerdere gespreksronden en lange sequenties aan te kunnen. De training wordt uitgevoerd met PyTorch FSDP op 8 A100 GPU's in één dag. Om de gegevenskwaliteit te waarborgen, wordt de HTML omgezet naar markdown en worden ongeschikte of lage-kwaliteitssamples gefilterd. Daarnaast worden lange gesprekken in kleinere segmenten verdeeld om in de maximale contextlengte van het model te passen. Het serveersysteem van Vicuna is in staat om meerdere modellen met gedistribueerde werkers te bedienen. Het ondersteunt flexibele inplugging van GPU-werkers vanuit zowel on-premise clusters als de cloud, waardoor de serveerkosten worden verlaagd. Het evalueren van chatbots is een uitdagende taak en Vicuna stelt een evaluatiekader gebaseerd op GPT-4 voor om de prestatiebeoordeling te automatiseren. Er worden acht vraagcategorieën bedacht om verschillende aspecten van de prestatie van een chatbot te testen. GPT-4 kan diverse, uitdagende vragen genereren en de kwaliteit van de antwoorden van de chatbots beoordelen. Ondanks zijn vooruitgang heeft Vicuna bepaalde beperkingen, zoals niet goed zijn in taken die redenering of wiskunde vereisen. Maar het dient als een open startpunt voor toekomstig onderzoek om deze beperkingen aan te pakken.