Vicuna

Vicuna-13B ist ein Open-Source-Chatbot, der durch Feintuning von LLaMA anhand von Nutzer:innen-geteilten Gesprächen aus ShareGPT trainiert wurde. Eine vorläufige Bewertung mit GPT-4 als Richter zeigt, dass Vicuna-13B eine Qualität von mehr als 90%* der von OpenAI ChatGPT und Google Bard erreicht und in mehr als 90%* der Fälle andere Modelle wie LLaMA und Stanford Alpaca übertrifft. Die Trainingskosten von Vicuna-13B liegen bei etwa 300 Dollar. Der Code und die Gewichte sowie ein Online-Demo sind für nicht-kommerzielle Zwecke öffentlich verfügbar. Nachdem Vicuna mit 70.000 Nutzer:innen-geteilten ChatGPT-Gesprächen feinabgestimmt wurde, kann es detailliertere und besser strukturierte Antworten generieren als Alpaca, wobei die Qualität mit ChatGPT vergleichbar ist. Allerdings ist die Bewertung von Chatbots keine einfache Aufgabe. Mit den jüngsten Fortschritten bei GPT-4 fragen wir uns, ob seine Fähigkeiten ein menschähnliches Niveau erreicht haben, das ein automatisiertes Bewertungsframework für Benchmark-Erzeugung und Leistungsbewertungen ermöglichen könnte. Unsere ersten Ergebnisse zeigen, dass GPT-4 hoch konsistente Ränge und detaillierte Bewertungen erzeugen kann, wenn es die Antworten von Chatbots vergleicht. Allerdings ist dies noch kein strenger Ansatz. Die Erstellung eines Bewertungssystems für Chatbots bleibt eine offene Frage, die weiterer Forschung bedarf. Um die Datenqualität zu gewährleisten, werden die HTML-Inhalte in Markdown umgewandelt und einige unangemessene oder minderwertige Samples herausgefiltert. Außerdem werden lange Gespräche in kleinere Segmente aufgeteilt, die in die maximale Kontextlänge des Modells passen. Das Training basiert auf Stanfords Alpaca und wurde mit mehreren Verbesserungen versehen, wie z. B. die Berücksichtigung von mehrseitigen Gesprächen und die Optimierung für den Umgang mit langen Kontexten. Für die Demo wurde ein leichtgewichtiges verteiltes Serving-System implementiert.