Vicuna: Открытый чат-бот, впечатляющий GPT-4 с качеством 90%* ChatGPT
Введение
Vicuna-13B — это открытый чат-бот, который был обучен с использованием LLaMA и дообучен на пользовательских беседах, собранных с ShareGPT. Предварительная оценка с использованием GPT-4 в качестве судьи показывает, что Vicuna-13B достигает более 90% качества OpenAI ChatGPT и Google Bard, превосходя другие модели, такие как LLaMA и Stanford Alpaca, в более чем 90% случаев. Стоимость обучения Vicuna-13B составляет около $300. Код и веса, а также онлайн-демо доступны для некоммерческого использования.
Как работает Vicuna?
Vicuna был создан путем дообучения базовой модели LLaMA с использованием примерно 70K пользовательских бесед, собранных с ShareGPT.com. Для обеспечения качества данных мы преобразуем HTML обратно в markdown и фильтруем неуместные или низкокачественные образцы. Мы также делим длинные беседы на более мелкие сегменты, которые соответствуют максимальной длине контекста модели.
Обучение
Обучение проводилось с использованием PyTorch FSDP на 8 A100 GPU за один день. Мы улучшили скрипты обучения, предоставленные Alpaca, чтобы лучше обрабатывать многоповоротные беседы и длинные последовательности. Мы увеличили максимальную длину контекста с 512 до 2048, что значительно увеличивает требования к памяти GPU. Для снижения затрат на обучение мы используем управляемые спотовые экземпляры SkyPilot.
Оценка Vicuna
Оценка AI-чат-ботов — это сложная задача, так как она требует анализа понимания языка, логики и осведомленности о контексте. Мы предлагаем оценочную структуру на основе GPT-4 для автоматизации оценки производительности чат-ботов. Мы разработали восемь категорий вопросов, таких как задачи Ферми, ролевые сценарии и задачи по программированию/математике, чтобы протестировать различные аспекты производительности чат-бота.
Результаты
Предварительные оценки показывают, что Vicuna достигает 90% возможностей Bard/ChatGPT. GPT-4 предпочитает Vicuna по сравнению с другими моделями с открытым исходным кодом (LLaMA, Alpaca) в более чем 90% вопросов, и он демонстрирует конкурентоспособную производительность по сравнению с проприетарными моделями (ChatGPT, Bard).
Ограничения
Как и другие большие языковые модели, Vicuna имеет определенные ограничения. Например, он не очень хорош в задачах, связанных с логикой или математикой, и может иметь трудности с точной идентификацией себя или обеспечением фактической точности своих выводов.
Заключение
Vicuna представляет собой открытое начало для будущих исследований, направленных на решение этих ограничений. Мы приглашаем вас попробовать онлайн-демо Vicuna-13B и ознакомиться с его возможностями! Для получения последней информации следите за нами в Twitter и присоединяйтесь к нашему Discord-серверу.
Призыв к действию
Попробуйте Vicuna-13B и узнайте, как он может улучшить ваши взаимодействия с AI! Посетите для получения дополнительной информации.
