Vicuna

Vicuna est un chatbot open-source qui a suscité l'intérêt. Il est formé en affinant un modèle LLaMA sur des conversations d'utilisateurs partagées provenant de ShareGPT. Une évaluation préliminaire utilisant GPT-4 en tant que juge indique que Vicuna-13B atteint plus de 90% de la qualité d'OpenAI ChatGPT et de Google Bard, surpassant d'autres modèles tels que LLaMA et Stanford Alpaca dans plus de 90% des cas. Le coût de l'entraînement de Vicuna-13B est d'environ 300 $. Le code, les poids et un démo en ligne sont disponibles pour un usage non commercial. Après l'affinage de Vicuna avec 70 000 conversations d'utilisateurs de ChatGPT, il devient capable de générer des réponses plus détaillées et structurées par rapport à Alpaca. Cependant, l'évaluation des chatbots n'est pas une tâche simple. L'évaluation basée sur GPT-4 montre que Vicuna atteint 90% de la capacité de Bard/ChatGPT. Pour l'entraînement, environ 70 000 conversations ont été utilisées, et des améliorations ont été apportées au script d'entraînement. Pour le servir, un système distribué léger a été mis en place. L'évaluation d'un chatbot est un défi, et un cadre d'évaluation basé sur GPT-4 est proposé, mais il n'est pas encore rigoureux. Vicuna présente certaines limites, mais peut servir de point de départ pour la recherche future.