Vicuna

Vicuna es un chatbot de código abierto que ha llamado la atención por sus impresionantes capacidades. Ha sido entrenado mediante el ajuste fino de un modelo LLaMA en conversaciones compartidas por los usuarios recopiladas de ShareGPT. Una evaluación preliminar utilizando GPT-4 como juez muestra que Vicuna alcanza más del 90% de la calidad de OpenAI ChatGPT y Google Bard, superando a otros modelos como LLaMA y Stanford Alpaca en más del 90% de los casos. El costo de entrenamiento de Vicuna-13B es de alrededor de $300. El código y los pesos, junto con un demo en línea, están disponibles públicamente para uso no comercial. Después de ajustar fino Vicuna con 70K conversaciones de ChatGPT compartidas por los usuarios, se descubrió que puede generar respuestas más detalladas y bien estructuradas en comparación con Alpaca, con una calidad comparable a ChatGPT. Sin embargo, evaluar chatbots no es una tarea sencilla. Con los recientes avances en GPT-4, se plantea si sus capacidades han alcanzado un nivel similar al humano que permita un marco de evaluación automatizado para la generación de puntos de referencia y la evaluación del rendimiento. Aunque el marco propuesto muestra un potencial para automatizar la evaluación de chatbots, aún no es un enfoque riguroso. Construir un sistema de evaluación para chatbots sigue siendo una pregunta abierta que requiere más investigación.