Vicuna

Vicuna é um chatbot de código aberto que vem ganhando destaque. Ele é treinado por meio do ajuste fino do modelo LLaMA em conversas compartilhadas pelos usuários coletadas do ShareGPT. Uma avaliação preliminar usando o GPT-4 como juiz mostra que o Vicuna-13B atinge mais de 90% da qualidade do OpenAI ChatGPT e do Google Bard, superando outros modelos como o LLaMA e o Stanford Alpaca em mais de 90% dos casos. O custo de treinamento do Vicuna-13B é de cerca de US$ 300. O código e os pesos, juntamente com um demo online, estão disponíveis publicamente para uso não comercial. Após o ajuste fino com 70K conversas do ChatGPT compartilhadas pelos usuários, o Vicuna se torna capaz de gerar respostas mais detalhadas e bem estruturadas em comparação com o Alpaca. No entanto, avaliar chatbots não é uma tarefa simples. Com os avanços recentes do GPT-4, há curiosidade sobre se suas capacidades atingiram um nível semelhante ao humano, o que poderia permitir um framework de avaliação automatizada para geração de benchmarks e avaliações de desempenho. A descoberta inicial indica que o GPT-4 pode produzir classificações altamente consistentes e avaliações detalhadas quando se compara as respostas dos chatbots. Embora este framework proposto mostre um potencial para automatizar a avaliação de chatbots, ainda não é uma abordagem rigorosa. Construir um sistema de avaliação para chatbots continua sendo uma questão aberta que requer mais pesquisas.