Vicuna

Vicuna は LLaMA をベースに、ShareGPT から収集したユーザー共有の会話で微調整されたオープンソースチャットボットです。GPT-4 をジャッジとした予備的な評価により、Vicuna-13B は OpenAI ChatGPT と Google Bard の 90%以上の品質を達成し、LLaMA や Stanford Alpaca などの他のモデルを 90%以上のケースで上回っています。訓練コストは約 300 ドルで、コードと重み、およびオンラインデモが非商用利用のために公開されています。訓練には約 70K のユーザー共有の ChatGPT 会話が使用され、Vicuna は Alpaca と比較してより詳細かつ構造化された回答を生成できるようになりました。しかし、チャットボットの評価は決して簡単なタスクではなく、GPT-4 のような最新の進歩により、自動化された評価フレームワークの可能性が示唆されていますが、まだ厳密なアプローチではありません。チャットボットの評価システムの構築は、さらなる研究が必要な未解決の問題です。