Lilac

Lilacはデータ処理において非常に強力なツールです。データの検索、量化、編集を行うことができ、LLMに適したデータを提供します。例えば、20分で100万データポイントのクラスタリングとタイトル付けが可能で、1分間に5億トークンのデータセットの埋め込みも実現できます。また、データの変換も高速に行うことができます。データ取得のリードであるJonathan Talmi氏は、「Lilacはデータ探索と品質管理において非常に強力なツールであり、私たちは毎日Lilacを使用してデータセットを検査および評価し、組織全体で民主化しています。これはデータ品質評価パイプラインの重要な部分です」と述べています。また、チーフニューラルネットワークサイエンティストのJonathan Frankle氏は、「Lilacはデータセット内の概念を理解し、タスクに適したデータを選択するための簡単な道筋を提供します」と言っています。さらに、NousResearch Tekniumの共同創設者は、「LLMデータセットで作業するすべての人が@lilac_aiのデータプラットフォームを確認するべきです...彼らのクラスタリングは、Hermes-2.5が今日カバーする多くのトピックを決定するのに役立ちました」と述べています。LilacはPythonユーザーインターフェースを備えており、pip install lilacでインストールできます。