ClearML 的 GenAI App Engine 是一款专为企业级大型语言模型(LLM)设计的强大工具。它旨在简化 GenAI 开发和部署流程,使产品经理和利益相关者能够根据自身需求定制 LLM,同时无缝解决工程和 IT 方面的规模、成本和安全挑战。
该引擎能够充分发挥最先进的 LLM 的潜力,使其能够根据企业内部业务数据进行定制,并在企业基础设施上进行安全部署,具有无限的灵活性。用户可以更高效、更可行、更自然地探索、生成、分析、搜索、关联和依据预测性业务信息(包括内部和外部数据、基准和市场关键绩效指标)采取行动。
ClearML 的自动化平台涵盖了从数据摄取到大规模部署的全过程,适用于定制企业级 LLM,不受任何模型类型的限制,并通过功能简化了 RAG 开发。它有助于推动创新、提高生产力、实现大规模的效率提升,并更快地开发新的内部和外部产品,从而在竞争中脱颖而出并创造新的 AI 收入流。
该引擎的独特之处在于,它使用户能够在其计算基础上部署和使用应用程序和流程。用户可以为最终用户定制向导/基于网络的用户界面来构建和启动应用程序,确保构建交互式界面的简便性,以便用户提供反馈,并生成可使用的输出,例如图形和其他工件。
在 LLM 开发方面,用户可以保留对 LLM 及其部署的完全所有权和控制权。AI 团队可以使用该引擎构建具有检索增强生成(RAG)的定制 LLM,并通过创建内部数据的向量数据库来简化 RAG 系统的构建过程。团队还可以管理和监控 API 端点,并通过基于角色的访问控制(RBAC)控制访问。
此外,ClearML 的自动化数据摄取工具可以轻松连接到客户的数据源,并提取数据(如内部文档和 Slack 消息)用于微调 LLM。该引擎还基于人类在环反馈和新鲜数据,不断提升其基础模型的性能,为用户提供了独特的优势。同时,它通过 RBAC 提供了一个安全的环境,限制了对敏感内部数据的访问,防止数据泄露,确保了企业的知识产权得到保护和保留。