Agents-Flex 是一个专为大型语言模型(LLM)应用设计的 Java 框架,以其轻量级、简单和优雅的特点受到开发者的青睐。该框架支持多种网络协议,包括 HTTP、SSE 和 WS,使得开发者能够轻松连接到各种 LLM,如 OpenAI 和 LLama 等。此外,Agents-Flex 提供了丰富的开发模板和提示框架,如 FEW-SHOT、CRISPE、BROKE 和 ICIO,开发者还可以自定义独特的提示模板。
在功能调用方面,Agents-Flex 提供了非常灵活的组件,支持本地方法定义、解析、通过 LLM 进行回调以及执行本地方法以获取结果。对于文档处理,Agents-Flex 提供了 Loader、Parser 和 Splitter 组件,每个组件都有多种实现,便于从网页、本地文件、数据库和各种数据类型中加载数据。
Agents-Flex 的内存模块分为 MessageMemory 和 ContextMemory,用于记录聊天消息和链执行上下文。开发者可以通过继承扩展内存模块,实现更丰富的功能。此外,Agents-Flex 还包括广泛的嵌入能力和扩展,开发者可以实现 Embedding 接口来扩展私有的嵌入算法和支持。
在向量存储方面,Agents-Flex 支持多种向量数据库,开发者也可以实现 VectorStore 接口来扩展私有的 VectorStore 服务。Agents-Flex 定义了代理的抽象实现,开发者可以使用代理链创建更具交互性的应用。Agents-Flex 的链包括顺序链、异步链和循环链,帮助开发者处理各种场景。