Agents

Agents-Flex is een sicke Java-framework voor LLM-toepassingen. Het is lichtgewicht, easy te gebruiken en strak vormgegeven. Het biedt een hoop features die developers ondersteunen. Zo heeft het verschillende netwerkprotocollen om verbinding te maken met LLMs, zoals HTTP, SSE en WS, waardoor het een piece of cake is om verbinding te maken met verschillende modellen, zoals OpenAI, LLama en anderen. Daarnaast heeft het een dikke set aan ontwikkelingstemplates en Prompt Frameworks, zoals FEW-SHOT, CRISPE, BROKE en ICIO. Devs kunnen ook hun eigen unieke prompttemplates maken. Het heeft een superflexibele Function Calling-component, die lokale methode-definities, parsing, callbacks via LLMs en het uitvoeren van lokale methoden om resultaten te krijgen ondersteunt. Voor documenten heeft het Loader, Parser en Splitter-componenten, elk met meerdere implementaties, waardoor het een eitje is om data uit verschillende bronnen te laden. Het Memory-module is verdeeld in MessageMemory en ContextMemory voor het registreren van chatberichten en Chain-uitvoeringscontexten. Daarnaast heeft het uitgebreide embedding-mogelijkheden en ondersteunt het meerdere vector-databases. Het definieert ook een abstracte implementatie van Agents, waarmee developers meer interactieve apps kunnen maken. De Chain van Agents-Flex bestaat uit sequentiële Chains, asynchrone Chains en loop Chains om verschillende situaties aan te kunnen. Het wordt vrijgegeven onder de Apache License.