promptfoo 是一个专为开发者设计的开源工具，旨在测试和保障大型语言模型（LLM）应用的安全性和可靠性。它被超过30,000名开发者使用，提供了一系列功能来确保LLM应用在生产环境中的稳定运行。
该工具支持自动化的红队测试，能够运行自定义扫描，检测安全、法律和品牌风险。通过动态适应的探针，promptfoo 能够揭示常见的失败案例，如个人身份信息（PII）泄露、不安全的工具使用、跨会话数据泄露、直接和间接的提示注入、越狱、有害内容以及专业医疗和法律建议等。
promptfoo 提供了全面的安全覆盖，包括为您的应用程序定制的探针，这些探针能够识别您真正关心的失败，而不仅仅是通用的越狱和提示注入。此外，它还为开发者提供了快速移动的能力，通过命令行界面、实时重载和缓存，无需SDK、云依赖或登录。
作为一个经过实战检验的100%开源项目，promptfoo 被服务于数百万用户的团队使用，并得到了活跃的开源社区的支持。它提供了易于理解的抽象，用于复杂的LLM测试，包括质量评估、部署前的安全扫描和简单的声明式配置。
通过promptfoo，开发者可以检测并修复关键失败，使他们的LLM应用更加可靠和安全。无论是预算旅行代理还是其他任何用例，promptfoo 都能生成针对系统用例目的的测试案例，确保您的应用在各种情况下都能稳定运行。
