AgentOps 🖇️
AgentOps 为代理提供会话回放、指标和监控功能。
在高层次上，AgentOps 可以让您监控 LLM 调用、成本、延迟、代理失败、多代理交互、工具使用、会话统计等等。更多信息请查看 AgentOps 仓库。
代理仪表盘
会话分析
会话回放
安装
AgentOps 与使用 Autogen 构建的应用程序无缝配合。
- 安装 AgentOps
pip install agentops
-
创建 API 密钥: 在此处创建用户 API 密钥：创建 API 密钥
-
配置您的环境: 将 API 密钥添加到您的环境变量中
AGENTOPS_API_KEY=<YOUR_AGENTOPS_API_KEY>
- 初始化 AgentOps
在实现 Autogen 之前，只需在代码中添加两行代码即可开始跟踪所有可用的 Autogen 运行数据。
import agentops
agentops.init() # 或：agentops.init(api_key="your-api-key-here")
初始化 AgentOps 后，Autogen 将自动开始跟踪您的代理运行。
功能
- LLM 成本: 跟踪基础模型提供商的花费
- 回放分析: 查看逐步代理执行图
- 递归思考检测: 识别代理是否陷入无限循环
- 自定义报告: 创建有关代理性能的自定义分析
- 分析仪表盘: 监控开发和生产中的代理的高级统计信息
- 公共模型测试: 将您的代理与基准和排行榜进行测试
- 自定义测试: 对您的代理运行特定领域的测试
- 时间旅行调试: 保存会话状态的快照，以便从选择的检查点倒回和回放代理运行。
- 合规性和安全性: 创建审计日志，并检测潜在的威胁，如亵渎和个人身份信息泄露
- 提示注入检测: 识别潜在的代码注入和秘密泄露