Langtrace 概述
Langtrace 是一个开源工具,可帮助您为 LLMs、LLM 框架和 VectorDB 设置可观察性和评估。使用 Langtrace,您可以深入了解 CrewAI 代理的成本、延迟和性能。此外,您还可以记录超参数,并监视任何性能回归,并建立一个持续改进代理的流程。
设置说明
- 通过访问 https://langtrace.ai/signup 注册 Langtrace。
- 创建一个项目并生成 API 密钥。
- 使用以下命令在您的代码中安装 Langtrace。 注意:有关集成 Langtrace 的详细说明,您可以查看此处的官方文档。
# 安装 SDK
pip install langtrace-python-sdk
# 将其导入到您的项目中
from langtrace_python_sdk import langtrace # 必须在任何 llm 模块导入之前
langtrace.init(api_key = '<LANGTRACE_API_KEY>')
特点
- LLM 令牌和成本跟踪
- 跟踪图显示具有延迟和日志的详细执行步骤
- 使用手动注释进行数据集策划
- 提示版本控制和管理
- 具有模型之间比较视图的提示游乐场
- 测试和评估