Infino

Infino 是一个开源的观测平台，它将指标和应用程序日志存储在一起。

Infino 的主要特点包括：

• 指标跟踪：捕获LLM模型处理请求所花费的时间、错误、令牌数量以及特定LLM的成本指示。
• 数据跟踪: 记录并存储每次LangChain交互的提示、请求和响应数据。
• 图形可视化: 生成随时间变化的基本图形，描绘诸如请求持续时间、错误发生次数、令牌计数和成本等指标。

安装与设置​

首先，您需要按照以下方式安装 infinopy Python 包：

pip install infinopy

如果你已经有一个Infino Server在运行，那么你已经准备好了；但如果没有，请按照以下步骤启动它：

• 确保你已经安装了Docker
• 在终端中运行以下命令：

  docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest
  

使用 Infino​

查看InfinoCallbackHandler的使用示例。

from langchain.callbacks import InfinoCallbackHandler