Callbacks | 🦜️🔗 LangChain

📄️ Argilla

Argilla 是一个用于LLMs的开源数据管理平台。

有两种方法可以通过Comet跟踪您的LangChains执行：

用于单元测试LLMs的DeepEval包。

Context 提供用户分析功能，适用于基于LLM的产品和功能。

Fiddler 是企业生成和预测系统操作的先驱，提供了一个统一的平台，使数据科学、MLOps、风险、合规、分析和其他业务线团队能够在企业规模上监控、解释、分析和改进 ML 部署。

Infino 是一个可扩展的遥测存储，专为日志、指标和跟踪设计。Infino 可以作为独立的可观测性解决方案，也可以作为您可观测性堆栈中的存储层。

Label Studio 是一个开源的数据标注平台，为 LangChain 提供了在标注数据以微调大型语言模型（LLMs）时的灵活性。它还支持通过人工反馈准备自定义训练数据以及收集和评估响应。

LLMonitor 是一个开源的观测平台，提供成本和使用分析、用户跟踪、追踪和评估工具。

PromptLayer 是一个用于提示工程的平台。它还帮助实现 LLM 的可观察性，以可视化请求、版本提示和跟踪使用情况。

Amazon SageMaker 是一项完全托管的服务，用于快速轻松地构建、训练和部署机器学习 (ML) 模型。

Streamlit 是一种更快地构建和共享数据应用程序的方式。

Trubrics 是一个 LLM 用户分析平台，允许您收集、分析和管理用户

在本指南中，我们将介绍如何使用UpstashRatelimitHandler基于请求数量或令牌数量添加速率限制。此处理程序使用Upstash的ratelimit库，该库利用Upstash Redis。

UpTrain [github || website || docs] 是一个开源平台，用于评估和改进LLM应用程序。它为20多个预配置的检查（涵盖语言、代码、嵌入用例）提供评分，对失败案例的实例进行根本原因分析，并提供解决这些问题的指导。