Callbacks | 🦜️🔗 LangChain

📄️ Argilla

Argilla 是一个用于 LLM 的开源数据整理平台。

有两种方法可以使用 Comet 追踪您的 LangChains 执行过程：

DeepEval 软件包用于对大型语言模型进行单元测试。

Context 为基于 LLM 技术的产品和功能提供用户分析。

Fiddler 是企业生成式和预测性系统运营的先驱，提供了一个统一平台，使数据科学、MLOps、风险、合规、分析和其他LOB团队能够监视、解释、分析和改进企业规模的ML部署。

Infino 是一个可扩展的遥测存储系统，专为日志、指标和跟踪而设计。Infino可以作为独立的可观测性解决方案，也可以作为您的可观测性堆栈中的存储层。

Label Studio 是一个开源的数据标注平台，为 LangChain 提供了灵活性，可以用于标记数据以对大型语言模型（LLMs）进行微调。它还可以用于准备自定义训练数据，并通过人类反馈收集和评估响应。

LLMonitor 是一个开源的可观测性平台，提供成本和使用情况分析、用户跟踪、追踪和评估工具。

PromptLayer 是一个用于提示工程的平台。它还可以帮助实现LLM的可观察性，可视化请求、版本提示，并跟踪使用情况。

Amazon SageMaker 是一项完全托管的服务，用于快速、轻松地构建、训练和部署机器学习（ML）模型。

Streamlit 是构建和分享数据应用程序的更快方法。

Trubrics 是一个用户分析平台，可以帮助您收集、分析和管理对 AI 模型的用户提示和反馈。

UpTrain [github || website || docs] 是一个开源平台，用于评估和改进LLM应用程序。它提供了20多个预配置检查的评分（涵盖语言、代码、嵌入使用案例），对失败案例进行根本原因分析，并提供解决方案的指导。