TruLens
本页面介绍如何使用TruLens来评估和跟踪基于langchain构建的LLM应用程序。
安装与设置
安装trulens-eval Python包。
pip install trulens-eval
快速开始
请参阅TruLens文档中的集成详细信息。
追踪
一旦你创建了你的LLM链，你可以使用TruLens进行评估和跟踪。 TruLens有许多开箱即用的反馈函数， 并且也是一个可扩展的LLM评估框架。
创建反馈函数：
from trulens_eval.feedback import Feedback, Huggingface,
# Initialize HuggingFace-based feedback function collection class:
hugs = Huggingface()
openai = OpenAI()
# Define a language match feedback function using HuggingFace.
lang_match = Feedback(hugs.language_match).on_input_output()
# By default this will check language match on the main app input and main app
# output.
# Question/answer relevance between overall question and answer.
qa_relevance = Feedback(openai.relevance).on_input_output()
# By default this will evaluate feedback on main app input and main app output.
# Toxicity of input
toxicity = Feedback(openai.toxicity).on_input()
链
在您设置了用于评估您的LLM的反馈函数后，您可以使用TruChain包装您的应用程序，以获得详细的跟踪、日志记录和LLM应用程序的评估。
注意：有关chain创建的代码可以在TruLens文档中找到。
from trulens_eval import TruChain
# wrap your chain with TruChain
truchain = TruChain(
chain,
app_id='Chain1_ChatApplication',
feedbacks=[lang_match, qa_relevance, toxicity]
)
# Note: any `feedbacks` specified here will be evaluated and logged whenever the chain is used.
truchain("que hora es?")
评估
现在你可以探索你的基于LLM的应用程序了！
这样做将帮助您一目了然地了解您的LLM应用程序的表现。当您迭代新版本的LLM应用程序时，您可以比较它们在您设置的所有不同质量指标上的表现。您还可以在记录级别查看评估，并探索每个记录的链元数据。
from trulens_eval import Tru
tru = Tru()
tru.run_dashboard() # open a Streamlit app to explore
有关TruLens的更多信息，请访问 trulens.org