Aim回调¶

Aim是一个易于使用且功能强大的开源AI元数据跟踪器，它记录所有的AI元数据（实验、提示等），并提供UI来比较和观察它们，还提供SDK来以编程方式查询它们。更多信息请参阅Github页面。

在这个演示中，我们展示了Aim在LlamaIndex中运行查询时记录事件的能力。我们使用AimCallback来存储输出，并展示如何使用Aim文本浏览器来探索它们。

注意：这是一个测试功能。不同类中的使用方式以及CallbackManager和AimCallback的API接口可能会发生变化！

设置¶

如果您在Colab上打开此笔记本，您可能需要安装LlamaIndex 🦙。

In [ ]:

%pip install llama-index-callbacks-aim

%pip install llama-index-callbacks-aim

In [ ]:

!pip install llama-index

!pip install llama-index

In [ ]:

from llama_index.core.callbacks import CallbackManager
from llama_index.callbacks.aim import AimCallback
from llama_index.core import SummaryIndex
from llama_index.core import SimpleDirectoryReader

from llama_index.core.callbacks import CallbackManager from llama_index.callbacks.aim import AimCallback from llama_index.core import SummaryIndex from llama_index.core import SimpleDirectoryReader

让我们使用SimpleDirectoryReader从'examples/data/paul_graham'中读取文档。

下载数据¶

In [ ]:

!mkdir -p 'data/paul_graham/'
!wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'

!mkdir -p 'data/paul_graham/' !wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'

In [ ]:

docs = SimpleDirectoryReader("./data/paul_graham").load_data()

docs = SimpleDirectoryReader("./data/paul_graham").load_data()

现在让我们初始化一个AimCallback实例，并将其添加到回调管理器的列表中。

In [ ]:

aim_callback = AimCallback(repo="./")
callback_manager = CallbackManager([aim_callback])

aim_callback = AimCallback(repo="./") callback_manager = CallbackManager([aim_callback])

在这个片段中，我们初始化了一个回调管理器。 接下来，我们通过传入文档阅读器和回调函数来创建SummaryIndex类的一个实例。然后我们创建一个查询引擎，用于在索引上运行查询并检索相关结果。

In [ ]:

index = SummaryIndex.from_documents(docs, callback_manager=callback_manager)
query_engine = index.as_query_engine()

index = SummaryIndex.from_documents(docs, callback_manager=callback_manager) query_engine = index.as_query_engine()

最后让我们根据我们提供的文档向语言模型提出一个问题。

In [ ]:

response = query_engine.query("What did the author do growing up?")

response = query_engine.query("What did the author do growing up?")

回调管理器将以Aim.Text形式记录CBEventType.LLM类型的事件，我们可以在Text Explorer中探索给定提示和输出中的LM。首先执行aim up，然后通过给定的URL导航。