Pathway

Pathway 是一个开源的数据处理框架。它允许您轻松开发数据转换管道和机器学习应用程序，这些应用程序可以与实时数据源和变化的数据一起工作。

本笔记本演示了如何使用实时的Pathway数据索引管道与Langchain。您可以像查询常规向量存储一样从您的链中查询此管道的结果。然而，在底层，Pathway会在每次数据变化时更新索引，从而为您提供始终最新的答案。

在本笔记本中，我们将使用一个公共演示文档处理管道，该管道：

1. 监控多个云数据源以检测数据变化。
2. 为数据构建向量索引。

要拥有自己的文档处理管道，请查看托管服务或构建自己的。

我们将使用VectorStore客户端连接到索引，该客户端实现了similarity_search函数以检索匹配的文档。

本文档中使用的基本管道允许轻松构建存储在云位置的文件的简单向量索引。然而，Pathway 提供了构建实时数据管道和应用程序所需的一切，包括类似 SQL 的操作，如分组归约和不同数据源之间的连接、基于时间的数据分组和窗口化，以及广泛的连接器。

你需要安装 langchain-community 使用 pip install -qU langchain-community 来使用这个集成

查询数据管道​

要实例化和配置客户端，您需要提供文档索引管道的url或host和port。在下面的代码中，我们使用了一个公开可用的演示管道，您可以通过https://demo-document-indexing.pathway.stream访问其REST API。此演示从Google Drive和Sharepoint摄取文档，并维护一个用于检索文档的索引。

from langchain_community.vectorstores import PathwayVectorClient

client = PathwayVectorClient(url="https://demo-document-indexing.pathway.stream")

我们可以开始进行查询

query = "What is Pathway?"
docs = client.similarity_search(query)

print(docs[0].page_content)

轮到你了！ 获取你的管道 或上传 新文档 到演示管道并重试查询！

基于文件元数据的过滤​

我们支持使用jmespath表达式进行文档过滤，例如：

# take into account only sources modified later than unix timestamp
docs = client.similarity_search(query, metadata_filter="modified_at >= `1702672093`")

# take into account only sources modified later than unix timestamp
docs = client.similarity_search(query, metadata_filter="owner == `james`")

# take into account only sources with path containing 'repo_readme'
docs = client.similarity_search(query, metadata_filter="contains(path, 'repo_readme')")

# and of two conditions
docs = client.similarity_search(
    query, metadata_filter="owner == `james` && modified_at >= `1702672093`"
)

# or of two conditions
docs = client.similarity_search(
    query, metadata_filter="owner == `james` || modified_at >= `1702672093`"
)

获取索引文件的信息​

PathwayVectorClient.get_vectorstore_statistics() 提供了关于向量存储状态的重要统计信息，例如索引文件的数量和最后更新的时间戳。您可以在您的链中使用它来告诉用户您的知识库有多新。

client.get_vectorstore_statistics()

你自己的管道​

在生产环境中运行​

要拥有自己的Pathway数据索引管道，请查看Pathway的托管管道服务。您也可以运行自己的Pathway管道 - 有关如何构建管道的信息，请参阅Pathway指南。

处理文档​

向量化管道支持可插拔的组件用于解析、分割和嵌入文档。对于嵌入和分割，您可以使用Langchain组件或查看Pathway中可用的嵌入器和分割器。如果未提供解析器，则默认为UTF-8解析器。您可以在此处找到可用的解析器这里。

相关​

• 向量存储 概念指南
• 向量存储 操作指南