Google Vertex AI 搜索

Google Vertex AI Search（以前在Generative AI App Builder上称为Enterprise Search）是Google Cloud提供的Vertex AI机器学习平台的一部分。

Vertex AI Search 让组织能够快速为客户和员工构建由生成式AI驱动的搜索引擎。它由多种Google Search技术支撑，包括语义搜索，通过使用自然语言处理和机器学习技术来推断内容中的关系以及用户查询输入的意图，从而提供比传统基于关键字的搜索技术更相关的结果。Vertex AI Search 还受益于谷歌在理解用户搜索方式方面的专业知识，并考虑内容相关性来排序显示的结果。

Vertex AI Search 可在 Google Cloud Console 中以及通过 API 用于企业工作流集成。

本笔记本演示了如何配置Vertex AI Search并使用Vertex AI Search retriever。Vertex AI Search retriever封装了Python客户端库，并使用它来访问Search Service API。

有关所有VertexAISearchRetriever功能和配置的详细文档，请访问API参考。

集成详情

检索器	自托管	云服务	包
VertexAISearchRetriever	❌	✅	langchain_google_community

设置

安装

你需要安装langchain-google-community和google-cloud-discoveryengine包来使用Vertex AI Search检索器。

%pip install -qU langchain-google-community google-cloud-discoveryengine

配置访问Google Cloud和Vertex AI搜索

Vertex AI Search 自2023年8月起无需白名单即可普遍使用。

在使用检索器之前，您需要完成以下步骤：

创建一个搜索引擎并填充非结构化数据存储

按照Vertex AI Search 入门指南中的说明设置 Google Cloud 项目和 Vertex AI Search。
使用 Google Cloud Console 创建一个非结构化数据存储
- 使用来自 gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs Cloud Storage 文件夹中的示例 PDF 文档填充它。
- 确保使用 Cloud Storage (without metadata) 选项。

设置凭据以访问 Vertex AI Search API

Vertex AI Search 客户端库由 Vertex AI Search 检索器使用，为以编程方式向 Google Cloud 进行身份验证提供了高级语言支持。客户端库支持应用程序默认凭据 (ADC)；这些库在一组定义的位置中查找凭据，并使用这些凭据来验证对 API 的请求。使用 ADC，您可以在各种环境中（例如本地开发或生产环境）向您的应用程序提供凭据，而无需修改应用程序代码。

如果在Google Colab中运行，请使用google.colab.google.auth进行身份验证，否则请按照支持的方法之一确保您的应用程序默认凭据已正确设置。

import sys

if "google.colab" in sys.modules:
    from google.colab import auth as google_auth

    google_auth.authenticate_user()

配置和使用 Vertex AI Search 检索器

Vertex AI Search 检索器在 langchain_google_community.VertexAISearchRetriever 类中实现。get_relevant_documents 方法返回一个 langchain.schema.Document 文档列表，其中每个文档的 page_content 字段填充了文档内容。根据 Vertex AI Search 中使用的数据类型（网站、结构化或非结构化），page_content 字段的填充方式如下：

具有高级索引的网站：一个与查询匹配的extractive answer。metadata字段填充了从中提取片段或答案的文档的元数据（如果有的话）。
非结构化数据源：与查询匹配的extractive segment或extractive answer。metadata字段填充了从中提取段或答案的文档的元数据（如果有的话）。
结构化数据源：一个包含从结构化数据源返回的所有字段的字符串json。metadata字段填充了文档的元数据（如果有的话）

提取式答案 & 提取式片段

提取式答案是与每个搜索结果一起返回的逐字文本。它直接从原始文档中提取。提取式答案通常显示在网页的顶部，以向最终用户提供与其查询上下文相关的简短答案。提取式答案适用于网站和非结构化搜索。

提取片段是每个搜索结果返回的逐字文本。提取片段通常比提取答案更详细。提取片段可以显示为查询的答案，并可用于执行后处理任务，以及作为大型语言模型的输入以生成答案或新文本。提取片段可用于非结构化搜索。

有关提取片段和提取答案的更多信息，请参阅产品文档。

注意：提取片段需要启用企业版功能。

在创建检索器实例时，您可以指定多个参数，这些参数控制访问哪个数据存储以及如何处理自然语言查询，包括提取答案和段落的配置。

必填参数是：

project_id - 您的 Google Cloud 项目 ID。
location_id - 数据存储的位置。
- global (默认)
- us
- eu

其中之一：

search_engine_id - 您想要使用的搜索应用程序的ID。（混合搜索必需）
data_store_id - 您想要使用的数据存储的ID。

project_id、search_engine_id 和 data_store_id 参数可以在检索器的构造函数中显式提供，也可以通过环境变量 PROJECT_ID、SEARCH_ENGINE_ID 和 DATA_STORE_ID 提供。

您还可以配置一些可选参数，包括：

max_documents - 用于提供提取片段或提取答案的最大文档数量
get_extractive_answers - 默认情况下，检索器配置为返回抽取式片段。
- 将此字段设置为True以返回抽取式答案。这仅在engine_data_type设置为0（非结构化）时使用。
max_extractive_answer_count - 每个搜索结果中返回的最大提取答案数量。
- 最多返回5个答案。仅在engine_data_type设置为0（非结构化）时使用。
max_extractive_segment_count - 每个搜索结果中返回的最大提取段数。
- 目前将返回一个段。这仅在engine_data_type设置为0（非结构化）时使用。
filter - 根据与数据存储中文档关联的元数据筛选搜索结果的表达式。
query_expansion_condition - 用于确定在何种条件下应进行查询扩展的规范。
- 0 - 未指定的查询扩展条件。在这种情况下，服务器行为默认为禁用。
- 1 - 禁用查询扩展。即使SearchResponse.total_size为零，也只使用确切的搜索查询。
- 2 - 由Search API构建的自动查询扩展。
engine_data_type - 定义 Vertex AI 搜索数据类型
- 0 - 非结构化数据
- 1 - 结构化数据
- 2 - 网站数据
- 3 - 混合搜索

`GoogleCloudEnterpriseSearchRetriever` 迁移指南

在之前的版本中，这个检索器被称为 GoogleCloudEnterpriseSearchRetriever。

要更新到新的检索器，请进行以下更改：

将导入从：from langchain.retrievers import GoogleCloudEnterpriseSearchRetriever 改为 from langchain_google_community import VertexAISearchRetriever。
将所有类引用从GoogleCloudEnterpriseSearchRetriever更改为VertexAISearchRetriever。

注意：使用检索器时，如果您希望从单个查询中获取自动跟踪，您也可以通过取消注释以下内容来设置您的LangSmith API密钥：

# os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
# os.environ["LANGSMITH_TRACING"] = "true"

实例化

配置和使用提取段落的非结构化数据检索器

from langchain_google_community import (
    VertexAIMultiTurnSearchRetriever,
    VertexAISearchRetriever,
)

PROJECT_ID = "<YOUR PROJECT ID>"  # Set to your Project ID
LOCATION_ID = "<YOUR LOCATION>"  # Set to your data store location
SEARCH_ENGINE_ID = "<YOUR SEARCH APP ID>"  # Set to your search app ID
DATA_STORE_ID = "<YOUR DATA STORE ID>"  # Set to your data store ID

API Reference:VertexAIMultiTurnSearchRetriever | VertexAISearchRetriever

retriever = VertexAISearchRetriever(
    project_id=PROJECT_ID,
    location_id=LOCATION_ID,
    data_store_id=DATA_STORE_ID,
    max_documents=3,
)

query = "What are Alphabet's Other Bets?"

result = retriever.invoke(query)
for doc in result:
    print(doc)

配置和使用检索器以处理非结构化数据并提供提取式答案

retriever = VertexAISearchRetriever(
    project_id=PROJECT_ID,
    location_id=LOCATION_ID,
    data_store_id=DATA_STORE_ID,
    max_documents=3,
    max_extractive_answer_count=3,
    get_extractive_answers=True,
)

result = retriever.invoke(query)
for doc in result:
    print(doc)

配置和使用结构化数据的检索器

retriever = VertexAISearchRetriever(
    project_id=PROJECT_ID,
    location_id=LOCATION_ID,
    data_store_id=DATA_STORE_ID,
    max_documents=3,
    engine_data_type=1,
)

result = retriever.invoke(query)
for doc in result:
    print(doc)

配置和使用网站数据的检索器与高级网站索引

retriever = VertexAISearchRetriever(
    project_id=PROJECT_ID,
    location_id=LOCATION_ID,
    data_store_id=DATA_STORE_ID,
    max_documents=3,
    max_extractive_answer_count=3,
    get_extractive_answers=True,
    engine_data_type=2,
)

result = retriever.invoke(query)
for doc in result:
    print(doc)

配置和使用混合数据的检索器

retriever = VertexAISearchRetriever(
    project_id=PROJECT_ID,
    location_id=LOCATION_ID,
    search_engine_id=SEARCH_ENGINE_ID,
    max_documents=3,
    engine_data_type=3,
)

result = retriever.invoke(query)
for doc in result:
    print(doc)

配置和使用检索器进行多轮搜索

Search with follow-ups 基于生成式AI模型，与常规的非结构化数据搜索不同。

retriever = VertexAIMultiTurnSearchRetriever(
    project_id=PROJECT_ID, location_id=LOCATION_ID, data_store_id=DATA_STORE_ID
)

result = retriever.invoke(query)
for doc in result:
    print(doc)

用法

根据上述示例，我们使用.invoke来发出单个查询。由于检索器是Runnables，我们也可以使用Runnable接口中的任何方法，例如.batch。

在链中使用

我们还可以将检索器整合到链中，以构建更大的应用程序，例如一个简单的RAG应用程序。为了演示目的，我们还实例化了一个VertexAI聊天模型。有关设置说明，请参阅相应的Vertex集成文档。

%pip install -qU langchain-google-vertexai

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_google_vertexai import ChatVertexAI

prompt = ChatPromptTemplate.from_template(
    """Answer the question based only on the context provided.

Context: {context}

Question: {question}"""
)

llm = ChatVertexAI(model_name="chat-bison", temperature=0)


def format_docs(docs):
    return "\n\n".join(doc.page_content for doc in docs)


chain = (
    {"context": retriever | format_docs, "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)

API Reference:StrOutputParser | ChatPromptTemplate | RunnablePassthrough

chain.invoke(query)

API参考

有关所有VertexAISearchRetriever功能和配置的详细文档，请访问API参考。

检索器概念指南
检索器操作指南

集成详情​

设置​

安装​

配置访问Google Cloud和Vertex AI搜索​

创建一个搜索引擎并填充非结构化数据存储​

设置凭据以访问 Vertex AI Search API​

配置和使用 Vertex AI Search 检索器​

提取式答案 & 提取式片段​

必填参数是：​

GoogleCloudEnterpriseSearchRetriever 迁移指南​

实例化​

配置和使用提取段落的非结构化数据检索器​

配置和使用检索器以处理非结构化数据并提供提取式答案​

配置和使用结构化数据的检索器​

配置和使用网站数据的检索器与高级网站索引​

配置和使用混合数据的检索器​

配置和使用检索器进行多轮搜索​

用法​

在链中使用​

API参考​

相关​

这个页面有帮助吗？