Document transformers | 🦜️🔗 LangChain

📄️ AI21SemanticTextSplitter

这个示例演示了如何在 LangChain 中使用 AI21SemanticTextSplitter。

📄️ Beautiful Soup

Beautiful Soup 是一个用于解析 HTML 和 XML 文档的 Python 包（包括具有格式不正确的标记的文档，即非闭合标记，因此被命名为标记汤）。它为解析页面创建了一个解析树，可用于从 HTML 中提取数据[3]，这对于网页抓取非常有用。

📄️ 交叉编码器重排序器

本文介绍了如何在检索器中使用自己的交叉编码器实现重排序，该交叉编码器来自Hugging Face交叉编码器模型或实现交叉编码器功能的Hugging Face模型（例如：BAAI/bge-reranker-base）。“SagemakerEndpointCrossEncoder”使您能够在Sagemaker上使用这些加载的HuggingFace模型。

📄️ Doctran: 提取属性

我们可以使用 Doctran 库提取文档的有用特征，该库利用 OpenAI 的函数调用功能来提取特定的元数据。

📄️ Doctran：审问文档

在向量存储知识库中使用的文档通常以叙述或对话形式存储。然而，大多数用户查询以问题形式提出。如果我们在将文档向量化之前将文档转换为问答格式，我们可以增加检索相关文档的可能性，减少检索无关文档的可能性。

📄️ Doctran: 语言翻译

通过嵌入式比较文档的好处在于可以跨多种语言进行工作。"Harrison says hello" 和 "Harrison dice hola" 将在向量空间中占据相似的位置，因为它们在语义上具有相同的含义。

📄️ 谷歌云 Vertex AI 重新排序器

Vertex Search Ranking API是Vertex AI Agent Builder中独立的 API 之一。它接收一个文档列表，并根据文档与查询的相关性重新排列这些文档。与仅查看文档和查询的语义相似性的嵌入相比，排名 API 可以为文档对给定查询的回答程度提供精确分数。在检索到初始候选文档后，排名 API 可用于提高搜索结果的质量。