Document transformers | 🦜️🔗 LangChain

📄️ AI21语义文本分割器

这个示例介绍了如何在LangChain中使用AI21SemanticTextSplitter。

📄️ Beautiful Soup

Beautiful Soup 是一个用于解析的 Python 包

📄️ 交叉编码器重排器

本笔记本展示了如何在检索器中实现重新排序器，使用来自Hugging Face的交叉编码器模型或实现交叉编码器功能的Hugging Face模型（例如：BAAI/bge-reranker-base）。SagemakerEndpointCrossEncoder使您能够使用这些加载在Sagemaker上的HuggingFace模型。

📄️ DashScope 重新排序器

本笔记本展示了如何使用DashScope Reranker进行文档压缩和检索。DashScope是阿里云（Aliyun）的生成式AI服务。

📄️ Doctran: 提取属性

我们可以使用Doctran库提取文档的有用特征，该库利用OpenAI的函数调用功能来提取特定的元数据。

📄️ Doctran: 审问文档

向量存储知识库中使用的文档通常以叙述或对话格式存储。然而，大多数用户查询是以问题格式进行的。如果我们在向量化之前将文档转换为问答格式，我们可以增加检索相关文档的可能性，并减少检索不相关文档的可能性。

📄️ Doctran: 语言翻译

通过嵌入比较文档的好处是可以跨多种语言工作。"Harrison says hello" 和 "Harrison dice hola" 将在向量空间中占据相似的位置，因为它们在语义上具有相同的含义。

📄️ Google Cloud Vertex AI 重新排序器

Vertex Search Ranking API 是 Vertex AI Agent Builder 中的一个独立 API。它接收一个文档列表，并根据文档与查询的相关性对这些文档进行重新排序。与仅关注文档和查询语义相似性的嵌入相比，排名 API 可以为您提供文档回答给定查询的精确分数。排名 API 可用于在检索到一组初始候选文档后提高搜索结果的质量。