Qdrant的FastEmbed

FastEmbed 来自 Qdrant 是一个轻量级、快速的 Python 库，专为嵌入生成而构建。

量化模型权重

ONNX Runtime，无需PyTorch依赖

CPU优先设计

用于大型数据集编码的数据并行性。

依赖项

要使用FastEmbed与LangChain，请安装fastembed Python包。

%pip install --upgrade --quiet  fastembed

from langchain_community.embeddings.fastembed import FastEmbedEmbeddings

model_name: str (默认: "BAAI/bge-small-en-v1.5")

要使用的FastEmbedding模型的名称。您可以在此处找到支持的模型列表here。
max_length: int (默认值: 512)

最大令牌数。对于值大于512的情况，行为未知。
cache_dir: Optional[str] (默认值: None)

缓存目录的路径。默认为父目录中的local_cache。
threads: Optional[int] (默认值: None)

单个onnxruntime会话可以使用的线程数。
doc_embed_type: Literal["default", "passage"] (默认: "default")

"default": 使用 FastEmbed 的默认嵌入方法。

"passage": 在嵌入之前为文本添加 "passage" 前缀。
batch_size: int (默认值: 256)

编码的批量大小。较大的值会使用更多内存，但速度更快。
parallel: Optional[int] (默认值: None)

如果 >1，将使用数据并行编码，推荐用于大型数据集的离线编码。如果 0，使用所有可用的核心。如果 None，不使用数据并行处理，而是使用默认的onnxruntime线程。

embeddings = FastEmbedEmbeddings()

document_embeddings = embeddings.embed_documents(
    ["This is a document", "This is some other document"]
)

query_embeddings = embeddings.embed_query("This is a query")