LlamaCppEmbeddings#

class langchain_community.embeddings.llamacpp.LlamaCppEmbeddings[来源]#

基础类：BaseModel, Embeddings

llama.cpp 嵌入模型。

要使用，您应该安装llama-cpp-python库，并将Llama模型的路径作为命名参数提供给构造函数。查看：abetlen/llama-cpp-python

示例

from langchain_community.embeddings import LlamaCppEmbeddings
llama = LlamaCppEmbeddings(model_path="/path/to/model.bin")

通过解析和验证来自关键字参数的输入数据来创建一个新模型。

如果输入数据无法验证以形成有效模型，则引发 [ValidationError][pydantic_core.ValidationError]。

self 被显式地设为仅位置参数，以允许 self 作为字段名称。

param device: str | None = None#: 使用的设备类型并传递给模型

param f16_kv: bool = False#: 对键/值缓存使用半精度。

param logits_all: bool = False#: 返回所有标记的logits，而不仅仅是最后一个标记。

param model_path: str = ''#

param n_batch: int | None = 512#: 并行处理的令牌数量。应该是一个介于1和n_ctx之间的数字。

param n_ctx: int = 512#: 令牌上下文窗口。

param n_gpu_layers: int | None = None#: 要加载到GPU内存中的层数。默认值为None。

param n_parts: int = -1#: 将模型分割成的部分数量。如果为-1，则自动确定部分数量。

param n_threads: int | None = None#: 使用的线程数。如果为None，则自动确定线程数。

param seed: int = -1#: 种子。如果为-1，则使用随机种子。

param use_mlock: bool = False#: 强制系统将模型保留在内存中。

param verbose: bool = True#: 将详细输出打印到标准错误输出。

param vocab_only: bool = False#: 仅加载词汇表，不加载权重。

async aembed_documents(texts: list[str]) → list[list[float]]#

异步嵌入搜索文档。

Parameters:: 文本 (列表[字符串]) – 要嵌入的文本列表。
Returns:: 嵌入列表。
Return type:: 列表[列表[浮点数]]

async aembed_query(text: str) → list[float]#

异步嵌入查询文本。

Parameters:: 文本 (str) – 要嵌入的文本。
Returns:: 嵌入。
Return type:: 列表[浮点数]

embed_documents(texts: List[str]) → List[List[float]][来源]#

使用Llama模型嵌入文档列表。

Parameters:: 文本 (列表[字符串]) – 要嵌入的文本列表。
Returns:: 嵌入列表，每个文本对应一个。
Return type:: 列表[列表[float]]

embed_query(text: str) → List[float][source]#

使用Llama模型嵌入查询。

Parameters:: 文本 (str) – 要嵌入的文本。
Returns:: 文本的嵌入。
Return type:: 列表[float]

使用 LlamaCppEmbeddings 的示例

Llama.cpp