mlflow.sentence_transformers

mlflow.sentence_transformers.get_default_conda_env()[source]

Returns: 用于使用 sentence_transformers 风味生成的 MLflow 模型的默认 Conda 环境。

mlflow.sentence_transformers.get_default_pip_requirements() → list[str][source]

检索 sentence_transformers flavor 的最小依赖项集合。

Returns: 以下是使用 sentence-transformers flavor 生成的 MLflow Models 的默认 pip 依赖项列表。对 save_model() 和 log_model() 的调用会生成一个至少包含这些依赖项的 pip 环境。

mlflow.sentence_transformers.load_model(model_uri: str, dst_path: Optional[str] = None)[source]

注意

已知 ‘sentence_transformers’ MLflow Models 集成与 2.3.1 <= sentence-transformers <= 5.1.0 兼容。MLflow Models 与 sentence_transformers 的集成在使用超出此范围的软件包版本时可能无法成功。

从本地文件或运行中加载一个 sentence_transformers 对象。

Parameters

model_uri –
MLflow 模型的 URI 格式位置。例如：
- /Users/me/path/to/local/model
- relative/path/to/local/model
- s3://my_bucket/path/to/model
- runs:/<mlflow_run_id>/run-relative/path/to/model
- mlflow-artifacts:/path/to/model
有关受支持的 URI 方案的更多信息，请参见 Referencing Artifacts.
dst_path – 用于下载模型工件的本地文件系统路径。该目录如果提供，必须已存在。如果未指定，将创建一个本地输出路径。

Returns

一个 sentence_transformers 模型实例

mlflow.sentence_transformers.log_model(model, artifact_path: str | None = None, task: str | None = None, inference_config: dict[str, typing.Any] | None = None, code_paths: list[str] | None = None, registered_model_name: str | None = None, signature: mlflow.models.signature.ModelSignature | None = None, input_example: Optional[Union[pandas.core.frame.DataFrame, numpy.ndarray, dict, list, csr_matrix, csc_matrix, str, bytes, tuple]] = None, await_registration_for=300, pip_requirements: list[str] | str | None = None, extra_pip_requirements: list[str] | str | None = None, conda_env=None, metadata: dict[str, typing.Any] | None = None, prompts: list[str | Prompt] | None = None, name: str | None = None, params: dict[str, typing.Any] | None = None, tags: dict[str, typing.Any] | None = None, model_type: str | None = None, step: int = 0, model_id: str | None = None)[source]

注意

‘sentence_transformers’ MLflow Models 集成已知与 2.3.1 <= sentence-transformers <= 5.1.0 兼容。使用不在此范围内的包版本时，MLflow Models 与 sentence_transformers 的集成可能无法成功。

注意

从 MLflow 2.12.0 起，支持使用自定义代码记录 Sentence Transformers 模型（即需要 trust_remote_code=True 的模型）。

记录一个 sentence_transformers 模型作为当前运行的 MLflow 工件。

# An example of using log_model for a sentence-transformers model and architecture:

from sentence_transformers import SentenceTransformer
import mlflow

model = SentenceTransformer("all-MiniLM-L6-v2")
data = "MLflow is awesome!"
signature = mlflow.models.infer_signature(
    model_input=data,
    model_output=model.encode(data),
)

with mlflow.start_run():
    mlflow.sentence_transformers.log_model(
        model=model,
        name="sbert_model",
        signature=signature,
        input_example=data,
    )

Parameters

model – 一个经过训练的 sentence-transformers 模型。
artifact_path – 已弃用。请改用 name。
task – MLflow 推理任务类型，适用于 sentence-transformers 模型。候选任务类型为 llm/v1/embeddings。
inference_config – 一个可以在推理期间应用于 sentence-transformer 模型实例的有效覆盖项的字典。这些参数仅用于将模型作为 pyfunc 模型加载或在 Spark 中使用的情况。这些值不会应用于从调用 mlflow.sentence_transformers.load_model() 返回的模型。
code_paths –
本地文件系统中指向 Python 文件依赖（或包含文件依赖的目录）路径的列表。这些文件在模型加载时会被预先添加到系统路径中。如果为某个模型声明了依赖文件且多个文件之间存在导入依赖关系，那么这些文件应从一个共同的根路径声明相对导入，以避免在加载模型时发生导入错误。

有关 code_paths 功能、推荐的使用模式和限制的详细说明，请参阅 code_paths usage guide。
registered_model_name – 如果提供，则在 registered_model_name 下创建一个模型版本，如果不存在具有该名称的注册模型，则同时创建一个注册模型。
signature – 表示 ModelSignature 类的一个实例，用于描述模型的输入和输出。如果未指定但提供了 input_example，则会基于所提供的输入示例和模型自动推断出 signature。如果既未指定 signature 又未指定 input_example，或者自动 signature 推断失败，将采用默认的 signature。要阻止采用 signature，请将 signature 设置为 False。如要手动推断模型 signature，请在具有有效模型输入和有效模型输出的数据集上调用 infer_signature()。
input_example – 一个或多个有效模型输入实例。输入示例用于提示应向模型提供何种数据。它将被转换为一个 Pandas DataFrame，然后使用 Pandas 的 split-oriented 格式序列化为 json，或者转换为一个 numpy array，其中示例将通过将其转换为列表的方式序列化为 json。字节使用 base64 编码。当 signature 参数为 None 时，输入示例用于推断模型签名。
await_registration_for – 等待模型版本完成创建并处于 READY 状态的秒数。默认情况下，函数等待五分钟。指定 0 或 None 可跳过等待。
pip_requirements – 可以是 pip 需求字符串的可迭代对象（例如 ["sentence_transformers", "-r requirements.txt", "-c constraints.txt"]）或本地文件系统上 pip requirements 文件的字符串路径（例如 "requirements.txt"）。如果提供，该字段描述此模型应在其运行的环境。如果 None，默认的需求列表将由 mlflow.models.infer_pip_requirements() 从当前软件环境中推断。如果需求推断失败，则回退使用 get_default_pip_requirements。需求和约束会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。
extra_pip_requirements –
要么是一个 pip 需求字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），要么是本地文件系统上 pip requirements 文件的字符串路径（例如 "requirements.txt"）。如果提供，该参数描述了附加的 pip 依赖，这些依赖会被追加到基于用户当前软件环境自动生成的默认 pip 依赖集合中。requirements 和 constraints 会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖项也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。
警告

以下参数不能同时指定：
- conda_env
- pip_requirements
- extra_pip_requirements
This example 演示了如何使用 pip_requirements 和 extra_pip_requirements 指定 pip 依赖。
conda_env –
可以是 Conda 环境的字典表示，或指向 conda 环境 yaml 文件的路径。如果提供，此项描述了应在其运行该模型的环境。至少，它应指定包含在 get_default_conda_env() 中的依赖项。如果 None，则会向模型添加一个 conda 环境，其 pip 依赖由 mlflow.models.infer_pip_requirements() 推断得到。如果依赖推断失败，则回退使用 get_default_pip_requirements。来自 conda_env 的 pip 依赖将被写入到 pip requirements.txt 文件中，完整的 conda 环境将写入到 conda.yaml。以下是一个示例的 conda 环境的字典表示：
```
{
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "sentence_transformers==x.y.z"
            ],
        },
    ],
}
```
metadata – 传递给模型并存储在 MLmodel 文件中的自定义元数据字典。

prompts –

一个在 MLflow Prompt Registry 注册的 prompt URI 列表，用于与模型关联。 Each prompt URI should be in the form prompt:/<name>/<version>. 在与模型关联之前，这些 prompt 应该先在 MLflow Prompt Registry 中注册。

这将在模型和 prompt 之间创建相互链接。关联的 prompt 可以在存储于 MLmodel 文件中的模型元数据中看到。通过 Prompt Registry UI，你也可以导航到该模型。

import mlflow

prompt_template = "Hi, {name}! How are you doing today?"

# 在 MLflow Prompt Registry 中注册一个 prompt
mlflow.prompts.register_prompt("my_prompt", prompt_template, description="A simple prompt")

# 使用已注册的 prompt 记录模型
with mlflow.start_run():
    model_info = mlflow.pyfunc.log_model(
        name=MyModel(),
        name="model",
        prompts=["prompt:/my_prompt/1"]
    )

print(model_info.prompts)
# 输出：['prompt:/my_prompt/1']

# 加载 prompt
prompt = mlflow.genai.load_prompt(model_info.prompts[0])

name – 模型名称。
params – 一个用于与模型一同记录的参数字典。
tags – 一个要与模型一起记录的标签字典。
model_type – 模型的类型。
step – 在该步记录模型输出和指标
model_id – 模型的 ID。

mlflow.sentence_transformers.save_model(model, path: str, task: str | None = None, inference_config: dict[str, typing.Any] | None = None, code_paths: list[str] | None = None, mlflow_model: mlflow.models.model.Model | None = None, signature: mlflow.models.signature.ModelSignature | None = None, input_example: Optional[Union[pandas.core.frame.DataFrame, numpy.ndarray, dict, list, csr_matrix, csc_matrix, str, bytes, tuple]] = None, pip_requirements: list[str] | str | None = None, extra_pip_requirements: list[str] | str | None = None, conda_env=None, metadata: dict[str, typing.Any] | None = None) → None[source]

注意

已知 ‘sentence_transformers’ 的 MLflow Models 集成与 2.3.1 <= sentence-transformers <= 5.1.0 兼容。使用超出此范围的包版本时，基于 sentence_transformers 的 MLflow Models 集成可能无法成功。

注意

从 MLflow 2.12.0 及更高版本起，支持使用自定义代码保存 Sentence Transformers 模型（即需要 trust_remote_code=True 的模型）。

将训练好的 sentence-transformers 模型保存到本地文件系统的某个路径上。

Parameters

model – 一个训练好的 sentence-transformers 模型。
path – 序列化模型要保存到的本地目标路径。
task – MLflow 推理任务类型，用于 sentence-transformers 模型。候选任务类型是 llm/v1/embeddings。
inference_config – 一个包含有效推理参数的字典，这些参数可在推理期间应用到 sentence-transformer 模型实例上。这些参数仅在将模型作为 pyfunc 模型加载或在 Spark 中使用时使用。这些值不会应用于通过调用 mlflow.sentence_transformers.load_model() 返回的模型。
code_paths –
本地文件系统中指向 Python 文件依赖（或包含文件依赖的目录）路径的列表。这些文件在模型加载时会被预先添加到系统路径中。如果为某个模型声明了依赖文件且多个文件之间存在导入依赖关系，那么这些文件应从一个共同的根路径声明相对导入，以避免在加载模型时发生导入错误。

有关 code_paths 功能、推荐的使用模式和限制的详细说明，请参阅 code_paths usage guide。
mlflow_model – 一个 MLflow 模型对象，用于指定要将此模型添加到的 flavor。
signature – 一个 ModelSignature 类的实例，描述模型的输入和输出。如果未指定但提供了 input_example，则会根据提供的输入示例和模型自动推断签名。如果既未指定 signature 又未指定 input_example，或自动签名推断失败，将采用默认签名。要防止采用签名，请将 signature 设置为 False。要手动推断模型签名，请在具有有效模型输入和有效模型输出的数据集上调用 infer_signature()。
input_example – 一个或多个有效模型输入实例。输入示例用于提示应向模型提供何种数据。它将被转换为一个 Pandas DataFrame，然后使用 Pandas 的 split-oriented 格式序列化为 json，或者转换为一个 numpy array，其中示例将通过将其转换为列表的方式序列化为 json。字节使用 base64 编码。当 signature 参数为 None 时，输入示例用于推断模型签名。
pip_requirements – 要么是一个 pip 依赖字符串的可迭代对象（例如 ["sentence_transformers", "-r requirements.txt", "-c constraints.txt"]）或者是本地文件系统上 pip requirements 文件的字符串路径（例如 "requirements.txt"）。如果提供，该值描述了此模型应运行的环境。如果 None，则默认的依赖列表由 mlflow.models.infer_pip_requirements() 从当前软件环境推断得出。如果依赖推断失败，则回退使用 get_default_pip_requirements。依赖和约束会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖也会写入模型的 conda 环境（conda.yaml）文件的 pip 部分。
extra_pip_requirements –
要么是一个 pip 需求字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），要么是本地文件系统上 pip requirements 文件的字符串路径（例如 "requirements.txt"）。如果提供，该参数描述了附加的 pip 依赖，这些依赖会被追加到基于用户当前软件环境自动生成的默认 pip 依赖集合中。requirements 和 constraints 会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖项也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。
警告

以下参数不能同时指定：
- conda_env
- pip_requirements
- extra_pip_requirements
This example 演示了如何使用 pip_requirements 和 extra_pip_requirements 指定 pip 依赖。
conda_env –
可以是 Conda 环境的字典表示，也可以是指向 conda 环境 yaml 文件的路径。如果提供，则描述了此模型应在其中运行的环境。至少，它应指定包含在 get_default_conda_env() 中的依赖项。如果 None，则会将一个 conda 环境（其 pip 依赖项由 mlflow.models.infer_pip_requirements() 推断）添加到模型中。如果需求推断失败，则回退使用 get_default_pip_requirements。来自 conda_env 的 pip 依赖项会写入 pip 文件 requirements.txt，完整的 conda 环境会写入 conda.yaml。下面是 conda 环境字典表示的一个示例：
```
{
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "sentence_transformers==x.y.z"
            ],
        },
    ],
}
```
metadata – 传递给模型并存储在 MLmodel 文件中的自定义元数据字典。