mlflow.sentence_transformers

mlflow.sentence_transformers.get_default_conda_env()[源代码]

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

返回:: 使用 sentence_transformers 风格生成的 MLflow 模型的默认 Conda 环境。

mlflow.sentence_transformers.get_default_pip_requirements() → List[str][源代码]

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

检索 sentence_transformers 风格的最小依赖集。

返回:: MLflow Models 生成的 sentence-transformers 风格的默认 pip 需求列表。调用 save_model() 和 log_model() 会生成一个 pip 环境，该环境至少包含这些需求。

mlflow.sentence_transformers.load_model(model_uri: str, dst_path: str | None = None)[源代码]

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

备注

sentence_transformers MLflow 模型集成已知与以下包版本范围兼容：2.2.2 - 3.1.1。使用此范围之外的包版本时，MLflow 模型与 sentence_transformers 的集成可能不会成功。

从本地文件或运行中加载一个 sentence_transformers 对象。

参数:

model_uri – MLflow 模型的位置，采用 URI 格式。例如： - /Users/me/path/to/local/model - relative/path/to/local/model - s3://my_bucket/path/to/model - runs:/<mlflow_run_id>/run-relative/path/to/model - mlflow-artifacts:/path/to/model 有关支持的 URI 方案的更多信息，请参阅引用工件。
dst_path – 用于下载模型工件的本地文件系统路径。如果提供此目录，则必须已经存在。如果未指定，将创建一个本地输出路径。

返回:

一个 sentence_transformers 模型实例

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

备注

sentence_transformers MLflow 模型集成已知与以下包版本范围兼容：2.2.2 - 3.1.1。使用此范围之外的包版本时，MLflow 模型与 sentence_transformers 的集成可能不会成功。

备注

使用自定义代码记录 Sentence Transformers 模型（即需要 trust_remote_code=True 的模型）在 MLflow 2.12.0 及以上版本中受支持。

将 sentence_transformers 模型记录为当前运行的 MLflow 工件。

# An example of using log_model for a sentence-transformers model and architecture:

from sentence_transformers import SentenceTransformer
import mlflow

model = SentenceTransformer("all-MiniLM-L6-v2")
data = "MLflow is awesome!"
signature = mlflow.models.infer_signature(
    model_input=data,
    model_output=model.encode(data),
)

with mlflow.start_run():
    mlflow.sentence_transformers.log_model(
        model=model,
        artifact_path="sbert_model",
        signature=signature,
        input_example=data,
    )

参数:

model – 一个经过训练的 sentence-transformers 模型。
artifact_path – 序列化模型保存的本地路径目标。
task – MLflow 推理任务类型用于 sentence-transformers 模型。候选任务类型是 llm/v1/embeddings。
inference_config – 在推理过程中可以应用于 sentence-transformer 模型实例的有效覆盖项的字典。这些参数仅用于将模型加载为 pyfunc 模型或在 Spark 中使用的情况。这些值不会应用于从 mlflow.sentence_transformers.load_model() 调用返回的模型。
code_paths – 本地文件系统路径列表，指向Python文件依赖项（或包含文件依赖项的目录）。这些文件在加载模型时会被*前置*到系统路径中。如果为给定模型声明了依赖关系，则应从公共根路径声明相对导入，以避免在加载模型时出现导入错误。有关``code_paths``功能的详细解释、推荐的使用模式和限制，请参阅`code_paths使用指南 <https://mlflow.org/docs/latest/model/dependencies.html?highlight=code_paths#saving-extra-code-with-an-mlflow-model>`_。
registered_model_name – 此参数可能在未来的版本中更改或移除，且不会提前警告。如果提供，将在 registered_model_name 下创建一个模型版本，如果给定名称的注册模型不存在，则同时创建一个注册模型。
signature – 一个 ModelSignature 类的实例，描述了模型的输入和输出。如果没有指定但提供了 input_example，将根据提供的输入示例和模型自动推断签名。如果 signature 和 input_example 都没有指定或自动签名推断失败，将采用默认签名。要防止采用签名，请将 signature 设置为 False。要手动推断模型签名，请在具有有效模型输入和有效模型输出的数据集上调用 infer_signature()。
input_example – 一个或多个有效的模型输入实例。输入示例用作提示，指示应向模型提供哪些数据。它将被转换为Pandas DataFrame，然后使用Pandas的面向分割的格式序列化为json，或者是一个numpy数组，其中示例将通过将其转换为列表来序列化为json。字节被base64编码。当``signature``参数为``None``时，输入示例用于推断模型签名。
pip_requirements – 可以是 pip 需求字符串的可迭代对象（例如 ["sentence_transformers", "-r requirements.txt", "-c constraints.txt"]），或者是本地文件系统上的 pip 需求文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述该模型应运行的环境。如果为 None，则通过 mlflow.models.infer_pip_requirements() 从当前软件环境中推断出默认的需求列表。如果需求推断失败，它将回退到使用 get_default_pip_requirements()。需求和约束都会自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会写入模型 conda 环境（conda.yaml）文件的 pip 部分。
extra_pip_requirements – 可以是pip需求字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），或者是本地文件系统上pip需求文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述附加的pip需求，这些需求会被追加到根据用户当前软件环境自动生成的默认pip需求集中。需求和约束会分别自动解析并写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会被写入模型conda环境（conda.yaml）文件的 pip 部分。 .. 警告:: 以下参数不能同时指定： - conda_env - pip_requirements - extra_pip_requirements 此示例展示了如何使用 pip_requirements 和 extra_pip_requirements 指定pip需求。
conda_env –
一个Conda环境的字典表示形式，或Conda环境yaml文件的路径。如果提供，这将描述模型应运行的环境。至少，它应指定包含在 get_default_conda_env() 中的依赖项。如果为 None，则通过 mlflow.models.infer_pip_requirements() 推断的pip要求添加一个conda环境到模型中。如果要求推断失败，则回退到使用 get_default_pip_requirements()。来自 conda_env 的pip要求被写入一个pip requirements.txt 文件，完整的conda环境被写入 conda.yaml。以下是一个conda环境的字典表示形式的*示例*:
```
{
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "sentence_transformers==x.y.z"
            ],
        },
    ],
}
```
metadata – 传递给模型并在 MLmodel 文件中存储的自定义元数据字典。
example_no_conversion – 此参数已被弃用，并将在未来的版本中移除。它不再使用，可以安全地移除。输入示例不再被转换。

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

备注

sentence_transformers MLflow 模型集成已知与以下包版本范围兼容：2.2.2 - 3.1.1。使用此范围之外的包版本时，MLflow 模型与 sentence_transformers 的集成可能不会成功。

备注

使用自定义代码保存 Sentence Transformers 模型（即需要 trust_remote_code=True 的模型）在 MLflow 2.12.0 及以上版本中受支持。

将训练好的 sentence-transformers 模型保存到本地文件系统的一个路径中。

参数:

model – 一个经过训练的 sentence-transformers 模型。
path – 序列化模型保存的本地路径目标。
task – MLflow 推理任务类型用于 sentence-transformers 模型。候选任务类型是 llm/v1/embeddings。
inference_config – 一个有效的推理参数字典，可以在推理过程中应用于 sentence-transformer 模型实例。这些参数仅用于将模型加载为 pyfunc 模型或在 Spark 中使用的情况。这些值不会应用于从 mlflow.sentence_transformers.load_model() 调用返回的模型。
code_paths – 本地文件系统路径列表，指向Python文件依赖项（或包含文件依赖项的目录）。这些文件在加载模型时会被*前置*到系统路径中。如果为给定模型声明了依赖关系，则应从公共根路径声明相对导入，以避免在加载模型时出现导入错误。有关``code_paths``功能的详细解释、推荐的使用模式和限制，请参阅`code_paths使用指南 <https://mlflow.org/docs/latest/model/dependencies.html?highlight=code_paths#saving-extra-code-with-an-mlflow-model>`_。
mlflow_model – 一个指定此模型所添加到的格式的 MLflow 模型对象。
signature – 一个 ModelSignature 类的实例，描述了模型的输入和输出。如果没有指定但提供了 input_example，将根据提供的输入示例和模型自动推断签名。如果 signature 和 input_example 都没有指定或自动签名推断失败，将采用默认签名。要防止采用签名，请将 signature 设置为 False。要手动推断模型签名，请在具有有效模型输入和有效模型输出的数据集上调用 infer_signature()。
input_example – 一个或多个有效的模型输入实例。输入示例用作提示，指示应向模型提供哪些数据。它将被转换为Pandas DataFrame，然后使用Pandas的面向分割的格式序列化为json，或者是一个numpy数组，其中示例将通过将其转换为列表来序列化为json。字节被base64编码。当``signature``参数为``None``时，输入示例用于推断模型签名。
pip_requirements – 可以是 pip 需求字符串的可迭代对象（例如 ["sentence_transformers", "-r requirements.txt", "-c constraints.txt"]），或者是本地文件系统上的 pip 需求文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述该模型应运行的环境。如果为 None，则通过 mlflow.models.infer_pip_requirements() 从当前软件环境中推断出默认的需求列表。如果需求推断失败，它将回退到使用 get_default_pip_requirements()。需求和约束都会自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会写入模型 conda 环境（conda.yaml）文件的 pip 部分。
extra_pip_requirements – 可以是pip需求字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），或者是本地文件系统上pip需求文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述附加的pip需求，这些需求会被追加到根据用户当前软件环境自动生成的默认pip需求集中。需求和约束会分别自动解析并写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会被写入模型conda环境（conda.yaml）文件的 pip 部分。 .. 警告:: 以下参数不能同时指定： - conda_env - pip_requirements - extra_pip_requirements 此示例展示了如何使用 pip_requirements 和 extra_pip_requirements 指定pip需求。
conda_env –
一个Conda环境的字典表示形式，或Conda环境yaml文件的路径。如果提供，这将描述模型应运行的环境。至少，它应指定包含在 get_default_conda_env() 中的依赖项。如果为 None，则通过 mlflow.models.infer_pip_requirements() 推断的pip要求添加一个conda环境到模型中。如果要求推断失败，则回退到使用 get_default_pip_requirements()。来自 conda_env 的pip要求被写入一个pip requirements.txt 文件，完整的conda环境被写入 conda.yaml。以下是一个conda环境的字典表示形式的*示例*:
```
{
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "sentence_transformers==x.y.z"
            ],
        },
    ],
}
```
metadata – 传递给模型并在 MLmodel 文件中存储的自定义元数据字典。
example_no_conversion – 此参数已被弃用，并将在未来的版本中移除。它不再使用，可以安全地移除。输入示例不再被转换。