mlflow.spacy

mlflow.spacy 模块提供用于记录和加载 spaCy 模型的 API。 该模块以以下 flavors 导出 spaCy 模型：

spaCy (native) format

这是可以加载回 spaCy 的主要 flavor。

mlflow.pyfunc

为通用基于 pyfunc 的部署工具和批量推断而生成，只有当 spaCy 的模型管道至少包含一个 TextCategorizer 时才会创建此 flavor。

mlflow.spacy.get_default_conda_env()[source]
Returns

用于通过调用save_model()和log_model()生成的 MLflow 模型的默认 Conda 环境。

mlflow.spacy.get_default_pip_requirements()[source]
Returns

该列表列出了由此 flavor 生成的 MLflow Models 的默认 pip 依赖项。 对 save_model() 和 log_model() 的调用会生成一个 pip 环境，该环境至少包含这些依赖项。

mlflow.spacy.load_model(model_uri, dst_path=None)[source]

从本地文件加载 spaCy 模型（如果 run_id 是 None）或从运行加载。

Parameters

  • model_uri –

    MLflow 模型的位置，使用 URI 格式。例如：

    • /Users/me/path/to/local/model

    • relative/path/to/local/model

    • s3://my_bucket/path/to/model

    • runs://run-relative/path/to/model

    • models://

    • models://

    有关受支持的 URI 方案的更多信息，请参见 Referencing Artifacts.

  • dst_path – 要将模型工件下载到的本地文件系统路径。该目录必须已存在。如果未指定，将创建一个本地输出路径。

Returns

由 spaCy 加载的模型

mlflow.spacy.log_model(spacy_model, artifact_path: str | None = None, conda_env=None, code_paths=None, registered_model_name=None, signature: mlflow.models.signature.ModelSignature = None, input_example: Union[pandas.core.frame.DataFrame, numpy.ndarray, dict, list, csr_matrix, csc_matrix, str, bytes, tuple] = None, pip_requirements=None, extra_pip_requirements=None, metadata=None, name: str | None = None, params: dict[str, typing.Any] | None = None, tags: dict[str, typing.Any] | None = None, model_type: str | None = None, step: int = 0, model_id: str | None = None, **kwargs)[source]

将 spaCy 模型作为当前运行的 MLflow 工件记录。

Parameters

  • spacy_model – 要保存的 spaCy 模型。

  • artifact_path – 已弃用。请改用 name。

  • conda_env –

    要么是 Conda 环境的字典表示，要么是指向 conda 环境 yaml 文件的路径。如果提供了该参数，则用于描述运行此模型所需的环境。至少，它应指定 get_default_conda_env() 中包含的依赖项。如果 None，则会向模型添加一个 conda 环境，该环境的 pip 依赖由 mlflow.models.infer_pip_requirements() 推断。如果依赖推断失败，则回退使用 get_default_pip_requirements。来自 conda_env 的 pip 依赖会被写入 pip requirements.txt 文件，完整的 conda 环境会被写入 conda.yaml。 下面是 conda 环境的一个 示例 字典表示：

    {
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "spacy==x.y.z"
            ],
        },
    ],
}

  • code_paths –

    一组指向本地文件系统中 Python 文件依赖项（或包含文件依赖项的目录）的路径。这些文件在模型加载时会被预先添加到系统路径中。如果为某个模型声明的依赖文件之间存在导入依赖关系且定义了多个文件，应当从公共根路径声明相对导入，以避免在加载模型时出现导入错误。

    有关 code_paths 功能、推荐使用模式和限制的详细说明，请参阅 code_paths usage guide。

  • registered_model_name – 如果提供，将在 registered_model_name 下创建一个模型版本，并在不存在同名的注册模型时创建该注册模型。

  • signature –

    ModelSignature 描述模型输入和输出 Schema。 模型签名可以 inferred 自具有有效模型输入（例如省略目标列的训练数据集）和有效模型输出（例如在训练数据集上生成的模型预测）的数据集，例如：

    from mlflow.models import infer_signature

train = df.drop_column("target_label")
predictions = ...  # 计算模型预测
signature = infer_signature(train, predictions)

  • input_example – 一个或多个有效模型输入的实例。该输入示例用于提示应该向模型提供何种数据。它将被转换为 Pandas DataFrame，然后使用 Pandas split-oriented format 序列化为 json，或者转换为 numpy array，其中示例会通过转换为列表来序列化为 json。字节以 base64 编码。当 signature 参数为 None 时，输入示例用于推断模型签名。

  • pip_requirements – 可以是 pip 依赖字符串的可迭代对象 (例如 ["spacy", "-r requirements.txt", "-c constraints.txt"]) 或者是本地文件系统上 pip 要求文件的字符串路径（例如 "requirements.txt"）。如果提供，则描述了应在其上运行此模型的环境。如果 None，则由 mlflow.models.infer_pip_requirements() 从当前软件环境推断默认的依赖列表。如果依赖推断失败，则回退使用 get_default_pip_requirements。依赖和约束会分别自动解析并写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖也会写入模型的 conda 环境（conda.yaml）文件的 pip 部分。

  • extra_pip_requirements –

    要么是一个可迭代的 pip 依赖字符串（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]）要么是本地文件系统上 pip requirements 文件的字符串路径（例如 "requirements.txt"requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖项也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。

    警告

    以下参数不能同时指定：

    • conda_env

    • pip_requirements

    • extra_pip_requirements

    This example 演示如何使用 pip_requirements 和 extra_pip_requirements 来指定 pip 依赖。

  • metadata – 传递给模型并存储在 MLmodel 文件中的自定义元数据字典。

  • name – 模型名称。

  • params – 一个用于与模型一同记录的参数字典。

  • tags – 要与模型一起记录的 tags 字典。

  • model_type – 模型的类型。

  • step – 在该步骤记录模型输出和指标

  • model_id – 模型的 ID。

  • kwargs – 要传递给 spacy.save_model 方法的 kwargs。

Returns

一个 ModelInfo 实例，包含已记录模型的元数据。

mlflow.spacy.save_model(spacy_model, path, conda_env=None, code_paths=None, mlflow_model=None, signature: mlflow.models.signature.ModelSignature = None, input_example: Union[pandas.core.frame.DataFrame, numpy.ndarray, dict, list, csr_matrix, csc_matrix, str, bytes, tuple] = None, pip_requirements=None, extra_pip_requirements=None, metadata=None)[source]

将 spaCy 模型保存到本地文件系统的某个路径。

Parameters

  • spacy_model – 要保存的 spaCy 模型。

  • path – 模型要保存的本地路径。

  • conda_env –

    表示 Conda 环境的字典表示，或指向 conda 环境 yaml 文件的路径。如果提供，则描述该模型应在其中运行的环境。至少，它应指定包含在 get_default_conda_env() 中的依赖项。如果 None，将向模型添加由 mlflow.models.infer_pip_requirements() 推断出 pip 依赖项的 conda 环境。如果依赖推断失败，则退回使用 get_default_pip_requirements。来自 conda_env 的 pip 依赖会被写入 pip requirements.txt 文件，而完整的 conda 环境会被写入 conda.yaml。下面是 conda 环境的一个 示例 字典表示：

    {
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "spacy==x.y.z"
            ],
        },
    ],
}

  • code_paths –

    一个指向 Python 文件依赖项（或包含文件依赖项的目录）的本地文件系统路径列表。当模型加载时，这些文件会被预先添加到系统路径中。如果为某个模型声明的依赖项由多个文件构成并且这些文件之间存在相互导入关系，应当从一个公共根路径声明相对导入，以避免在加载模型时出现导入错误。

    有关 code_paths 功能、推荐用法模式和限制的详细说明，请参阅 code_paths usage guide。

  • mlflow_model – mlflow.models.Model 此 flavor 正在被添加到。

  • signature –

    ModelSignature 描述模型输入和输出 Schema。 模型签名可以从具有有效模型输入（例如省略目标列的训练数据集）和有效模型输出（例如在训练数据集上生成的模型预测）的数据集中inferred，例如：

    from mlflow.models import infer_signature

train = df.drop_column("target_label")
predictions = ...  # 计算模型预测
signature = infer_signature(train, predictions)

  • input_example – 一个或多个有效模型输入实例。该输入示例用于提示应向模型提供哪些数据。它将被转换为一个Pandas DataFrame，然后使用Pandas的 split-oriented 格式序列化为 json，或者转换为一个 numpy 数组（在这种情况下示例会通过转为 list 序列化为 json）。字节会以 base64 编码。当 signature 参数为 None 时，该输入示例用于推断模型签名。

  • pip_requirements – 可以是 pip 依赖字符串的可迭代对象（例如 ["spacy", "-r requirements.txt", "-c constraints.txt"]）或本地文件系统上 pip requirements 文件的路径字符串（例如 "requirements.txt"）。如果提供，则描述了运行该模型所需的环境。如果 None，将由 mlflow.models.infer_pip_requirements() 根据当前软件环境推断出默认的依赖列表。如果依赖推断失败，则回退为使用 get_default_pip_requirements。依赖和约束会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖还会写入模型 conda 环境（conda.yaml）文件的 pip 部分。

  • extra_pip_requirements –

    可以是 pip 依赖字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]）或本地文件系统中 pip requirements 文件的字符串路径（例如 "requirements.txt"）。如果提供，此项描述附加的 pip 依赖，这些依赖将被追加到基于用户当前软件环境自动生成的一组默认 pip 依赖中。依赖和约束会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分进行存储。依赖也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。

    警告

    以下参数不能同时指定：

    • conda_env

    • pip_requirements

    • extra_pip_requirements

    This example 演示如何使用 pip_requirements 和 extra_pip_requirements 指定 pip 依赖。

  • metadata – 传递给模型并存储在 MLmodel 文件中的自定义 metadata 字典。