mlflow.diviner

mlflow.diviner 模块提供用于记录、保存和加载 diviner 模型的 API。Diviner 将若干流行的开源时间序列预测库封装在统一的 API 中，允许对相关序列组进行训练、回测、交叉验证和预测推断。该模块以以下格式导出成组的单变量 diviner 模型：

Diviner format

使用原生 diviner 序列化器序列化的模型类型实例。 (例如，“GroupedProphet”或“GroupedPmdarima”)

mlflow.pyfunc

供通用基于 pyfunc 的部署工具使用，也用于对历史预测进行批量审计。

mlflow.diviner.get_default_conda_env()[source]
Returns

默认的 Conda 环境，用于通过调用 save_model() 和 log_model() 生成的、使用 Diviner 风味的 MLflow Models。

mlflow.diviner.get_default_pip_requirements()[source]
Returns

使用 Diviner flavor 生成的 MLflow 模型的默认 pip 依赖项列表。对 save_model() 和 log_model() 的调用会生成一个至少包含这些依赖项的 pip 环境。

mlflow.diviner.load_model(model_uri, dst_path=None, **kwargs)[source]

从本地文件或运行中加载一个 Diviner 对象。

Parameters

  • model_uri –

    MLflow 模型的 URI 格式位置。例如：

    • /Users/me/path/to/local/model

    • relative/path/to/local/model

    • s3://my_bucket/path/to/model

    • runs:/<mlflow_run_id>/run-relative/path/to/model

    • mlflow-artifacts:/path/to/model

    有关受支持的 URI 方案的更多信息，请参见 Referencing Artifacts.

  • dst_path – 下载模型工件到的本地文件系统路径。若提供，该目录必须已存在。如果未指定，将创建一个本地输出路径。

  • kwargs – 可选的配置选项，用于加载 Diviner 模型。对于使用 Spark 拟合并保存的模型，如果在加载 Diviner 模型时希望使用特定的 DFS 临时目录，请使用关键字参数 “dfs_tmpdir” 来定义模型加载期间的临时路径。

Returns

一个 Diviner 模型实例。

mlflow.diviner.log_model(diviner_model, artifact_path: str | None = None, conda_env=None, code_paths=None, registered_model_name=None, signature: mlflow.models.signature.ModelSignature = None, input_example: Union[pandas.core.frame.DataFrame, numpy.ndarray, dict, list, csr_matrix, csc_matrix, str, bytes, tuple] = None, await_registration_for=300, pip_requirements=None, extra_pip_requirements=None, metadata=None, name: str | None = None, params: dict[str, typing.Any] | None = None, tags: dict[str, typing.Any] | None = None, model_type: str | None = None, step: int = 0, model_id: str | None = None, **kwargs)[source]

将一个 Diviner 对象记录为当前运行的 MLflow 工件。

Parameters

  • diviner_model – Diviner 模型，已被 fit 于分组的时序 DataFrame 上。

  • artifact_path – 已弃用。请改用 name。

  • conda_env –

    可以是 Conda 环境的字典表示，也可以是 conda 环境 yaml 文件的路径。如果提供，它描述了运行此模型所需的环境。至少，它应当指定包含在 get_default_conda_env() 中的依赖项。如果 None，则会向模型添加一个 conda 环境，其 pip 依赖由 mlflow.models.infer_pip_requirements() 推断。如果依赖推断失败，则回退使用 get_default_pip_requirements。来自 conda_env 的 pip 依赖将写入 pip requirements.txt 文件，完整的 conda 环境将写入 conda.yaml。下面是 conda 环境的一个示例字典表示：

    {
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "diviner==x.y.z"
            ],
        },
    ],
}

  • code_paths –

    本地文件系统中指向 Python 文件依赖（或包含文件依赖的目录）路径的列表。这些文件在模型加载时会被预先添加到系统路径中。如果为某个模型声明了依赖文件且多个文件之间存在导入依赖关系，那么这些文件应从一个共同的根路径声明相对导入，以避免在加载模型时发生导入错误。

    有关 code_paths 功能、推荐的使用模式和限制的详细说明，请参阅 code_paths usage guide。

  • registered_model_name – 如果提供，则在 registered_model_name 下创建一个模型版本，如果不存在具有该名称的注册模型，则同时创建一个注册模型。

  • signature –

    Model Signature 描述模型的输入和输出 Schema。模型签名可以 inferred 从具有有效模型输入（例如：省略了目标列的训练数据集）和有效模型输出（例如：在训练数据集上生成的模型预测）的数据集中推断，例如：

    示例 
    from mlflow.models import infer_signature

auto_arima_obj = AutoARIMA(out_of_sample_size=60, maxiter=100)
base_auto_arima = GroupedPmdarima(model_template=auto_arima_obj).fit(
    df=training_data,
    group_key_columns=("region", "state"),
    y_col="y",
    datetime_col="ds",
    silence_warnings=True,
)
predictions = model.predict(n_periods=30, alpha=0.05, return_conf_int=True)
signature = infer_signature(data, predictions)

  • input_example – 一个或多个有效模型输入实例。输入示例用于提示应向模型提供何种数据。它将被转换为一个 Pandas DataFrame，然后使用 Pandas 的 split-oriented 格式序列化为 json，或者转换为一个 numpy array，其中示例将通过将其转换为列表的方式序列化为 json。字节使用 base64 编码。当 signature 参数为 None 时，输入示例用于推断模型签名。

  • await_registration_for – 等待模型版本完成创建并进入 READY 状态的秒数。默认情况下，该函数等待五分钟。指定 0 或 None 以跳过等待。

  • pip_requirements – 要么是一个 pip 依赖字符串的可迭代对象 (e.g. ["diviner", "-r requirements.txt", "-c constraints.txt"]) 或者是本地文件系统上 pip requirements 文件的字符串路径（例如 "requirements.txt"）。如果提供，它描述了该模型应运行的环境。如果 None，默认的依赖列表由 mlflow.models.infer_pip_requirements() 从当前软件环境推断得出。如果依赖推断失败，则回退使用 get_default_pip_requirements。要求和约束会分别自动解析并写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖也会写入模型的 conda 环境的 pip 部分（conda.yaml）文件。

  • extra_pip_requirements –

    要么是一个 pip 需求字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），要么是本地文件系统上 pip requirements 文件的字符串路径（例如 "requirements.txt"）。如果提供，该参数描述了附加的 pip 依赖，这些依赖会被追加到基于用户当前软件环境自动生成的默认 pip 依赖集合中。requirements 和 constraints 会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖项也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。

    警告

    以下参数不能同时指定：

    • conda_env

    • pip_requirements

    • extra_pip_requirements

    This example 演示了如何使用 pip_requirements 和 extra_pip_requirements 指定 pip 依赖。

  • metadata – 传递给模型并存储在 MLmodel 文件中的自定义元数据字典。

  • name – 模型名称。

  • params – 一个用于与模型一同记录的参数字典。

  • tags – 一个要与模型一起记录的标签字典。

  • model_type – 模型的类型。

  • step – 在该步记录模型输出和指标

  • model_id – 模型的 ID。

  • kwargs – 额外的参数，用于 mlflow.models.model.Model 此外，对于已在 Spark 中拟合的模型，可以设置以下支持的配置选项。 当前支持的选项： - partition_by 用于将一个（或几个）分区列设置为列名列表。必须是一个字符串列表，表示分组键列。 - partition_count 用于设置每个按 partition_by 分组的重分区要写入的分片文件数。默认的分片文件数为 200。 - dfs_tmpdir 用于指定 DFS 的临时位置，当模型从本地文件系统复制到 Spark 支持的 “dbfs:/” 方案时，模型会存放在该位置。

Returns

一个 ModelInfo 实例，包含已记录模型的元数据。

mlflow.diviner.save_model(diviner_model, path, conda_env=None, code_paths=None, mlflow_model=None, signature: mlflow.models.signature.ModelSignature = None, input_example: Union[pandas.core.frame.DataFrame, numpy.ndarray, dict, list, csr_matrix, csc_matrix, str, bytes, tuple] = None, pip_requirements=None, extra_pip_requirements=None, metadata=None, **kwargs)[source]

将一个 Diviner 模型对象保存到本地文件系统的某个路径。

Parameters

  • diviner_model – Diviner 模型，已在分组的时间型 DataFrame 上执行过 fit。

  • path – 序列化模型要保存到的本地路径。

  • conda_env –

    可以是 Conda 环境的字典表示，也可以是 conda 环境 yaml 文件的路径。如果提供，该项描述了应在何种环境中运行此模型。至少，它应指定包含在 get_default_conda_env() 中的依赖项。如果 None，则将一个包含通过 mlflow.models.infer_pip_requirements() 推断出的 pip 依赖的 conda 环境添加到模型中。如果依赖推断失败，则回退使用 get_default_pip_requirements。来自 conda_env 的 pip 依赖会写入 pip 的 requirements.txt 文件中，完整的 conda 环境会写入到 conda.yaml。下面是一个 示例 的 conda 环境字典表示：

    {
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "diviner==x.y.z"
            ],
        },
    ],
}

  • code_paths –

    本地文件系统中指向 Python 文件依赖（或包含文件依赖的目录）路径的列表。这些文件在模型加载时会被预先添加到系统路径中。如果为某个模型声明了依赖文件且多个文件之间存在导入依赖关系，那么这些文件应从一个共同的根路径声明相对导入，以避免在加载模型时发生导入错误。

    有关 code_paths 功能、推荐的使用模式和限制的详细说明，请参阅 code_paths usage guide。

  • mlflow_model – mlflow.models.Model 该模型被添加到的 flavor。

  • signature –

    Model Signature 描述模型的输入和输出 Schema。模型签名可以从具有有效模型输入（例如省略目标列的训练数据集）和有效模型输出（例如在训练数据集上生成的模型预测）的数据集中被inferred，例如：

    from mlflow.models import infer_signature

model = diviner.GroupedProphet().fit(data, ("region", "state"))
predictions = model.predict(prediction_config)
signature = infer_signature(data, predictions)

  • input_example – 一个或多个有效模型输入实例。输入示例用于提示应向模型提供何种数据。它将被转换为一个 Pandas DataFrame，然后使用 Pandas 的 split-oriented 格式序列化为 json，或者转换为一个 numpy array，其中示例将通过将其转换为列表的方式序列化为 json。字节使用 base64 编码。当 signature 参数为 None 时，输入示例用于推断模型签名。

  • pip_requirements – 要么是一个 pip 依赖字符串的可迭代对象 (e.g. ["diviner", "-r requirements.txt", "-c constraints.txt"]) 或者是本地文件系统上 pip requirements 文件的字符串路径 (e.g. "requirements.txt")。如果提供，则该项描述了该模型应在其上运行的环境。如果 None，默认的依赖列表由 mlflow.models.infer_pip_requirements() 从当前软件环境推断得到。如果依赖推断失败，则回退使用 get_default_pip_requirements。依赖和约束会分别自动解析并写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖也会写入模型的 conda 环境 (conda.yaml) 文件的 pip 部分。

  • extra_pip_requirements –

    要么是一个 pip 需求字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），要么是本地文件系统上 pip requirements 文件的字符串路径（例如 "requirements.txt"）。如果提供，该参数描述了附加的 pip 依赖，这些依赖会被追加到基于用户当前软件环境自动生成的默认 pip 依赖集合中。requirements 和 constraints 会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖项也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。

    警告

    以下参数不能同时指定：

    • conda_env

    • pip_requirements

    • extra_pip_requirements

    This example 演示了如何使用 pip_requirements 和 extra_pip_requirements 指定 pip 依赖。

  • metadata – 传递给模型并存储在 MLmodel 文件中的自定义元数据字典。

  • kwargs – 可选的 Spark DataFrame 存储配置，仅当模型已在 Spark 中拟合时适用。 Current supported options: - partition_by 用于将一个（或多个）分区列设置为列名列表。必须是分组键列的字符串列表。 - partition_count 用于设置对每个 partition_by 组的重分区写出的分片文件数量。默认分片文件数为 200。 - dfs_tmpdir 用于指定在将模型从本地文件系统复制到 Spark 支持的 “dbfs:/” 方案时模型将被存储的 DFS 临时位置。