mlflow.keras

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

备注

Autologging 已知与以下包版本兼容：3.0.2 <= keras <= 3.5.0。当与该范围之外的包版本一起使用时，Autologging 可能不会成功。

为 Keras 启用自动日志记录。

此方法配置了 Keras 工作流的自动日志记录。仅支持 Keras > 3。对于较低版本的 Keras 使用（也称为 tf-keras），请参考 mlflow.tensorflow 风格。在较高层次上，调用此 mlflow.keras.autolog() 函数将用 MLflow 提供的自定义 fit 方法替换 keras.Model.fit 方法，该方法会在相应时间将指标/参数/信息/模型记录到 MLflow 中。

Autologging 与 Keras 支持的所有后端兼容，包括 Tensorflow、PyTorch 和 JAX。

请注意，自动日志记录仅在您使用 model.fit() 进行训练时有效。如果您正在编写自定义训练循环，则需要使用手动日志记录。

参数 log_every_epoch:

如果为真，训练指标将在每个 epoch 结束时记录。

参数 log_every_n_steps:

如果设置，训练指标将在每 n 个训练步骤记录一次。当 log_every_epoch=True 时，log_every_n_steps 必须为 None。

参数 log_models:

如果为 True，Keras 模型将在 model.fit() 结束时记录到 MLflow。

参数 log_model_signatures:

如果为真，模型签名将被自动捕获并记录。

参数 save_exported_model:

如果为True，模型将以导出格式（编译图）保存，适合服务和部署。如果为False，模型将以`.keras`格式保存，其中包含模型架构和权重。

参数 log_datasets:

如果为 True，数据集元数据将被记录到 MLflow 中。

参数 log_input_examples:

如果为真，输入示例将被记录。

参数 禁用:

如果 True，则禁用 Keras 自动记录。

参数 独占:

如果 True，自动记录的内容不会记录到用户创建的 fluent 运行中。如果 False，自动记录的内容会记录到活动的 fluent 运行中，这可能是用户创建的。disable_for_unsupported_versions: 如果 True，禁用不兼容 Keras 版本的自动记录。

param disable_for_unsupported_versions:

如果 True，则对未经过此版本 MLflow 客户端测试或不兼容的 keras 版本禁用自动日志记录。

参数 silent:

如果 True，在 Keras 自动记录期间抑制来自 MLflow 的所有事件日志和警告。如果 True，在 Keras 自动记录期间显示所有事件和警告。

param registered_model_name:

如果设置，每次训练模型时，它都会作为具有此名称的已注册模型的新模型版本进行注册。如果该注册模型尚不存在，则会创建它。

参数 save_model_kwargs:

传递给 keras.Model.save() 的额外关键字参数。

参数 extra_tags:

一个字典，包含要为 autologging 创建的每个托管运行设置的额外标签。

示例 
import keras
import mlflow
import numpy as np

mlflow.keras.autolog()

# Prepare data for a 2-class classification.
data = np.random.uniform([8, 28, 28, 3])
label = np.random.randint(2, size=8)
model = keras.Sequential(
    [
        keras.Input([28, 28, 3]),
        keras.layers.Flatten(),
        keras.layers.Dense(2),
    ]
)
model.compile(
    loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    optimizer=keras.optimizers.Adam(0.001),
    metrics=[keras.metrics.SparseCategoricalAccuracy()],
)
with mlflow.start_run() as run:
    model.fit(data, label, batch_size=4, epochs=2)

Keras 3 回调函数，用于将信息记录到 MLflow。

class mlflow.keras.callback.MlflowCallback(log_every_epoch=True, log_every_n_steps=None)[源代码]

基类：Callback

备注

实验性：此类在未来的版本中可能会在没有警告的情况下更改或被移除。

用于将 Keras 指标/参数/模型/… 记录到 MLflow 的回调函数。

此回调在训练开始时记录模型元数据，并根据用户定义的每个epoch或每n步将训练指标记录到MLflow。

参数：
log_every_epoch: bool, 默认为 True。如果为 True，每个 epoch 记录指标。如果为 False，

每 n 步记录一次指标。

log_every_n_steps: int, 默认为 None。如果设置，每 n 步记录一次指标。如果为 None，

每个epoch记录日志指标。如果 log_every_epoch=True，则必须为 None。

示例 
import keras
import mlflow
import numpy as np

# Prepare data for a 2-class classification.
data = np.random.uniform([8, 28, 28, 3])
label = np.random.randint(2, size=8)
model = keras.Sequential(
    [
        keras.Input([28, 28, 3]),
        keras.layers.Flatten(),
        keras.layers.Dense(2),
    ]
)
model.compile(
    loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    optimizer=keras.optimizers.Adam(0.001),
    metrics=[keras.metrics.SparseCategoricalAccuracy()],
)
with mlflow.start_run() as run:
    model.fit(
        data,
        label,
        batch_size=4,
        epochs=2,
        callbacks=[mlflow.keras.MlflowCallback()],
    )
on_batch_end(batch, logs=None)[源代码]

在每个批次结束时，以用户指定的频率记录指标。

on_epoch_end(epoch, logs=None)[源代码]

在每个epoch结束时记录指标。

on_test_end(logs=None)[源代码]

在验证结束时记录验证指标。

on_train_begin(logs=None)[源代码]

在训练开始时记录模型架构和优化器配置。

用于加载使用 MLflow 保存的 Keras 模型的函数。

class mlflow.keras.load.KerasModelWrapper(model, signature, save_exported_model=False)[源代码]

基类：object

get_model_call_method()[源代码]
get_raw_model()[源代码]

返回底层模型。

predict(data, **kwargs)[源代码]
mlflow.keras.load.load_model(model_uri, dst_path=None, custom_objects=None, load_model_kwargs=None)[源代码]

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

从 MLflow 加载 Keras 模型。

此方法从 MLflow 加载一个已保存的 Keras 模型，并返回一个 Keras 模型实例。

参数:

  • model_uri – 保存的 Keras 模型在 MLflow 中的 URI。例如： - /Users/me/path/to/local/model - relative/path/to/local/model - s3://my_bucket/path/to/model - runs:/<mlflow_run_id>/run-relative/path/to/model - models:/<model_name>/<model_version> - models:/<model_name>/<stage> 有关支持的 URI 方案的更多信息，请参阅 引用工件。

  • dst_path – 要下载模型工件的本地文件系统路径。如果未指定，将创建一个本地输出路径。

  • custom_objects – keras.saving.load_model 中的 custom_objects 参数。

  • load_model_kwargs – keras.saving.load_model 的额外参数。

示例 
import keras
import mlflow
import numpy as np

model = keras.Sequential(
    [
        keras.Input([28, 28, 3]),
        keras.layers.Flatten(),
        keras.layers.Dense(2),
    ]
)
with mlflow.start_run() as run:
    mlflow.keras.log_model(model)

model_url = f"runs:/{run.info.run_id}/{model_path}"
loaded_model = mlflow.keras.load_model(model_url)

# Test the loaded model produces the same output for the same input as the model.
test_input = np.random.uniform(size=[2, 28, 28, 3])
np.testing.assert_allclose(
    keras.ops.convert_to_numpy(model(test_input)),
    loaded_model.predict(test_input),
)
返回:

一个 Keras 模型实例。

用于将 Keras 模型保存到 MLflow 的函数。

mlflow.keras.save.get_default_conda_env()[源代码]
返回:

通过调用 save_model() 和 log_model() 生成的 MLflow 模型的默认 Conda 环境。

mlflow.keras.save.get_default_pip_requirements()[源代码]
返回:

Keras flavor 生成的 MLflow Models 的默认 pip 需求列表。调用 save_model() 和 log_model() 会生成一个 pip 环境，该环境至少包含这些需求。

mlflow.keras.save.log_model(model, artifact_path, save_exported_model=False, conda_env=None, signature: ModelSignature = None, input_example: DataFrame | ndarray | dict | list | csr_matrix | csc_matrix | str | bytes | tuple = None, registered_model_name=None, await_registration_for=300, pip_requirements=None, extra_pip_requirements=None, save_model_kwargs=None, metadata=None)[源代码]

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

将 Keras 模型及其元数据记录到 MLflow 中。

此方法将 Keras 模型及其元数据（如模型签名和 conda 环境）保存到 MLflow。

参数:

  • model – keras.Model 的一个实例。要保存的 Keras 模型。

  • artifact_path – 记录模型工件的运行相对路径。

  • save_exported_model – 默认为 False。如果为 True，则以导出的模型格式保存 Keras 模型，否则以 .keras 格式保存。更多信息，请参阅 [Keras 文档](https://keras.io/guides/serialization_and_saving/)。

  • conda_env –

    一个Conda环境的字典表示形式，或Conda环境yaml文件的路径。如果提供，这将描述模型应运行的环境。至少，它应指定包含在 get_default_conda_env() 中的依赖项。如果为 None，则通过 mlflow.models.infer_pip_requirements() 推断的pip要求添加一个conda环境到模型中。如果要求推断失败，则回退到使用 get_default_pip_requirements()。来自 conda_env 的pip要求被写入一个pip requirements.txt 文件，完整的conda环境被写入 conda.yaml。以下是一个conda环境的字典表示形式的*示例*:

    {
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "keras==x.y.z"
            ],
        },
    ],
}

  • signature – 一个 ModelSignature 类的实例，描述了模型的输入和输出。如果没有指定但提供了 input_example，将根据提供的输入示例和模型自动推断签名。要在提供输入示例时禁用自动签名推断，请将 signature 设置为 False。要手动推断模型签名，请在具有有效模型输入（例如省略了目标列的训练数据集）和有效模型输出（例如在训练数据集上进行的模型预测）的数据集上调用 infer_signature()，例如：

  • input_example – 一个或多个有效的模型输入实例。输入示例用作提示，指示应向模型提供哪些数据。它将被转换为Pandas DataFrame，然后使用Pandas的面向分割的格式序列化为json，或者是一个numpy数组，其中示例将通过将其转换为列表来序列化为json。字节被base64编码。当``signature``参数为``None``时，输入示例用于推断模型签名。

  • registered_model_name – 默认为 None。如果设置，则在 registered_model_name 下创建一个模型版本，如果给定名称的注册模型不存在，则同时创建一个注册模型。

  • await_registration_for – 默认为 mlflow.tracking._model_registry.DEFAULT_AWAIT_MAX_SLEEP_SECONDS。等待模型版本完成创建并处于 READY 状态的秒数。默认情况下，函数等待五分钟。指定 0 或 None 以跳过等待。

  • pip_requirements – 可以是 pip 需求字符串的可迭代对象（例如 ["keras", "-r requirements.txt", "-c constraints.txt"]），或者是本地文件系统上的 pip 需求文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述该模型应运行的环境。如果为 None，则通过 mlflow.models.infer_pip_requirements() 从当前软件环境中推断出默认的需求列表。如果需求推断失败，则回退到使用 get_default_pip_requirements()。需求和约束都会自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会写入模型 conda 环境（conda.yaml）文件的 pip 部分。

  • extra_pip_requirements – 可以是 pip 需求字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），或者是本地文件系统上的 pip 需求文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述附加的 pip 需求，这些需求会被追加到根据用户当前软件环境自动生成的一组默认 pip 需求中。需求和约束会分别自动解析并写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。 .. 警告:: 以下参数不能同时指定： - conda_env - pip_requirements - extra_pip_requirements 这个示例 展示了如何使用 pip_requirements 和 extra_pip_requirements 指定 pip 需求。

  • save_model_kwargs – 默认为 None。一个包含要传递给 keras.Model.save 方法的 kwargs 的字典。

  • metadata – 传递给模型并在 MLmodel 文件中存储的自定义元数据字典。

示例 
import keras
import mlflow

model = keras.Sequential(
    [
        keras.Input([28, 28, 3]),
        keras.layers.Flatten(),
        keras.layers.Dense(2),
    ]
)
with mlflow.start_run() as run:
    mlflow.keras.log_model(model, "model")
mlflow.keras.save.save_model(model, path, save_exported_model=False, conda_env=None, mlflow_model=None, signature: ModelSignature = None, input_example: DataFrame | ndarray | dict | list | csr_matrix | csc_matrix | str | bytes | tuple = None, pip_requirements=None, extra_pip_requirements=None, save_model_kwargs=None, metadata=None)[源代码]

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

保存一个带有元数据的Keras模型。

此方法将 Keras 模型及其元数据（如模型签名和 conda 环境）保存到本地文件系统。此方法在 mlflow.keras.log_model() 内部调用。

参数:

  • model – keras.Model 的一个实例。要保存的 Keras 模型。

  • path – MLflow 模型将被保存的本地路径。

  • save_exported_model – 如果为 True，则以导出的模型格式保存 Keras 模型，否则以 .keras 格式保存。更多信息，请参阅 https://keras.io/guides/serialization_and_saving/。

  • conda_env –

    一个Conda环境的字典表示形式，或Conda环境yaml文件的路径。如果提供，这将描述模型应运行的环境。至少，它应指定包含在 get_default_conda_env() 中的依赖项。如果为 None，则通过 mlflow.models.infer_pip_requirements() 推断的pip要求添加一个conda环境到模型中。如果要求推断失败，则回退到使用 get_default_pip_requirements()。来自 conda_env 的pip要求被写入一个pip requirements.txt 文件，完整的conda环境被写入 conda.yaml。以下是一个conda环境的字典表示形式的*示例*:

    {
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "keras==x.y.z"
            ],
        },
    ],
}

  • mlflow_model – mlflow.models.Model 的一个实例，默认为 None。要添加 Keras 模型元数据的 MLflow 模型配置。如果为 None，将创建一个空白实例。

  • signature – 一个 ModelSignature 类的实例，描述了模型的输入和输出。如果没有指定但提供了 input_example，将根据提供的输入示例和模型自动推断签名。要在提供输入示例时禁用自动签名推断，请将 signature 设置为 False。要手动推断模型签名，请在具有有效模型输入（例如省略了目标列的训练数据集）和有效模型输出（例如在训练数据集上进行的模型预测）的数据集上调用 infer_signature()，例如：

  • input_example – 一个或多个有效的模型输入实例。输入示例用作提示，指示应向模型提供哪些数据。它将被转换为Pandas DataFrame，然后使用Pandas的面向分割的格式序列化为json，或者是一个numpy数组，其中示例将通过将其转换为列表来序列化为json。字节被base64编码。当``signature``参数为``None``时，输入示例用于推断模型签名。

  • pip_requirements – 可以是 pip 需求字符串的可迭代对象（例如 ["keras", "-r requirements.txt", "-c constraints.txt"]），或者是本地文件系统上的 pip 需求文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述该模型应运行的环境。如果为 None，则通过 mlflow.models.infer_pip_requirements() 从当前软件环境中推断出默认的需求列表。如果需求推断失败，则回退到使用 get_default_pip_requirements()。需求和约束都会自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会写入模型 conda 环境（conda.yaml）文件的 pip 部分。

  • extra_pip_requirements – 可以是 pip 需求字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），或者是本地文件系统上的 pip 需求文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述附加的 pip 需求，这些需求会被追加到根据用户当前软件环境自动生成的一组默认 pip 需求中。需求和约束会分别自动解析并写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。 .. 警告:: 以下参数不能同时指定： - conda_env - pip_requirements - extra_pip_requirements 这个示例 展示了如何使用 pip_requirements 和 extra_pip_requirements 指定 pip 需求。

  • save_model_kwargs – 传递给 keras.Model.save 方法的 kwargs 字典。

  • metadata – 传递给模型并在 MLmodel 文件中存储的自定义元数据字典。

示例 
import keras
import mlflow

model = keras.Sequential(
    [
        keras.Input([28, 28, 3]),
        keras.layers.Flatten(),
        keras.layers.Dense(2),
    ]
)
with mlflow.start_run() as run:
    mlflow.keras.save_model(model, "./model")