mlflow.transformers

用于 HuggingFace/transformer 支持的 MLflow 模块。

mlflow.transformers.autolog(log_input_examples=False, log_model_signatures=False, log_models=False, log_datasets=False, disable=False, exclusive=False, disable_for_unsupported_versions=False, silent=False, extra_tags=None)[源代码]

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

备注

Autologging 已知与以下包版本兼容：4.25.1 <= transformers <= 4.45.0。当使用此范围之外的包版本时，Autologging 可能无法成功。

此自动日志记录集成仅用于禁用与转换器模型训练和评估过程中创建的不相关子模型的虚假自动日志记录。转换器风格的自动日志记录功能并未完全实现。

mlflow.transformers.generate_signature_output(pipeline, data, model_config=None, params=None, flavor_config=None)[源代码]

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

用于生成响应输出的实用程序，目的是提取模型保存和日志记录的输出签名。此函数模拟加载已保存的模型或管道作为 pyfunc 模型，而无需写入磁盘。

参数:

  • pipeline – 一个 transformers 管道对象。请注意，提取输出示例时不允许使用组件级或模型级的输入。

  • data – 一个与给定管道兼容的示例输入

  • model_config – 任何额外的模型配置，作为 kwargs 提供，用于指示从管道推理调用输出的类型格式。

  • params – 一个包含要传递给推理管道的附加参数的字典。

  • flavor_config – 模型的风味配置。

返回:

pyfunc 管道包装器的 predict 方法的输出

mlflow.transformers.get_default_conda_env(model)[源代码]

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

返回:

基于要记录的模型的模型实例框架类型，为使用 transformers 风格生成的 MLflow 模型提供的默认 Conda 环境。

mlflow.transformers.get_default_pip_requirements(model) → List[str][源代码]

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

参数:

model – 为了提供所需的底层深度学习执行框架依赖项，需要保存的模型实例。请注意，这必须是实际的模型实例，而不是一个 Pipeline。

返回:

MLflow 模型默认的 pip 需求列表，这些模型是通过 transformers 风格生成的。调用 save_model() 和 log_model() 会生成一个 pip 环境，该环境至少包含这些需求。

mlflow.transformers.is_gpu_available()[源代码]
mlflow.transformers.load_model(model_uri: str, dst_path: str | None = None, return_type='pipeline', device=None, **kwargs)[源代码]

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

备注

MLflow Models 与 ‘transformers’ 的集成已知与以下包版本范围兼容：4.25.1 - 4.45.0。当使用此范围之外的包版本时，MLflow Models 与 transformers 的集成可能不会成功。

从本地文件或运行中加载一个 transformers 对象。

参数:

  • model_uri – MLflow 模型的位置，采用 URI 格式。例如： - /Users/me/path/to/local/model - relative/path/to/local/model - s3://my_bucket/path/to/model - runs:/<mlflow_run_id>/run-relative/path/to/model - mlflow-artifacts:/path/to/model 有关支持的 URI 方案的更多信息，请参阅 引用工件。

  • dst_path – 用于下载模型工件的本地文件系统路径。如果提供此目录，则必须已经存在。如果未指定，将创建一个本地输出路径。

  • return_type – 存储的 transformers 对象的返回类型修饰符。如果设置为“components”，返回类型将是一个字典，包含 Pipeline 或预训练模型的各个保存组件。专注于NLP的模型通常会包含如下所示的返回表示，以文本分类为例： .. code-block:: python

  • device – 加载模型的设备。默认为 None。使用 0 加载到默认 GPU。

  • kwargs – 加载 transformers 对象的可选配置选项。有关参数及其使用方法的信息，请参阅 transformers 文档。

返回:

一个 transformers 模型实例或组件的字典

mlflow.transformers.log_model(transformers_model, artifact_path: str, processor=None, task: str | None = None, torch_dtype: torch.dtype | None = None, model_card=None, inference_config: Dict[str, Any] | None = None, code_paths: List[str] | None = None, registered_model_name: str | None = None, signature: ModelSignature | None = None, input_example: ModelInputExample | None = None, await_registration_for=300, pip_requirements: List[str] | str | None = None, extra_pip_requirements: List[str] | str | None = None, conda_env=None, metadata: Dict[str, Any] | None = None, model_config: Dict[str, Any] | None = None, example_no_conversion: bool | None = None, prompt_template: str | None = None, save_pretrained: bool = True, **kwargs)[源代码]

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

备注

MLflow Models 与 ‘transformers’ 的集成已知与以下包版本范围兼容：4.25.1 - 4.45.0。当使用此范围之外的包版本时，MLflow Models 与 transformers 的集成可能不会成功。

将 transformers 对象记录为当前运行的 MLflow 工件。请注意，使用自定义代码（即需要 trust_remote_code=True 的模型）记录 transformers 模型需要 transformers >= 4.26.0。

参数:

  • transformers_model –

    要保存的转换器模型。这可以是以下格式之一：

    1. 一个 transformers Pipeline 实例。

    2. 一个将管道的必需组件映射到命名键的字典

      [“模型”, “图像处理器”, “分词器”, “特征提取器”] 之一。字典中的 model 键必须映射到一个继承自 PreTrainedModel、TFPreTrainedModel 或 FlaxPreTrainedModel 的值。字典中的所有其他组件条目必须支持与基础模型类型配置相关联的定义任务类型。

    3. 表示指向包含模型的本地/DBFS目录路径的字符串

      检查点。目录必须包含一个 config.json 文件，这是加载 transformers 模型所必需的。这在记录无法加载到内存中进行序列化的模型时特别有用。

    从默认管道实例化指定 Pipeline 的示例：

    from transformers import pipeline

qa_pipe = pipeline("question-answering", "csarron/mobilebert-uncased-squad-v2")

with mlflow.start_run():
    mlflow.transformers.log_model(
        transformers_model=qa_pipe,
        artifact_path="model",
    )

    下面展示了指定变压器模型组件级部分的示例：

    from transformers import MobileBertForQuestionAnswering, AutoTokenizer

architecture = "csarron/mobilebert-uncased-squad-v2"
tokenizer = AutoTokenizer.from_pretrained(architecture)
model = MobileBertForQuestionAnswering.from_pretrained(architecture)

with mlflow.start_run():
    components = {
        "model": model,
        "tokenizer": tokenizer,
    }
    mlflow.transformers.log_model(
        transformers_model=components,
        artifact_path="model",
    )

    指定本地检查点路径的示例如下所示：

    with mlflow.start_run():
    mlflow.transformers.log_model(
        transformers_model="path/to/local/checkpoint",
        artifact_path="model",
    )

  • artifact_path – 序列化模型保存的本地路径目标。

  • processor – 一个可选的 Processor 子类对象。某些模型架构，特别是多模态类型，使用处理器将文本编码和图像或音频编码结合在一个入口点中。 .. 注意:: 如果在记录模型时提供了处理器，则该模型将无法作为 Pipeline 加载或用于 pyfunc 推理。

  • task – 模型的特定于转换器的任务类型。这些字符串被用来创建一个管道，使其具有适当的内部调用架构，以满足给定模型的需求。如果未指定此参数，则将使用转换器库中的管道工具来推断正确的任务类型。如果指定的值不是当前安装的转换器版本中支持的类型，则会抛出异常。

  • torch_dtype – 加载模型时应用的 Pytorch dtype。当你想以与训练时不同的特定 dtype 保存模型时，这很有用。如果未指定，将使用模型实例的当前 dtype。

  • model_card – 来自 huggingface-hub 的可选 ModelCard 实例。如果提供，模型卡的内容将与提供的 transformers_model 一起保存。如果未提供，将尝试从提供的基预训练模型（或包含在提供的 Pipeline 中的模型）中获取卡片。 .. 注意:: 为了获取模型卡（如果未提供），

  • inference_config –

    警告

    已弃用。inference_config 已被 model_config 取代。

  • model_config – 在推理过程中可以应用于管道实例的有效覆盖字典。这些参数仅用于将模型作为 pyfunc 模型加载或在 Spark 中使用的情况。这些值不会应用于从 mlflow.transformers.load_model() 调用返回的管道。 .. 警告:: 如果提供的键与任务提供的管道实例不兼容，或者不是模型中任何可用参数的有效覆盖，则在运行时将引发异常。在保存或记录之前，验证此字典中的条目以确保它们有效非常重要。 提供问题生成模型覆盖的示例： .. code-block:: python

  • code_paths – 本地文件系统路径列表，指向Python文件依赖项（或包含文件依赖项的目录）。这些文件在加载模型时会被*前置*到系统路径中。如果为给定模型声明了依赖关系，则应从公共根路径声明相对导入，以避免在加载模型时出现导入错误。有关``code_paths``功能的详细解释、推荐的使用模式和限制，请参阅`code_paths使用指南 <https://mlflow.org/docs/latest/model/dependencies.html?highlight=code_paths#saving-extra-code-with-an-mlflow-model>`_。

  • registered_model_name – 此参数可能在未来的版本中更改或移除，且不会提前警告。如果提供，将在 registered_model_name 下创建一个模型版本，如果给定名称的注册模型不存在，则同时创建一个注册模型。

  • signature – 一个描述模型输入和输出模式的 Model Signature 对象。可以使用 mlflow.models.signature 的 infer_signature 函数推断模型签名。

  • input_example – 一个或多个有效的模型输入实例。输入示例用作提示，指示应向模型提供哪些数据。它将被转换为Pandas DataFrame，然后使用Pandas的面向分割的格式序列化为json，或者是一个numpy数组，其中示例将通过将其转换为列表来序列化为json。字节被base64编码。当``signature``参数为``None``时，输入示例用于推断模型签名。

  • await_registration_for – 等待模型版本完成创建并处于 READY 状态的秒数。默认情况下，函数等待五分钟。指定 0 或 None 以跳过等待。

  • pip_requirements – 可以是 pip 需求字符串的可迭代对象（例如 ["transformers", "-r requirements.txt", "-c constraints.txt"]），或者是本地文件系统上的 pip 需求文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述该模型应运行的环境。如果为 None，则通过 mlflow.models.infer_pip_requirements() 从当前软件环境中推断默认的需求列表。如果需求推断失败，则回退到使用 get_default_pip_requirements()。需求和约束都会自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会写入模型 conda 环境（conda.yaml）文件的 pip 部分。

  • extra_pip_requirements – 可以是 pip 需求字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），或者是本地文件系统上的 pip 需求文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述附加的 pip 需求，这些需求会被追加到根据用户当前软件环境自动生成的一组默认 pip 需求中。需求和约束会分别自动解析并写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。 .. 警告:: 以下参数不能同时指定： - conda_env - pip_requirements - extra_pip_requirements 这个示例 展示了如何使用 pip_requirements 和 extra_pip_requirements 指定 pip 需求。

  • conda_env –

    一个Conda环境的字典表示形式，或Conda环境yaml文件的路径。如果提供，这将描述模型应运行的环境。至少，它应指定包含在 get_default_conda_env() 中的依赖项。如果为 None，则通过 mlflow.models.infer_pip_requirements() 推断的pip要求添加一个conda环境到模型中。如果要求推断失败，则回退到使用 get_default_pip_requirements()。来自 conda_env 的pip要求被写入一个pip requirements.txt 文件，完整的conda环境被写入 conda.yaml。以下是一个conda环境的字典表示形式的*示例*:

    {
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "transformers==x.y.z"
            ],
        },
    ],
}

  • metadata – 传递给模型并在 MLmodel 文件中存储的自定义元数据字典。

  • example_no_conversion – 此参数已被弃用，并将在未来的版本中移除。它不再使用，可以安全地移除。输入示例不再被转换。

  • prompt_template – 如果提供，将用于在推理之前格式化用户输入的字符串。该字符串应包含一个占位符 {prompt}，它将被用户的输入替换。例如："回答以下问题。Q: {prompt} A:"。目前，仅支持以下管道类型： - 特征提取 - 填空 - 摘要生成 - 文本到文本生成 - 文本生成

  • save_pretrained – 如果设置为 False，MLflow 将不会保存 Transformer 模型权重文件，而是仅保存对 HuggingFace Hub 模型仓库及其提交哈希的引用。当你从 HuggingFace Hub 加载预训练模型并希望在不修改模型权重的情况下将其记录或保存到 MLflow 时，这非常有用。在这种情况下，将此标志指定为 False 将节省存储空间并减少保存模型的时间。请参阅 存储高效模型记录 以获取更详细的使用说明。

  • kwargs – 用于 mlflow.models.model.Model 的额外参数

mlflow.transformers.persist_pretrained_model(model_uri: str) → None[源代码]

将预训练的 Transformers 模型权重持久化到指定 model_uri 的 artifacts 目录中。此 API 主要用于更新已记录或保存时设置 save_pretrained=False 的 MLflow 模型。由于 artifacts 中缺少完整的预训练模型权重，此类模型无法注册到 Databricks Workspace Model Registry。以这种方式保存的 Transformers 模型仅存储对 HuggingFace Hub 仓库的引用。此 API 将从 HuggingFace Hub 仓库下载模型权重，并将其保存在给定 model_uri 的 artifacts 中，以便该模型可以注册到 Databricks Workspace Model Registry。

参数:

model_uri – 现有 Transformers 风格的 MLflow 模型的 URI。它必须在使用 save_pretrained=False 的情况下记录/保存。

示例：

import mlflow

# Saving a model with save_pretrained=False
with mlflow.start_run() as run:
    model = pipeline("question-answering", "csarron/mobilebert-uncased-squad-v2")
    mlflow.transformers.log_model(
        transformers_model=model, artifact_path="pipeline", save_pretrained=False
    )

# The model cannot be registered to the Model Registry as it is
try:
    mlflow.register_model(f"runs:/{run.info.run_id}/pipeline", "qa_pipeline")
except MlflowException as e:
    print(e.message)

# Use this API to persist the pretrained model weights
mlflow.transformers.persist_pretrained_model(f"runs:/{run.info.run_id}/pipeline")

# Now the model can be registered to the Model Registry
mlflow.register_model(f"runs:/{run.info.run_id}/pipeline", "qa_pipeline")
mlflow.transformers.save_model(transformers_model, path: str, processor=None, task: str | None = None, torch_dtype: torch.dtype | None = None, model_card=None, inference_config: Dict[str, Any] | None = None, code_paths: List[str] | None = None, mlflow_model: Model | None = None, signature: ModelSignature | None = None, input_example: ModelInputExample | None = None, pip_requirements: List[str] | str | None = None, extra_pip_requirements: List[str] | str | None = None, conda_env=None, metadata: Dict[str, Any] | None = None, model_config: Dict[str, Any] | None = None, example_no_conversion: bool | None = None, prompt_template: str | None = None, save_pretrained: bool = True, **kwargs) → None[源代码]

备注

实验性功能：此功能可能在未来的版本中无警告地更改或移除。

备注

MLflow Models 与 ‘transformers’ 的集成已知与以下包版本范围兼容：4.25.1 - 4.45.0。当使用此范围之外的包版本时，MLflow Models 与 transformers 的集成可能不会成功。

将训练好的 transformers 模型保存到本地文件系统的一个路径。请注意，使用自定义代码保存 transformers 模型（即需要 trust_remote_code=True 的模型）需要 transformers >= 4.26.0。

参数:

  • transformers_model – 要保存的transformers模型。这可以是以下格式之一：

  • path – 序列化模型保存的本地路径目标。

  • processor – 一个可选的 Processor 子类对象。一些模型架构，特别是多模态类型，使用处理器来将文本编码和图像或音频编码结合在一个入口点。 .. 注意:: 如果在保存模型时提供了处理器，该模型将无法作为 Pipeline 加载，也无法用于 pyfunc 推理。

  • task – 模型的特定于转换器的任务类型，或 MLflow 推理任务类型。如果提供了特定于转换器的任务类型，这些字符串将被利用，以便可以使用适当的内部调用架构创建管道，以满足给定模型的需求。如果此参数作为推理任务类型提供或未指定，则将使用转换器库中的管道实用程序来推断正确的任务类型。如果指定的值不是受支持的类型，将抛出异常。

  • torch_dtype – 加载模型时应用的 Pytorch dtype。当你想以与训练时不同的特定 dtype 保存模型时，这很有用。如果未指定，将使用模型实例的当前 dtype。

  • model_card – 一个来自 huggingface-hub 的可选 ModelCard 实例。如果提供，模型卡的内容将与提供的 transformers_model 一起保存。如果没有提供，将尝试从提供的基预训练模型（或包含在提供的 Pipeline 中的模型）中获取卡片。.. 注意:: 为了获取模型卡（如果未提供），必须安装 huggingface_hub 包，并且版本必须 >=0.10.0

  • inference_config –

    警告

    已弃用。inference_config 已被 model_config 取代。

  • model_config – 在推理过程中可以应用于管道实例的有效覆盖字典。这些参数仅用于将模型作为 pyfunc 模型加载或在 Spark 中使用的情况。这些值不会应用于从 mlflow.transformers.load_model() 调用返回的管道。 .. 警告:: 如果提供的键与任务提供的管道实例不兼容，或者不是模型中任何可用参数的有效覆盖，则在运行时将引发异常。在保存或记录之前，验证此字典中的条目以确保它们有效非常重要。 提供问题生成模型覆盖的示例： .. code-block:: python

  • code_paths – 本地文件系统路径列表，指向Python文件依赖项（或包含文件依赖项的目录）。这些文件在加载模型时会被*前置*到系统路径中。如果为给定模型声明了依赖关系，则应从公共根路径声明相对导入，以避免在加载模型时出现导入错误。有关``code_paths``功能的详细解释、推荐的使用模式和限制，请参阅`code_paths使用指南 <https://mlflow.org/docs/latest/model/dependencies.html?highlight=code_paths#saving-extra-code-with-an-mlflow-model>`_。

  • mlflow_model – 一个指定此模型所添加到的格式的 MLflow 模型对象。

  • signature – 一个描述模型输入和输出模式的模型签名对象。可以使用 mlflow.models.signature 的 infer_signature 函数推断模型签名。

  • input_example – 一个或多个有效的模型输入实例。输入示例用作提示，指示应向模型提供哪些数据。它将被转换为Pandas DataFrame，然后使用Pandas的面向分割的格式序列化为json，或者是一个numpy数组，其中示例将通过将其转换为列表来序列化为json。字节被base64编码。当``signature``参数为``None``时，输入示例用于推断模型签名。

  • pip_requirements – 可以是 pip 需求字符串的可迭代对象（例如 ["transformers", "-r requirements.txt", "-c constraints.txt"]），或者是本地文件系统上的 pip 需求文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述该模型应运行的环境。如果为 None，则通过 mlflow.models.infer_pip_requirements() 从当前软件环境中推断默认的需求列表。如果需求推断失败，则回退到使用 get_default_pip_requirements()。需求和约束都会自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会写入模型 conda 环境（conda.yaml）文件的 pip 部分。

  • extra_pip_requirements – 可以是 pip 需求字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），或者是本地文件系统上的 pip 需求文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述附加的 pip 需求，这些需求会被追加到根据用户当前软件环境自动生成的一组默认 pip 需求中。需求和约束会分别自动解析并写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。 .. 警告:: 以下参数不能同时指定： - conda_env - pip_requirements - extra_pip_requirements 这个示例 展示了如何使用 pip_requirements 和 extra_pip_requirements 指定 pip 需求。

  • conda_env –

    一个Conda环境的字典表示形式，或Conda环境yaml文件的路径。如果提供，这将描述模型应运行的环境。至少，它应指定包含在 get_default_conda_env() 中的依赖项。如果为 None，则通过 mlflow.models.infer_pip_requirements() 推断的pip要求添加一个conda环境到模型中。如果要求推断失败，则回退到使用 get_default_pip_requirements()。来自 conda_env 的pip要求被写入一个pip requirements.txt 文件，完整的conda环境被写入 conda.yaml。以下是一个conda环境的字典表示形式的*示例*:

    {
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "transformers==x.y.z"
            ],
        },
    ],
}

  • metadata – 传递给模型并在 MLmodel 文件中存储的自定义元数据字典。

  • example_no_conversion – 此参数已被弃用，并将在未来的版本中移除。它不再使用，可以安全地移除。输入示例不再被转换。

  • prompt_template – 如果提供，将用于在推理之前格式化用户输入的字符串。该字符串应包含一个占位符 {prompt}，它将被用户的输入替换。例如："回答以下问题。Q: {prompt} A:"。目前，仅支持以下管道类型： - 特征提取 - 填空 - 摘要生成 - 文本到文本生成 - 文本生成

  • save_pretrained – 如果设置为 False，MLflow 将不会保存 Transformer 模型权重文件，而是仅保存对 HuggingFace Hub 模型仓库及其提交哈希的引用。当你从 HuggingFace Hub 加载预训练模型并希望在不修改模型权重的情况下将其记录或保存到 MLflow 时，这非常有用。在这种情况下，将此标志指定为 False 将节省存储空间并减少保存模型的时间。请参阅 存储高效模型记录 以获取更详细的使用说明。

  • kwargs – 用于转换器序列化的可选附加配置。