mlflow.openai

该 mlflow.openai 模块提供用于记录和加载 OpenAI 模型的 API。

在 Databricks 上的 OpenAI 凭证管理

警告

为模型服务指定 secrets（使用 MLFLOW_OPENAI_SECRET_SCOPE）已被弃用。请改用 secrets-based environment variables。

当该 flavor 在 Databricks 上将模型记录时，如果设置了MLFLOW_OPENAI_SECRET_SCOPE环境变量，它会将包含以下内容的 YAML 文件保存为openai.yaml。

OPENAI_API_BASE: {scope}:openai_api_base
OPENAI_API_KEY: {scope}:openai_api_key
OPENAI_API_KEY_PATH: {scope}:openai_api_key_path
OPENAI_API_TYPE: {scope}:openai_api_type
OPENAI_ORGANIZATION: {scope}:openai_organization

  • {scope} 是 MLFLOW_OPENAI_SECRET_SCOPE 环境变量的值。

  • 这些键是 openai-python 包用于配置 API 客户端的环境变量。

  • The values are the references to the secrets that store the values of the environment variables.

当在 Databricks 上提供已记录的模型时，每个 secret 都会被解析并设置为相应的环境变量。有关如何在 Databricks 上设置 secrets，请参阅 https://docs.databricks.com/security/secrets/index.html。

mlflow.openai.autolog(disable=False, exclusive=False, disable_for_unsupported_versions=False, silent=False, log_traces=True)[source]

启用（或禁用）并配置从 OpenAI 到 MLflow 的 autologging。如果 OpenAI 版本 < 1.0，则会引发 MlflowException。

Parameters

  • disable – 如果 True，禁用 OpenAI autologging integration。如果 False，启用 OpenAI autologging integration。

  • exclusive – 如果 True，自动记录的内容不会记录到用户创建的 fluent 运行。 如果 False，自动记录的内容会记录到活动的 fluent 运行，该运行可能是用户创建的。

  • disable_for_unsupported_versions – 如果 True，则对未经此版本 MLflow 客户端测试或不兼容的 OpenAI 版本禁用自动日志记录。

  • silent – 如果 True，在 OpenAI autologging 期间抑制来自 MLflow 的所有事件日志和警告。如果 False，在 OpenAI autologging 期间显示所有事件和警告。

  • log_traces – 如果 True，将为 OpenAI 模型记录跟踪信息。如果 False，推理期间不收集任何跟踪信息。默认值为 True。

mlflow.openai.load_model(model_uri, dst_path=None)[source]

从本地文件或运行中加载 OpenAI 模型。

Parameters

  • model_uri –

    MLflow 模型的 URI 格式的位置。例如：

    • /Users/me/path/to/local/model

    • relative/path/to/local/model

    • s3://my_bucket/path/to/model

    • runs://run-relative/path/to/model

    有关受支持的 URI 方案的更多信息，请参见 Referencing Artifacts。

  • dst_path – 要将模型工件下载到的本地文件系统路径。该目录必须已存在。如果未指定，将创建一个本地输出路径。

Returns

表示 OpenAI 模型的字典。

mlflow.openai.log_model(model, task, artifact_path: str | None = None, conda_env=None, code_paths=None, registered_model_name=None, signature: mlflow.models.signature.ModelSignature = None, input_example: Union[pandas.core.frame.DataFrame, numpy.ndarray, dict, list, csr_matrix, csc_matrix, str, bytes, tuple] = None, await_registration_for=300, pip_requirements=None, extra_pip_requirements=None, metadata=None, prompts: list[str | Prompt] | None = None, name: str | None = None, params: dict[str, typing.Any] | None = None, tags: dict[str, typing.Any] | None = None, model_type: str | None = None, step: int = 0, model_id: str | None = None, **kwargs)[source]

将 OpenAI 模型记录为当前运行的 MLflow artifact。

Parameters

  • model – OpenAI 模型的名称或引用实例，例如，openai.Model.retrieve("gpt-4o-mini").

  • task – 模型正在执行的任务，例如 openai.chat.completions 或 'chat.completions'。

  • artifact_path – 已弃用。请改用 name。

  • conda_env –

    要么是 Conda 环境的字典表示，要么是指向 conda 环境 yaml 文件的路径。如果提供，该项描述了应在其中运行此模型的环境。至少应指定包含在 get_default_conda_env() 中的依赖项。如果 None，则将添加一个 conda 环境，该环境带有通过 mlflow.models.infer_pip_requirements() 推断出的 pip 依赖项。如果依赖推断失败，则回退使用 get_default_pip_requirements。来自 conda_env 的 pip 依赖项将写入 pip 文件 requirements.txt，完整的 conda 环境将写入 conda.yaml。下面是 conda 环境的一个示例字典表示：

    {
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "openai==x.y.z"
            ],
        },
    ],
}

  • code_paths –

    本地文件系统中指向 Python 文件依赖（或包含文件依赖的目录）路径的列表。这些文件在模型加载时会被预先添加到系统路径中。如果为某个模型声明了依赖文件且多个文件之间存在导入依赖关系，那么这些文件应从一个共同的根路径声明相对导入，以避免在加载模型时发生导入错误。

    有关 code_paths 功能、推荐的使用模式和限制的详细说明，请参阅 code_paths usage guide。

  • registered_model_name – 如果提供，将在 registered_model_name 下创建一个模型版本，并在不存在同名的注册模型时创建该注册模型。

  • signature –

    ModelSignature 描述模型输入和输出 Schema。 模型签名可以从具有有效模型输入（例如省略目标列的训练数据集）和有效模型输出（例如在训练数据集上生成的模型预测）的数据集中inferred，例如：

    from mlflow.models import infer_signature

train = df.drop_column("target_label")
predictions = ...  # 计算模型预测
signature = infer_signature(train, predictions)

  • input_example – 一个或多个有效模型输入实例。输入示例用于提示应向模型提供何种数据。它将被转换为一个 Pandas DataFrame，然后使用 Pandas 的 split-oriented 格式序列化为 json，或者转换为一个 numpy array，其中示例将通过将其转换为列表的方式序列化为 json。字节使用 base64 编码。当 signature 参数为 None 时，输入示例用于推断模型签名。

  • await_registration_for – 等待模型版本完成创建并处于 READY 状态的秒数。默认情况下，函数等待五分钟。指定 0 或 None 可跳过等待。

  • pip_requirements – 可以是 pip 要求字符串的可迭代对象（例如 ["openai", "-r requirements.txt", "-c constraints.txt"]）或本地文件系统上 pip requirements 文件的字符串路径（例如 "requirements.txt"）。如果提供，该字段描述了运行此模型所需的环境。如果 None，则会由 mlflow.models.infer_pip_requirements() 从当前软件环境推断出默认的依赖列表。如果依赖推断失败，则回退使用 get_default_pip_requirements。依赖和约束会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分进行存储。依赖还会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。

  • extra_pip_requirements –

    要么是一个 pip 需求字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），要么是本地文件系统上 pip requirements 文件的字符串路径（例如 "requirements.txt"）。如果提供，该参数描述了附加的 pip 依赖，这些依赖会被追加到基于用户当前软件环境自动生成的默认 pip 依赖集合中。requirements 和 constraints 会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖项也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。

    警告

    以下参数不能同时指定：

    • conda_env

    • pip_requirements

    • extra_pip_requirements

    This example 演示了如何使用 pip_requirements 和 extra_pip_requirements 指定 pip 依赖。

  • metadata – 传递给模型并存储在 MLmodel 文件中的自定义元数据字典。

  • prompts –

    一个在 MLflow Prompt Registry 注册的 prompt URI 列表，用于与模型关联。 Each prompt URI should be in the form prompt:/<name>/<version>. 在与模型关联之前，这些 prompt 应该先在 MLflow Prompt Registry 中注册。

    这将在模型和 prompt 之间创建相互链接。关联的 prompt 可以在存储于 MLmodel 文件中的模型元数据中看到。通过 Prompt Registry UI，你也可以导航到该模型。

    import mlflow

prompt_template = "Hi, {name}! How are you doing today?"

# 在 MLflow Prompt Registry 中注册一个 prompt
mlflow.prompts.register_prompt("my_prompt", prompt_template, description="A simple prompt")

# 使用已注册的 prompt 记录模型
with mlflow.start_run():
    model_info = mlflow.pyfunc.log_model(
        name=MyModel(),
        name="model",
        prompts=["prompt:/my_prompt/1"]
    )

print(model_info.prompts)
# 输出：['prompt:/my_prompt/1']

# 加载 prompt
prompt = mlflow.genai.load_prompt(model_info.prompts[0])

  • name – 模型名称。

  • params – 一个用于与模型一同记录的参数字典。

  • tags – 一个要与模型一起记录的标签字典。

  • model_type – 模型的类型。

  • step – 在该步记录模型输出和指标

  • model_id – 模型的 ID。

  • kwargs – 针对 OpenAI 任务的关键字参数，例如 messages（参见 Supported messages formats for OpenAI chat completion task 以获取有关此参数的更多详细信息） 或用于聊天完成的 top_p 值。

Returns

一个 ModelInfo 实例，包含已记录模型的元数据。

Example 
import mlflow
import openai
import pandas as pd

# Chat
with mlflow.start_run():
    info = mlflow.openai.log_model(
        model="gpt-4o-mini",
        task=openai.chat.completions,
        messages=[{"role": "user", "content": "Tell me a joke about {animal}."}],
        name="model",
    )
    model = mlflow.pyfunc.load_model(info.model_uri)
    df = pd.DataFrame({"animal": ["cats", "dogs"]})
    print(model.predict(df))

# Embeddings
with mlflow.start_run():
    info = mlflow.openai.log_model(
        model="text-embedding-ada-002",
        task=openai.embeddings,
        name="embeddings",
    )
    model = mlflow.pyfunc.load_model(info.model_uri)
    print(model.predict(["hello", "world"]))
mlflow.openai.save_model(model, task, path, conda_env=None, code_paths=None, mlflow_model=None, signature: mlflow.models.signature.ModelSignature = None, input_example: Union[pandas.core.frame.DataFrame, numpy.ndarray, dict, list, csr_matrix, csc_matrix, str, bytes, tuple] = None, pip_requirements=None, extra_pip_requirements=None, metadata=None, **kwargs)[source]

将 OpenAI 模型保存到本地文件系统的路径上。

Parameters

  • model – OpenAI 模型名称。

  • task – 模型正在执行的任务，例如 openai.chat.completions 或 'chat.completions'.

  • path – 模型要保存的本地路径。

  • conda_env –

    可以是 Conda 环境的字典表示，也可以是 conda 环境 yaml 文件的路径。如果提供，该项描述了运行此模型所需的环境。至少，它应当指定 get_default_conda_env() 中包含的依赖项。如果 None，则会将由 mlflow.models.infer_pip_requirements() 推断出的 pip 依赖添加到模型的 conda 环境中。如果依赖推断失败，则回退使用 get_default_pip_requirements。来自 conda_env 的 pip 依赖会写入到 pip requirements.txt 文件中并且完整的 conda 环境会写入到 conda.yaml。 以下是一个 示例 的 conda 环境字典表示：

    {
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "openai==x.y.z"
            ],
        },
    ],
}

  • code_paths –

    本地文件系统中指向 Python 文件依赖（或包含文件依赖的目录）路径的列表。这些文件在模型加载时会被预先添加到系统路径中。如果为某个模型声明了依赖文件且多个文件之间存在导入依赖关系，那么这些文件应从一个共同的根路径声明相对导入，以避免在加载模型时发生导入错误。

    有关 code_paths 功能、推荐的使用模式和限制的详细说明，请参阅 code_paths usage guide。

  • mlflow_model – mlflow.models.Model 此 flavor 正在被添加到。

  • signature –

    ModelSignature 描述模型输入和输出 Schema。 模型签名可以从具有有效模型输入（例如省略目标列的训练数据集）和有效模型输出（例如在训练数据集上生成的模型预测）的数据集中inferred，例如：

    from mlflow.models import infer_signature

train = df.drop_column("target_label")
predictions = ...  # 计算模型预测
signature = infer_signature(train, predictions)

  • input_example – 一个或多个有效模型输入实例。输入示例用于提示应向模型提供何种数据。它将被转换为一个 Pandas DataFrame，然后使用 Pandas 的 split-oriented 格式序列化为 json，或者转换为一个 numpy array，其中示例将通过将其转换为列表的方式序列化为 json。字节使用 base64 编码。当 signature 参数为 None 时，输入示例用于推断模型签名。

  • pip_requirements – 可以是一个 pip 需求字符串的可迭代对象（例如 ["openai", "-r requirements.txt", "-c constraints.txt"]）或本地文件系统上 pip requirements 文件的字符串路径（例如 "requirements.txt"）。如果提供，它描述了运行此模型应使用的环境。如果 None，则由 mlflow.models.infer_pip_requirements() 从当前软件环境推断出默认的依赖列表。如果依赖推断失败，则回退使用 get_default_pip_requirements。需求和约束会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会写入模型的 conda 环境（conda.yaml）文件的 pip 部分。

  • extra_pip_requirements –

    要么是一个 pip 需求字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），要么是本地文件系统上 pip requirements 文件的字符串路径（例如 "requirements.txt"）。如果提供，该参数描述了附加的 pip 依赖，这些依赖会被追加到基于用户当前软件环境自动生成的默认 pip 依赖集合中。requirements 和 constraints 会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖项也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。

    警告

    以下参数不能同时指定：

    • conda_env

    • pip_requirements

    • extra_pip_requirements

    This example 演示了如何使用 pip_requirements 和 extra_pip_requirements 指定 pip 依赖。

  • metadata – 传递给模型并存储在 MLmodel 文件中的自定义元数据字典。

  • kwargs – 特定于 OpenAI 任务的关键字参数，例如 messages（参见 Supported messages formats for OpenAI chat completion task 以获取有关此参数的更多详细信息） 或用于 chat completion 的 top_p 值。

import mlflow
import openai

# Chat
mlflow.openai.save_model(
    model="gpt-4o-mini",
    task=openai.chat.completions,
    messages=[{"role": "user", "content": "Tell me a joke."}],
    path="model",
)

# Completions
mlflow.openai.save_model(
    model="text-davinci-002",
    task=openai.completions,
    prompt="{text}. The general sentiment of the text is",
    path="model",
)

# Embeddings
mlflow.openai.save_model(
    model="text-embedding-ada-002",
    task=openai.embeddings,
    path="model",
)