mlflow.dspy

mlflow.dspy.autolog(log_traces: bool = True, log_traces_from_compile: bool = False, log_traces_from_eval: bool = True, log_compiles: bool = False, log_evals: bool = False, disable: bool = False, silent: bool = False)[source]

启用（或禁用）并配置从 DSPy 到 MLflow 的自动记录。目前，MLflow 的 DSPy flavor 仅支持追踪的自动记录。

Parameters

log_traces – 如果 True，则为 DSPy 模型记录跟踪信息。如果 False，推理期间不会收集任何跟踪信息。默认值为 True。
log_traces_from_compile – 如果 True，则在编译（优化） DSPy 程序时记录跟踪。如果 False，则仅在正常模型推理时记录跟踪，编译时禁用。默认值为 False。
log_traces_from_eval – 如果 True，在运行 DSPy 的 built-in evaluator 时，会为 DSPy 模型记录跟踪信息。如果 False，跟踪信息只会在正常模型推理时记录，并在运行评估器时被禁用。默认值为 True。
log_compiles – 如果 True，在调用 Teleprompter.compile() 时会记录关于优化过程的信息。
log_evals – 如果 True，在调用 Evaluate.__call__() 时，将记录有关评估调用的信息。
disable – 如果 True，则禁用 DSPy 的 autologging 集成。如果 False，则启用 DSPy 的 autologging 集成。
silent – 如果 True，在 DSPy 自动记录期间抑制来自 MLflow 的所有事件日志和警告。如果 False，显示所有事件和警告。

mlflow.dspy.load_model(model_uri, dst_path=None)[source]

从运行中加载 Dspy 模型。

该函数还会将已保存的设置应用到全局 dspy 设置 dspy.settings。

Parameters

model_uri –
MLflow 模型的 URI 格式位置。例如：
- /Users/me/path/to/local/model
- relative/path/to/local/model
- s3://my_bucket/path/to/model
- runs:/<mlflow_run_id>/run-relative/path/to/model
- mlflow-artifacts:/path/to/model
有关受支持的 URI 方案的更多信息，请参见 Referencing Artifacts.
dst_path – 用于下载模型工件的本地文件系统路径。该目录如果提供，必须已存在。如果未指定，将创建一个本地输出路径。

Returns

一个 dspy.module 实例，表示 dspy 模型。

将 Dspy 模型连同元数据记录到 MLflow。

此方法将 Dspy 模型及其元数据（例如模型签名和 conda 环境）保存到 MLflow。

Parameters

dspy_model – 一个 dspy.Module 的实例。要保存的 Dspy 模型。
artifact_path – 已弃用。请改用 name。
task – 默认值为 None。模型的任务类型。当前只能是 llm/v1/chat 或 None。
model_config – 在实例化时传递给 Dspy Module 的关键字参数。
code_paths –
本地文件系统中指向 Python 文件依赖（或包含文件依赖的目录）路径的列表。这些文件在模型加载时会被预先添加到系统路径中。如果为某个模型声明了依赖文件且多个文件之间存在导入依赖关系，那么这些文件应从一个共同的根路径声明相对导入，以避免在加载模型时发生导入错误。

有关 code_paths 功能、推荐的使用模式和限制的详细说明，请参阅 code_paths usage guide。
conda_env –
要么是 Conda 环境的字典表示，要么是指向 conda 环境 yaml 文件的路径。如果提供，该字段描述了应在何种环境中运行该模型。至少，它应当指定包含在 get_default_conda_env() 中的依赖项。如果 None，则会将通过 mlflow.models.infer_pip_requirements() 推断的 pip 依赖添加到模型的 conda 环境中。如果依赖推断失败，则回退使用 get_default_pip_requirements。来自 conda_env 的 pip 依赖将写入 pip requirements.txt 文件，而完整的 conda 环境将写入 conda.yaml。以下是一个示例的 conda 环境字典表示：
```
{
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "dspy==x.y.z"
            ],
        },
    ],
}
```
signature –
一个 ModelSignature 类的实例，用于描述模型的输入和输出。如果未指定但提供了 input_example，则会根据提供的输入示例和模型自动推断签名。要在提供输入示例时禁用自动签名推断，请将 signature 设置为 False。要手动推断模型签名，请在具有有效模型输入，例如省略了目标列的训练数据集，以及有效模型输出，例如在训练数据集上生成的模型预测的数据集上调用 infer_signature()，例如：
```
from mlflow.models import infer_signature

train = df.drop_column("target_label")
predictions = ...  # 计算模型预测
signature = infer_signature(train, predictions)
```
input_example – 一个或多个有效模型输入实例。输入示例用于提示应向模型提供何种数据。它将被转换为一个 Pandas DataFrame，然后使用 Pandas 的 split-oriented 格式序列化为 json，或者转换为一个 numpy array，其中示例将通过将其转换为列表的方式序列化为 json。字节使用 base64 编码。当 signature 参数为 None 时，输入示例用于推断模型签名。
registered_model_name – 默认为 None。如果设置，在 registered_model_name 下创建一个模型版本，如果不存在具有该名称的注册模型，也会创建一个注册模型。
await_registration_for – 默认为 mlflow.tracking._model_registry.DEFAULT_AWAIT_MAX_SLEEP_SECONDS。等待模型版本完成创建并处于 READY 状态的秒数。默认情况下，该函数等待五分钟。指定 0 或 None 可跳过等待。
pip_requirements – 要么是一个 pip 需求字符串的可迭代对象（例如 ["dspy", "-r requirements.txt", "-c constraints.txt"]）或者是本地文件系统中 pip 需求文件的字符串路径（例如 "requirements.txt"）。如果提供，它描述了该模型应在哪个环境中运行。如果 None，默认的需求列表将由 mlflow.models.infer_pip_requirements() 从当前软件环境中推断得出。如果需求推断失败，会回退到使用 get_default_pip_requirements。需求和约束会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。需求也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。
extra_pip_requirements –
要么是一个 pip 需求字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），要么是本地文件系统上 pip requirements 文件的字符串路径（例如 "requirements.txt"）。如果提供，该参数描述了附加的 pip 依赖，这些依赖会被追加到基于用户当前软件环境自动生成的默认 pip 依赖集合中。requirements 和 constraints 会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖项也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。
警告

以下参数不能同时指定：
- conda_env
- pip_requirements
- extra_pip_requirements
This example 演示了如何使用 pip_requirements 和 extra_pip_requirements 指定 pip 依赖。
metadata – 传递给模型并存储在 MLmodel 文件中的自定义元数据字典。
resources – 模型资源的列表，或包含为模型提供服务所需资源列表的 resources.yaml 文件。

prompts –

一个在 MLflow Prompt Registry 注册的 prompt URI 列表，用于与模型关联。 Each prompt URI should be in the form prompt:/<name>/<version>. 在与模型关联之前，这些 prompt 应该先在 MLflow Prompt Registry 中注册。

这将在模型和 prompt 之间创建相互链接。关联的 prompt 可以在存储于 MLmodel 文件中的模型元数据中看到。通过 Prompt Registry UI，你也可以导航到该模型。

import mlflow

prompt_template = "Hi, {name}! How are you doing today?"

# 在 MLflow Prompt Registry 中注册一个 prompt
mlflow.prompts.register_prompt("my_prompt", prompt_template, description="A simple prompt")

# 使用已注册的 prompt 记录模型
with mlflow.start_run():
    model_info = mlflow.pyfunc.log_model(
        name=MyModel(),
        name="model",
        prompts=["prompt:/my_prompt/1"]
    )

print(model_info.prompts)
# 输出：['prompt:/my_prompt/1']

# 加载 prompt
prompt = mlflow.genai.load_prompt(model_info.prompts[0])

name – 模型名称。
params – 一个用于与模型一同记录的参数字典。
tags – 一个要与模型一起记录的标签字典。
model_type – 模型的类型。
step – 在该步记录模型输出和指标
model_id – 模型的 ID。

Example

import dspy
import mlflow
from mlflow.models import ModelSignature
from mlflow.types.schema import ColSpec, Schema

# Set up the LM.
lm = dspy.LM(model="openai/gpt-4o-mini", max_tokens=250)
dspy.settings.configure(lm=lm)


class CoT(dspy.Module):
    def __init__(self):
        super().__init__()
        self.prog = dspy.ChainOfThought("question -> answer")

    def forward(self, question):
        return self.prog(question=question)


dspy_model = CoT()

mlflow.set_tracking_uri("http://127.0.0.1:5000")
mlflow.set_experiment("test-dspy-logging")

from mlflow.dspy import log_model

input_schema = Schema([ColSpec("string")])
output_schema = Schema([ColSpec("string")])
signature = ModelSignature(inputs=input_schema, outputs=output_schema)

with mlflow.start_run():
    log_model(
        dspy_model,
        "model",
        input_example="what is 2 + 2?",
        signature=signature,
    )

mlflow.dspy.save_model(model, path: str, task: str | None = None, model_config: dict[str, typing.Any] | None = None, code_paths: list[str] | None = None, mlflow_model: mlflow.models.model.Model | None = None, conda_env: list[str] | str | None = None, signature: mlflow.models.signature.ModelSignature | None = None, input_example: Optional[Union[pandas.core.frame.DataFrame, numpy.ndarray, dict, list, csr_matrix, csc_matrix, str, bytes, tuple]] = None, pip_requirements: list[str] | str | None = None, extra_pip_requirements: list[str] | str | None = None, metadata: dict[str, typing.Any] | None = None, resources: str | pathlib.Path | list[mlflow.models.resources.Resource] | None = None)[source]

保存 Dspy 模型。

此方法将 Dspy 模型连同元数据（例如模型签名和 conda 环境）保存到本地文件系统。此方法在 mlflow.dspy.log_model() 内被调用。

Parameters

model – 一个 dspy.Module 的实例。要保存的 Dspy 模型/模块。
path – 要将 MLflow 模型保存到的本地路径。
task – 默认为 None。模型的任务类型。目前只能是 llm/v1/chat 或 None。
model_config – 在实例化时传递给 Dspy Module 的关键字参数。
code_paths –
本地文件系统中指向 Python 文件依赖（或包含文件依赖的目录）路径的列表。这些文件在模型加载时会被预先添加到系统路径中。如果为某个模型声明了依赖文件且多个文件之间存在导入依赖关系，那么这些文件应从一个共同的根路径声明相对导入，以避免在加载模型时发生导入错误。

有关 code_paths 功能、推荐的使用模式和限制的详细说明，请参阅 code_paths usage guide。
mlflow_model – 一个 mlflow.models.Model 的实例，默认值为 None。用于添加 Dspy 模型元数据的 MLflow 模型配置。如果为 None，将创建一个空实例。
conda_env –
可以是 Conda 环境的字典表示，或者指向 conda 环境 yaml 文件的路径。如果提供，该项描述了应在何种环境中运行此模型。至少应指定 get_default_conda_env() 中包含的依赖项。如果 None，则会将一个通过 mlflow.models.infer_pip_requirements() 推断出的 pip 依赖的 conda 环境添加到模型中。如果依赖推断失败，则回退使用 get_default_pip_requirements。来自 conda_env 的 pip 依赖会被写入到一个 pip requirements.txt 文件中，而完整的 conda 环境会被写入到 conda.yaml。下面是一个示例的 conda 环境字典表示：
```
{
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "dspy==x.y.z"
            ],
        },
    ],
}
```
signature –
一个 ModelSignature 类的实例，用于描述模型的输入和输出。如果未指定但提供了 input_example，则会根据提供的输入示例和模型自动推断签名。要在提供输入示例时禁用自动签名推断，请将 signature 设置为 False。要手动推断模型签名，请在具有有效模型输入，例如省略了目标列的训练数据集，以及有效模型输出，例如在训练数据集上生成的模型预测的数据集上调用 infer_signature()，例如：
```
from mlflow.models import infer_signature

train = df.drop_column("target_label")
predictions = ...  # 计算模型预测
signature = infer_signature(train, predictions)
```
input_example – 一个或多个有效模型输入实例。输入示例用于提示应向模型提供何种数据。它将被转换为一个 Pandas DataFrame，然后使用 Pandas 的 split-oriented 格式序列化为 json，或者转换为一个 numpy array，其中示例将通过将其转换为列表的方式序列化为 json。字节使用 base64 编码。当 signature 参数为 None 时，输入示例用于推断模型签名。
pip_requirements – 要么是一个可迭代的 pip 依赖字符串（例如 ["dspy", "-r requirements.txt", "-c constraints.txt"]）或者是本地文件系统上 pip 依赖文件的字符串路径（例如 "requirements.txt"）。如果提供，它描述了此模型应当运行的环境。如果 None，则默认的依赖列表由 mlflow.models.infer_pip_requirements() 从当前软件环境推断。如果依赖推断失败，则回退到使用 get_default_pip_requirements。依赖和约束会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖也会被写入模型的 conda 环境 (conda.yaml) 文件的 pip 部分。
extra_pip_requirements –
要么是一个 pip 需求字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），要么是本地文件系统上 pip requirements 文件的字符串路径（例如 "requirements.txt"）。如果提供，该参数描述了附加的 pip 依赖，这些依赖会被追加到基于用户当前软件环境自动生成的默认 pip 依赖集合中。requirements 和 constraints 会被自动解析并分别写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖项也会被写入模型的 conda 环境（conda.yaml）文件的 pip 部分。
警告

以下参数不能同时指定：
- conda_env
- pip_requirements
- extra_pip_requirements
This example 演示了如何使用 pip_requirements 和 extra_pip_requirements 指定 pip 依赖。
metadata – 传递给模型并存储在 MLmodel 文件中的自定义元数据字典。
resources – 模型资源的列表，或包含用于为模型提供所需资源列表的 resources.yaml 文件。