使用 LoRA 适配器

使用 LoRA 适配器#

本文档展示了如何在基础模型之上使用 LoRA 适配器 与 vLLM。

LoRA 适配器可以与任何实现了 SupportsLoRA 的 vLLM 模型一起使用。

适配器可以高效地按请求提供服务，开销最小。首先我们下载适配器并将其本地保存。

from huggingface_hub import snapshot_download

sql_lora_path = snapshot_download(repo_id="yard1/llama-2-7b-sql-lora-test")

然后我们实例化基础模型并传入 enable_lora=True 标志：

from vllm import LLM, SamplingParams
from vllm.lora.request import LoRARequest

llm = LLM(model="meta-llama/Llama-2-7b-hf", enable_lora=True)

我们现在可以提交提示并使用 lora_request 参数调用 llm.generate。LoRARequest 的第一个参数是一个人类可识别的名称，第二个参数是适配器的全局唯一ID，第三个参数是LoRA适配器的路径。

sampling_params = SamplingParams(
    temperature=0,
    max_tokens=256,
    stop=["[/assistant]"]
)

prompts = [
     "[user] Write a SQL query to answer the question based on the table schema.\n\n context: CREATE TABLE table_name_74 (icao VARCHAR, airport VARCHAR)\n\n question: Name the ICAO for lilongwe international airport [/user] [assistant]",
     "[user] Write a SQL query to answer the question based on the table schema.\n\n context: CREATE TABLE table_name_11 (nationality VARCHAR, elector VARCHAR)\n\n question: When Anchero Pantaleone was the elector what is under nationality? [/user] [assistant]",
]

outputs = llm.generate(
    prompts,
    sampling_params,
    lora_request=LoRARequest("sql_adapter", 1, sql_lora_path)
)

查看 examples/multilora_inference.py 以了解如何将 LoRA 适配器与异步引擎一起使用，以及如何使用更高级的配置选项。

提供 LoRA 适配器#

LoRA 适配的模型也可以通过与 Open-AI 兼容的 vLLM 服务器提供服务。为此，我们在启动服务器时使用 --lora-modules {name}={path} {name}={path} 来指定每个 LoRA 模块：

vllm serve meta-llama/Llama-2-7b-hf \
    --enable-lora \
    --lora-modules sql-lora=$HOME/.cache/huggingface/hub/models--yard1--llama-2-7b-sql-lora-test/snapshots/0dfa347e8877a4d4ed19ee56c140fa518470028c/

备注

提交ID 0dfa347e8877a4d4ed19ee56c140fa518470028c 可能会随时间变化。请检查您环境中的最新提交ID，以确保您使用的是正确的ID。

服务器入口接受所有其他 LoRA 配置参数（max_loras、max_lora_rank、max_cpu_loras 等），这些参数将应用于所有即将到来的请求。在查询 /models 端点时，我们应该看到我们的 LoRA 及其基础模型：

curl localhost:8000/v1/models | jq .
{
    "object": "list",
    "data": [
        {
            "id": "meta-llama/Llama-2-7b-hf",
            "object": "model",
            ...
        },
        {
            "id": "sql-lora",
            "object": "model",
            ...
        }
    ]
}

请求可以通过 model 请求参数指定 LoRA 适配器，就像指定其他模型一样。请求将根据服务器范围的 LoRA 配置进行处理（即与基础模型请求并行处理，如果提供了其他 LoRA 适配器请求且 max_loras 设置得足够高，还可能与其他 LoRA 适配器请求并行处理）。

以下是一个示例请求

curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "sql-lora",
        "prompt": "San Francisco is a",
        "max_tokens": 7,
        "temperature": 0
    }' | jq

动态提供 LoRA 适配器#

除了在服务器启动时提供LoRA适配器外，vLLM服务器现在还支持通过专用API端点在运行时动态加载和卸载LoRA适配器。当需要灵活地即时更改模型时，此功能特别有用。

注意：在生产环境中启用此功能是有风险的，因为用户可能会参与模型适配器管理。

要启用动态LoRA加载和卸载，请确保环境变量 VLLM_ALLOW_RUNTIME_LORA_UPDATING 设置为 True。启用此选项后，API服务器将记录一条警告，以指示动态加载处于活动状态。

export VLLM_ALLOW_RUNTIME_LORA_UPDATING=True

加载 LoRA 适配器：

要动态加载一个 LoRA 适配器，向 /v1/load_lora_adapter 端点发送一个 POST 请求，并附上要加载的适配器的必要细节。请求负载应包括 LoRA 适配器的名称和路径。

加载 LoRA 适配器的示例请求：

curl -X POST http://localhost:8000/v1/load_lora_adapter \
-H "Content-Type: application/json" \
-d '{
    "lora_name": "sql_adapter",
    "lora_path": "/path/to/sql-lora-adapter"
}'

在请求成功时，API 将返回 200 OK 状态码。如果发生错误，例如适配器无法找到或加载，将返回相应的错误信息。

卸载 LoRA 适配器：

要卸载之前加载的LoRA适配器，请向 /v1/unload_lora_adapter 端点发送POST请求，并附上要卸载的适配器的名称或ID。

卸载LoRA适配器的示例请求：

curl -X POST http://localhost:8000/v1/unload_lora_adapter \
-H "Content-Type: application/json" \
-d '{
    "lora_name": "sql_adapter"
}'

新的 –lora-modules 格式#

在之前的版本中，用户会通过以下格式提供LoRA模块，可以是键值对形式或JSON格式。例如：

--lora-modules sql-lora=$HOME/.cache/huggingface/hub/models--yard1--llama-2-7b-sql-lora-test/snapshots/0dfa347e8877a4d4ed19ee56c140fa518470028c/

这只会包含每个 LoRA 模块的 name 和 path，但没有提供指定 base_model_name 的方法。现在，你可以使用 JSON 格式在 name 和 path 旁边指定 base_model_name。例如：

--lora-modules '{"name": "sql-lora", "path": "/path/to/lora", "base_model_name": "meta-llama/Llama-2-7b"}'

为了提供向后兼容性支持，您仍然可以使用旧的键值格式（name=path），但在这种情况下，base_model_name 将保持未指定状态。

Lora 模型在模型卡中的谱系#

新的 –lora-modules 格式主要是为了支持在模型卡片中显示父模型信息。以下是您当前的响应如何支持这一点的解释：

  • LoRA 模型 sql-lora 的 parent 字段现在链接到其基础模型 meta-llama/Llama-2-7b-hf。这正确反映了基础模型与 LoRA 适配器之间的层级关系。

  • root 字段指向 lora 适配器的工件位置。

$ curl http://localhost:8000/v1/models

{
    "object": "list",
    "data": [
        {
        "id": "meta-llama/Llama-2-7b-hf",
        "object": "model",
        "created": 1715644056,
        "owned_by": "vllm",
        "root": "~/.cache/huggingface/hub/models--meta-llama--Llama-2-7b-hf/snapshots/01c7f73d771dfac7d292323805ebc428287df4f9/",
        "parent": null,
        "permission": [
            {
            .....
            }
        ]
        },
        {
        "id": "sql-lora",
        "object": "model",
        "created": 1715644056,
        "owned_by": "vllm",
        "root": "~/.cache/huggingface/hub/models--yard1--llama-2-7b-sql-lora-test/snapshots/0dfa347e8877a4d4ed19ee56c140fa518470028c/",
        "parent": meta-llama/Llama-2-7b-hf,
        "permission": [
            {
            ....
            }
        ]
        }
    ]
}