快速入门#

本指南展示了如何使用 vLLM 来：

对数据集进行离线批量推理；
为大型语言模型构建一个API服务器；
启动一个兼容 OpenAI 的 API 服务器。

在继续本指南之前，请务必完成安装说明。

备注

默认情况下，vLLM 从 HuggingFace 下载模型。如果您想在以下示例中使用 ModelScope 的模型，请设置环境变量：

export VLLM_USE_MODELSCOPE=True

离线批量推理#

我们首先展示一个使用 vLLM 对数据集进行离线批量推理的示例。换句话说，我们使用 vLLM 为一组输入提示生成文本。

从 vLLM 导入 LLM 和 SamplingParams。LLM 类是使用 vLLM 引擎进行离线推理的主要类。SamplingParams 类指定了采样过程的参数。

from vllm import LLM, SamplingParams

定义输入提示列表和生成采样参数。采样温度设置为0.8，核采样概率设置为0.95。有关采样参数的更多信息，请参阅类定义。

prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

使用 LLM 类和 OPT-125M 模型初始化 vLLM 的离线推理引擎。支持的模型列表可以在 supported models 中找到。

llm = LLM(model="facebook/opt-125m")

调用 llm.generate 来生成输出。它将输入提示添加到 vLLM 引擎的等待队列中，并执行 vLLM 引擎以高吞吐量生成输出。输出以 RequestOutput 对象列表的形式返回，其中包含所有输出令牌。

outputs = llm.generate(prompts, sampling_params)

# Print the outputs.
for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

代码示例也可以在 examples/offline_inference.py 中找到。

OpenAI 兼容服务器#

vLLM 可以部署为一个实现 OpenAI API 协议的服务器。这使得 vLLM 可以作为使用 OpenAI API 的应用程序的直接替代品。默认情况下，它会在 http://localhost:8000 启动服务器。你可以使用 --host 和 --port 参数指定地址。服务器目前一次托管一个模型（如下命令中的 OPT-125M），并实现了列出模型、创建聊天完成和创建完成端点。我们正在积极添加对更多端点的支持。

启动服务器：

$ vllm serve facebook/opt-125m

默认情况下，服务器使用存储在分词器中的预定义聊天模板。您可以通过使用 --chat-template 参数来覆盖此模板：

$ vllm serve facebook/opt-125m --chat-template ./examples/template_chatml.jinja

此服务器可以以与 OpenAI API 相同的格式进行查询。例如，列出模型：

$ curl http://localhost:8000/v1/models

你可以传递参数 --api-key 或环境变量 VLLM_API_KEY 来启用服务器检查请求头中的 API 密钥。

使用 OpenAI 完成 API 与 vLLM#

使用输入提示查询模型：

$ curl http://localhost:8000/v1/completions \
$     -H "Content-Type: application/json" \
$     -d '{
$         "model": "facebook/opt-125m",
$         "prompt": "San Francisco is a",
$         "max_tokens": 7,
$         "temperature": 0
$     }'

由于此服务器与 OpenAI API 兼容，您可以将其用作任何使用 OpenAI API 的应用程序的替代品。例如，另一种查询服务器的方式是通过 openai python 包：

from openai import OpenAI

# Modify OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)
completion = client.completions.create(model="facebook/opt-125m",
                                      prompt="San Francisco is a")
print("Completion result:", completion)

有关更详细的客户端示例，请参阅 examples/openai_completion_client.py。

使用 OpenAI Chat API 与 vLLM#

vLLM 服务器旨在支持 OpenAI Chat API，使您能够与模型进行动态对话。聊天界面是一种更互动的与模型沟通的方式，允许来回交流，这些交流可以存储在聊天历史中。这对于需要上下文或更详细解释的任务非常有用。

使用 OpenAI Chat API 查询模型：

你可以使用创建聊天完成端点与模型进行类似聊天的交互：

$ curl http://localhost:8000/v1/chat/completions \
$     -H "Content-Type: application/json" \
$     -d '{
$         "model": "facebook/opt-125m",
$         "messages": [
$             {"role": "system", "content": "You are a helpful assistant."},
$             {"role": "user", "content": "Who won the world series in 2020?"}
$         ]
$     }'

Python 客户端示例：

使用 openai Python 包，你也可以以类似聊天的形式与模型进行交流：

from openai import OpenAI
# Set OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

chat_response = client.chat.completions.create(
    model="facebook/opt-125m",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."},
    ]
)
print("Chat response:", chat_response)

有关聊天API的更深入示例和高级功能，您可以参考OpenAI的官方文档。

快速入门

目录

快速入门#

离线批量推理#

OpenAI 兼容服务器#

使用 OpenAI 完成 API 与 vLLM#

使用 OpenAI Chat API 与 vLLM#