使用 KServe 部署

vLLM 可以通过 KServe 部署在 Kubernetes 上，以实现高度可扩展的分布式模型服务。

请参阅 此指南 以获取有关在 KServe 中使用 vLLM 的更多详细信息。