使用 LWS 部署

LeaderWorkerSet (LWS) 是一个 Kubernetes API，旨在解决 AI/ML 推理工作负载的常见部署模式。一个主要用例是用于多主机/多节点的分布式推理。

vLLM 可以在 Kubernetes 上通过 LWS 部署，用于分布式模型服务。

请参阅 此指南 以获取有关使用 LWS 在 Kubernetes 上部署 vLLM 的更多详细信息。