KServe¶

vLLM 可以结合 KServe 部署在 Kubernetes 上，实现高度可扩展的分布式模型服务。

有关在KServe中使用vLLM的更多详情，请参阅本指南。