跳至内容

Anyscale

Anyscale是由Ray的开发者打造的一个托管式多云平台。

Anyscale 可自动化管理您 AWS、GCP 或 Azure 账户中 Ray 集群的完整生命周期,在保持开源 Ray 灵活性的同时,无需承担维护 Kubernetes 控制平面、配置自动扩缩容器、管理可观测性技术栈或通过 examples/online_serving/run_cluster.sh等辅助脚本手动管理头节点和工作节点的运维负担。

使用vLLM服务大型语言模型时,Anyscale可以快速部署生产就绪的HTTPS端点容错的批量推理任务

生产就绪的vLLM在Anyscale快速入门指南

优云智算