ray.serve.config.HTTPOptions#

class ray.serve.config.HTTPOptions(*, host: str | None = '127.0.0.1', port: int = 8000, middlewares: List[Any] = [], location: DeploymentMode | None = DeploymentMode.HeadOnly, num_cpus: int = 0, root_url: str = '', root_path: str = '', request_timeout_s: float | None = None, keep_alive_timeout_s: int = 5)[源代码]#

基类:BaseModel

代理的HTTP选项。支持的字段:

  • host: 代理监听HTTP的主机。默认为“127.0.0.1”。要公开发布Serve,您可能希望将其设置为“0.0.0.0”。

  • 端口:代理监听HTTP的端口。默认为8000。

  • root_path: 一个可选的根路径,用于挂载服务应用程序(例如,“/prefix”)。所有部署路由都以此路径为前缀。

  • request_timeout_s: HTTP 请求的端到端超时时间。

  • keep_alive_timeout_s: 在没有请求进行时,保持空闲连接存活的时间。

  • 位置: [已弃用: 请改用 proxy_location 字段] HTTP 服务器的部署位置:

    • “HeadOnly”: 在头节点上启动一个HTTP服务器。Serve 假设头节点是您在上面执行了 serve.start 的节点。这是默认设置。

    • “EveryNode”: 每个节点启动一个HTTP服务器。

    • “NoServer”: 禁用HTTP服务器。

  • num_cpus: [已弃用] 为每个内部 Serve HTTP 代理角色保留的 CPU 核心数。

方法

__init__

通过解析和验证来自关键字参数的输入数据来创建一个新模型。

construct

从受信任或预验证的数据中创建一个新的模型设置 __dict__ 和 __fields_set__。

copy

复制一个模型,可以选择性地包含、排除和更改哪些字段。

dict

生成模型的字典表示,可以选择性地指定要包含或排除的字段。

json

生成模型的 JSON 表示,includeexclude 参数按照 dict() 的方式处理。

update_forward_refs

尝试根据此模型、globalns 和 localns 更新字段上的 ForwardRefs。

属性

host

port

middlewares

location

num_cpus

root_url

root_path

request_timeout_s

keep_alive_timeout_s