ray.serve.config.HTTPOptions#
- class ray.serve.config.HTTPOptions(*, host: str | None = '127.0.0.1', port: int = 8000, middlewares: List[Any] = [], location: DeploymentMode | None = DeploymentMode.HeadOnly, num_cpus: int = 0, root_url: str = '', root_path: str = '', request_timeout_s: float | None = None, keep_alive_timeout_s: int = 5)[源代码]#
基类:
BaseModel
代理的HTTP选项。支持的字段:
host: 代理监听HTTP的主机。默认为“127.0.0.1”。要公开发布Serve,您可能希望将其设置为“0.0.0.0”。
端口:代理监听HTTP的端口。默认为8000。
root_path: 一个可选的根路径,用于挂载服务应用程序(例如,“/prefix”)。所有部署路由都以此路径为前缀。
request_timeout_s: HTTP 请求的端到端超时时间。
keep_alive_timeout_s: 在没有请求进行时,保持空闲连接存活的时间。
位置: [已弃用: 请改用
proxy_location
字段] HTTP 服务器的部署位置:“HeadOnly”: 在头节点上启动一个HTTP服务器。Serve 假设头节点是您在上面执行了 serve.start 的节点。这是默认设置。
“EveryNode”: 每个节点启动一个HTTP服务器。
“NoServer”: 禁用HTTP服务器。
num_cpus: [已弃用] 为每个内部 Serve HTTP 代理角色保留的 CPU 核心数。
方法
通过解析和验证来自关键字参数的输入数据来创建一个新模型。
从受信任或预验证的数据中创建一个新的模型设置 __dict__ 和 __fields_set__。
复制一个模型,可以选择性地包含、排除和更改哪些字段。
生成模型的字典表示,可以选择性地指定要包含或排除的字段。
生成模型的 JSON 表示,
include
和exclude
参数按照dict()
的方式处理。尝试根据此模型、globalns 和 localns 更新字段上的 ForwardRefs。
属性