跳至内容
vLLM
vllm.device_allocator
正在初始化搜索
GitHub
首页
用户指南
开发者指南
API参考文档
CLI 参考文档
社区
vLLM
GitHub
首页
用户指南
开发者指南
API Reference
API Reference
API参考文档
Contents
Contents
vllm.beam_search
vllm.collect_env
vllm.config
vllm.connections
vllm.env_override
vllm.envs
vllm.forward_context
vllm
vllm.jsontree
vllm.logger
vllm.logits_process
vllm.outputs
vllm.pooling_params
vllm.sampling_params
vllm.scalar_type
vllm.scripts
vllm.sequence
vllm.tasks
vllm.test_utils
vllm.tracing
vllm.version
adapter_commons
资源
注意力机制
基准测试
编译
核心
device_allocator
device_allocator
vllm.device_allocator
vllm.device_allocator
Table of contents
device_allocator
vllm.device_allocator.cumem
分布式
引擎
入口点
执行器
输入
logging_utils
lora
model_executor
多模态
平台
插件
性能分析器
ray
推理
transformers_utils
triton_utils
使用说明
工具集
v1
worker
CLI参考文档
社区
Table of contents
device_allocator
vllm.device_allocator
模块:
名称
描述
cumem
Back to top
×