您正在查看最新的开发者预览版文档。点击此处查看最新稳定版的文档。

vLLM

vllm.device_allocator

正在初始化搜索

首页
用户指南
开发者指南
API参考文档
CLI 参考文档
社区

vLLM

首页
用户指南
开发者指南
API Reference
API Reference
- API参考文档
- Contents
  Contents
  - vllm.beam_search
  - vllm.collect_env
  - vllm.config
  - vllm.connections
  - vllm.env_override
  - vllm.envs
  - vllm.forward_context
  - vllm
  - vllm.jsontree
  - vllm.logger
  - vllm.logits_process
  - vllm.outputs
  - vllm.pooling_params
  - vllm.sampling_params
  - vllm.scalar_type
  - vllm.scripts
  - vllm.sequence
  - vllm.tasks
  - vllm.test_utils
  - vllm.tracing
  - vllm.version
  - adapter_commons
  - 资源
  - 注意力机制
  - 基准测试
  - 编译
  - 核心
  - device_allocator
    device_allocator
    
    vllm.device_allocator vllm.device_allocator
    Table of contents
    
    device_allocator
    
    vllm.device_allocator.cumem
  - 分布式
  - 引擎
  - 入口点
  - 执行器
  - 输入
  - logging_utils
  - lora
  - model_executor
  - 多模态
  - 平台
  - 插件
  - 性能分析器
  - ray
  - 推理
  - transformers_utils
  - triton_utils
  - 使用说明
  - 工具集
  - v1
  - worker
CLI参考文档
社区

Table of contents

device_allocator

vllm.device_allocator

模块：

名称	描述
`cumem`

August 1, 2025

Made with Material for MkDocs

优云智算