Skip to main content
Ctrl+K
Register for Ray Summit 2024 with keynotes from Mira Murati, Marc Andreessen, and Anastasis Germanidis.

站点导航

  • Get Started

  • Use Cases

  • Example Gallery

  • Library

    • Ray CoreScale general Python applications

    • Ray DataScale data ingest and preprocessing

    • Ray TrainScale machine learning training

    • Ray TuneScale hyperparameter tuning

    • Ray ServeScale model serving

    • Ray RLlibScale reinforcement learning

  • Docs

  • Resources

    • Discussion ForumGet your Ray questions answered

    • TrainingHands-on learning

    • BlogUpdates, best practices, user-stories

    • EventsWebinars, meetups, office hours

    • Success StoriesReal-world workload examples

    • EcosystemLibraries integrated with Ray

    • CommunityConnect with us

Try Ray on Anyscale

站点导航

  • Get Started

  • Use Cases

  • Example Gallery

  • Library

    • Ray CoreScale general Python applications

    • Ray DataScale data ingest and preprocessing

    • Ray TrainScale machine learning training

    • Ray TuneScale hyperparameter tuning

    • Ray ServeScale model serving

    • Ray RLlibScale reinforcement learning

  • Docs

  • Resources

    • Discussion ForumGet your Ray questions answered

    • TrainingHands-on learning

    • BlogUpdates, best practices, user-stories

    • EventsWebinars, meetups, office hours

    • Success StoriesReal-world workload examples

    • EcosystemLibraries integrated with Ray

    • CommunityConnect with us

Try Ray on Anyscale
  • 概述
  • 入门指南
  • 安装
  • 用例
    • Ray 用于机器学习基础设施
  • 示例画廊
  • 生态系统
  • Ray Core
    • 关键概念
    • 用户指南
      • 任务
        • 嵌套远程函数
        • 动态生成器
      • 演员
        • 命名角色
        • 终止角色
        • AsyncIO / 演员的并发性
        • 使用并发组限制每方法的并发性
        • 实用类
        • 带外通信
        • 演员任务执行顺序
      • 对象
        • 序列化
        • 对象溢出
      • 环境依赖
      • 调度
        • 资源
        • 加速器支持
        • 放置组
        • 内存管理
        • 内存溢出预防
      • 容错性
        • 任务容错
        • Actor 容错性
        • 对象容错
        • 节点容错
        • GCS 容错性
      • 设计模式与反模式
        • 模式：使用嵌套任务实现嵌套并行
        • 模式：使用生成器减少堆内存使用
        • 模式：使用 ray.wait 限制待处理任务的数量
        • 模式：使用资源来限制并发运行的任务数量
        • 模式：使用 asyncio 并发运行 actor 方法
        • 模式：使用一个角色来同步其他任务和角色
        • 模式：使用一个监督者角色来管理角色树
        • 模式：使用管道技术来增加吞吐量
        • 反模式：从任务中返回 ray.put() 的 ObjectRefs 会损害性能和容错性
        • 反模式：在循环中调用 ray.get 会损害并行性
        • 反模式：不必要的调用 ray.get 会损害性能
        • 反模式：使用 ray.get 按提交顺序处理结果会增加运行时间
        • 反模式：使用 ray.get 一次性获取太多对象会导致失败
        • 反模式：过度并行化导致任务粒度过细，损害加速效果
        • 反模式：重新定义相同的远程函数或类会损害性能
        • 反模式：重复按值传递相同的大参数会损害性能
        • 反模式：闭包捕获大型对象会损害性能
        • 反模式：使用全局变量在任务和角色之间共享状态
      • 高级主题
        • 首次用户提示
        • 开始使用 Ray
        • 光线生成器
        • 使用命名空间
        • 跨语言编程
        • 使用 Jupyter Notebooks 和 JupyterLab
        • 使用 Ray DAG API 的惰性计算图
        • 杂项主题
        • 在 runtime_env 中验证远程 URI
        • 用户生成进程的生命周期
    • 示例
      • 使用Ray Core进行时间序列的简单自动机器学习(AutoML)
      • 使用 Ray Core 进行批量预测
      • 通过示例温和地介绍Ray Core
      • 使用Ray进行高度可并行化任务
      • 使用 Ray Core 的简单 MapReduce 示例
      • 蒙特卡罗法估计 π
      • 简单的并行模型选择
      • 参数服务器
      • 学习玩 Pong
      • 通过使用Ray对您的网络爬虫进行并行加速
    • Ray 核心 API
      • 核心 API
      • 调度 API
      • Runtime Env API
      • 工具
      • 异常
      • Ray Core CLI
      • 状态 CLI
      • 状态 API
  • Ray 数据
    • 概述
    • 快速入门
    • 用户指南
      • 加载数据
      • 检查数据
      • 数据转换
      • 迭代数据
      • 数据洗牌
      • 保存数据
      • 使用图像
      • 处理文本
      • 使用张量 / NumPy
      • 使用 PyTorch
      • 监控您的工作负载
      • 执行配置
      • 端到端：离线批量推理
      • 高级：性能提示与调优
      • 高级: 读写自定义文件类型
    • 示例
    • Ray 数据 API
      • 输入/输出
      • 数据集 API
      • DataIterator API
      • ExecutionOptions API
      • GroupedData API
      • 全局配置
      • 工具
      • 预处理器
      • 来自其他数据图书馆用户的API指南
    • Ray 数据内部机制
  • Ray 训练
    • 概述
    • PyTorch 指南
    • PyTorch Lightning 指南
    • Hugging Face Transformers 指南
    • 更多框架
      • Hugging Face 加速指南
      • DeepSpeed 指南
      • TensorFlow 和 Keras 指南
      • XGBoost 和 LightGBM 指南
      • Horovod 指南
    • 用户指南
      • 数据加载和预处理
      • 配置规模和GPU
      • 配置持久存储
      • 监控和日志指标
      • 保存和加载检查点
      • 实验跟踪
      • 检查训练结果
      • 处理失败和节点抢占
      • 可重复性
      • 超参数优化
    • 示例
    • 基准测试
    • Ray Train API
  • Ray Tune
    • 入门指南
    • 关键概念
    • 用户指南
      • 运行基本实验
      • Tune 中的日志记录和输出
      • 设置试用资源
      • 使用搜索空间
      • 如何为 Ray Tune 实验定义停止标准
      • 如何保存和加载试验检查点
      • 如何在 Ray Tune 中配置持久存储
      • 如何在 Ray Tune 中启用容错
      • 使用回调和指标
      • 获取数据进出Tune
      • 分析 Tune 实验结果
      • 基于种群的训练指南
        • 可视化和理解PBT
      • 在云中部署 Tune
      • 调整架构
      • 可扩展性基准测试
    • Ray Tune 示例
      • 使用 Ray Tune 与 ML 框架的示例
        • Keras 示例
        • PyTorch 示例
        • PyTorch Lightning 示例
        • Ray RLlib 示例
        • XGBoost 示例
        • LightGBM 示例
        • Horovod 示例
        • Hugging Face Transformers 示例
      • 实验跟踪示例调整
        • Weights & Biases 示例
        • MLflow 示例
        • Aim 示例
        • 彗星示例
      • 调优超参数优化框架示例
        • Ax 示例
        • HyperOpt 示例
        • 贝叶斯优化示例
        • BOHB 示例
        • Nevergrad 示例
        • Optuna 示例
      • 其他示例
      • 练习
    • Ray Tune 常见问题解答
    • Ray Tune API
      • 调优执行 (tune.Tuner)
      • 调整实验结果 (tune.ResultGrid)
      • 在Tune中训练 (tune.Trainable, tune.report)
      • 调整搜索空间 API
      • 调优搜索算法 (tune.search)
      • 调整试验调度器 (tune.schedulers)
      • 调优停止机制 (tune.stopper)
      • 调整控制台输出（报告器）
      • 同步设置 (train.SyncConfig)
      • 调整记录器 (tune.logger)
      • 调整回调 (tune.Callback)
      • Ray Tune 使用的环境变量
      • Ray Tune 的外部库集成
      • 调整内部机制
      • Tune CLI (实验性)
  • Ray Serve
    • 入门指南
    • 关键概念
    • 开发和部署一个机器学习应用
    • 部署模型组合
    • 部署多个应用程序
    • 模型多路复用
    • 配置 Ray Serve 部署
    • 设置 FastAPI 和 HTTP
    • 生产指南
      • 提供配置文件
      • 在 Kubernetes 上部署
      • 自定义 Docker 镜像
      • 添加端到端容错能力
      • 处理依赖项
      • 生产中的最佳实践
    • 监控您的应用程序
    • 资源分配
    • Ray Serve 自动扩展
    • 高级指南
      • 向应用程序传递参数
      • 高级 Ray Serve 自动扩展
      • 性能调优
      • 动态请求批处理
      • 就地更新应用程序
      • 开发工作流程
      • 设置一个 gRPC 服务
      • 实验性 Java API
      • 在虚拟机上部署
      • 在不同容器中运行多个应用程序
    • 架构
    • 示例
    • Ray Serve API
  • Ray RLlib
    • 开始使用 RLlib
    • 关键概念
    • 环境
    • 算法
    • 用户指南
      • 高级 Python API
      • 模型、预处理器和动作分布
      • 保存和加载你的强化学习算法和策略
      • 如何自定义策略
      • 剧集
      • 重放缓冲区
      • 使用离线数据
      • 目录 (Alpha)
      • 连接器 (Beta)
      • RL 模块 (Alpha)
      • 学习者 (Alpha)
      • 使用 RLlib 与 torch 2.x 编译
      • 容错与弹性训练
      • 安装 RLlib 用于开发
    • 示例
    • RLlib 的新 API 栈
    • Ray RLlib API
      • 算法
        • ray.rllib.算法.算法配置.AlgorithmConfig
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.copy
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.validate
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.freeze
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.build
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.build_learner_group
        • ray.rllib.算法.算法配置.AlgorithmConfig.构建学习器
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.回调函数
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.调试
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.环境
        • ray.rllib.算法.算法配置.AlgorithmConfig.评估
        • ray.rllib.算法.算法配置.AlgorithmConfig.实验性
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.容错性
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.框架
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.多智能体
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.离线数据
        • ray.rllib.算法.算法配置.AlgorithmConfig.python环境
        • ray.rllib.算法.算法配置.AlgorithmConfig.报告
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.资源
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.rl_模块
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.rollouts
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.训练
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_默认_学习器_类
        • ray.rllib.算法.算法配置.AlgorithmConfig.获取默认RL模块规范
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_evaluation_config_object
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_多智能体_rl_模块_规格
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_多智能体设置
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_rollout_片段_长度
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.validate_train_batch_size_vs_rollout_fragment_length
        • ray.rllib.algorithms.algorithm.Algorithm
        • ray.rllib.algorithms.algorithm.Algorithm.setup
        • ray.rllib.algorithms.algorithm.Algorithm.get_default_config
        • ray.rllib.algorithms.algorithm.Algorithm.compute_actions
        • ray.rllib.algorithms.algorithm.Algorithm.compute_single_action
        • ray.rllib.algorithms.algorithm.Algorithm.evaluate
        • ray.rllib.algorithms.algorithm.Algorithm.from_checkpoint
        • ray.rllib.algorithms.algorithm.Algorithm.from_state
        • ray.rllib.algorithms.algorithm.Algorithm.get_权重
        • ray.rllib.algorithms.algorithm.Algorithm.set_weights
        • ray.rllib.algorithms.algorithm.Algorithm.export_模型
        • ray.rllib.algorithms.algorithm.Algorithm.导出策略检查点
        • ray.rllib.algorithms.algorithm.Algorithm.export_策略_模型
        • ray.rllib.algorithms.algorithm.Algorithm.restore
        • ray.rllib.algorithms.algorithm.Algorithm.restore_workers
        • ray.rllib.algorithms.algorithm.Algorithm.save
        • ray.rllib.algorithms.algorithm.Algorithm.保存检查点
        • ray.rllib.algorithms.algorithm.Algorithm.train
        • ray.rllib.算法.算法.算法.训练步骤
        • ray.rllib.algorithms.algorithm.Algorithm.add_policy
        • ray.rllib.algorithms.algorithm.Algorithm.remove_policy
      • 环境
        • BaseEnv API
        • MultiAgentEnv API
        • VectorEnv API
        • ExternalEnv API
        • SingleAgentEpisode API
      • 策略 API
        • ray.rllib.policy.policy.Policy
        • ray.rllib.policy.eager_tf_policy_v2.EagerTFPolicyV2
        • ray.rllib.policy.torch_policy_v2.TorchPolicyV2
        • ray.rllib.policy.Policy.make_rl_模块
        • ray.rllib.policy.torch_policy_v2.TorchPolicyV2.make_model
        • ray.rllib.policy.torch_policy_v2.TorchPolicyV2.make_model_and_action_dist
        • ray.rllib.policy.eager_tf_policy_v2.EagerTFPolicyV2.make_model
        • ray.rllib.policy.policy.Policy.compute_actions
        • ray.rllib.policy.policy.Policy.compute_actions_from_input_dict
        • ray.rllib.policy.policy.Policy.compute_single_action
        • ray.rllib.policy.torch_policy_v2.TorchPolicyV2.action_sampler_fn
        • ray.rllib.policy.torch_policy_v2.TorchPolicyV2.action_distribution_fn
        • ray.rllib.policy.torch_policy_v2.TorchPolicyV2.额外动作输出
        • ray.rllib.policy.eager_tf_policy_v2.EagerTFPolicyV2.action_sampler_fn
        • ray.rllib.policy.eager_tf_policy_v2.EagerTFPolicyV2.动作分布函数
        • ray.rllib.policy.eager_tf_policy_v2.EagerTFPolicyV2.额外动作输出函数
        • ray.rllib.policy.Policy.compute_gradients
        • ray.rllib.policy.Policy.apply_gradients
        • ray.rllib.policy.torch_policy_v2.TorchPolicyV2.额外计算梯度获取
        • ray.rllib.policy.torch_policy_v2.TorchPolicyV2.额外梯度处理
        • ray.rllib.policy.eager_tf_policy_v2.EagerTFPolicyV2.grad_stats_fn
        • ray.rllib.policy.eager_tf_policy_v2.EagerTFPolicyV2.compute_gradients_fn
        • ray.rllib.policy.eager_tf_policy_v2.EagerTFPolicyV2.apply_gradients_fn
        • ray.rllib.policy.eager_tf_policy_v2.EagerTFPolicyV2.extra_learn_fetches_fn
        • ray.rllib.policy.Policy.learn_on_batch
        • ray.rllib.policy.Policy.load_batch_into_buffer
        • ray.rllib.policy.Policy.learn_on_loaded_batch
        • ray.rllib.policy.Policy.从重放缓冲区学习批量数据
        • ray.rllib.policy.Policy.get_num_samples_loaded_into_buffer
        • ray.rllib.policy.Policy.loss
        • ray.rllib.policy.Policy.compute_log_likelihoods
        • ray.rllib.policy.Policy.on_global_var_update
        • ray.rllib.policy.Policy.postprocess_trajectory
        • ray.rllib.policy.torch_policy_v2.TorchPolicyV2.优化器
        • ray.rllib.policy.torch_policy_v2.TorchPolicyV2.get_tower_统计
        • ray.rllib.policy.eager_tf_policy_v2.EagerTFPolicyV2.优化器
        • ray.rllib.policy.eager_tf_policy_v2.EagerTFPolicyV2.stats_fn
        • ray.rllib.policy.Policy.from_checkpoint
        • ray.rllib.policy.Policy.导出检查点
        • ray.rllib.policy.Policy.导出模型
        • ray.rllib.policy.Policy.from_state
        • ray.rllib.policy.Policy.get_权重
        • ray.rllib.policy.Policy.set_weights
        • ray.rllib.policy.Policy.get_state
        • ray.rllib.policy.Policy.set_state
        • ray.rllib.policy.Policy.从h5导入模型
        • ray.rllib.policy.Policy.重置连接器
        • ray.rllib.policy.Policy.restore_connectors
        • ray.rllib.policy.Policy.get_connector_metrics
        • ray.rllib.策略.获取初始状态
        • ray.rllib.策略.状态张量数量
        • ray.rllib.Policy.is_recurrent
        • ray.rllib.policy.Policy.apply
        • ray.rllib.policy.Policy.get_session
        • ray.rllib.policy.Policy.init_view_requirements
        • ray.rllib.policy.Policy.get_host
        • ray.rllib.policy.Policy.get_探索状态
        • ray.rllib.policy.torch_policy_v2.TorchPolicyV2.get_batch_divisibility_req
        • ray.rllib.policy.eager_tf_policy_v2.EagerTFPolicyV2.变量
        • ray.rllib.policy.eager_tf_policy_v2.EagerTFPolicyV2.get_batch_divisibility_req
      • 模型API
        • ray.rllib.models.modelv2.ModelV2
        • ray.rllib.models.torch.torch_modelv2.TorchModelV2
        • ray.rllib.models.tf.tf_modelv2.TFModelV2
        • ray.rllib.models.modelv2.ModelV2.forward
        • ray.rllib.models.modelv2.ModelV2.value_function
        • ray.rllib.models.modelv2.ModelV2.last_output
        • ray.rllib.models.modelv2.ModelV2.get_初始状态
        • ray.rllib.models.modelv2.ModelV2.is_时间主序
        • ray.rllib.models.modelv2.ModelV2.variables
        • ray.rllib.models.modelv2.ModelV2.可训练变量
        • ray.rllib.models.distributions.Distribution
        • ray.rllib.models.modelv2.ModelV2.自定义损失
        • ray.rllib.models.modelv2.ModelV2.metrics
      • 目录 API
        • ray.rllib.core.models.catalog.Catalog
        • ray.rllib.core.models.catalog.Catalog.build_encoder
        • ray.rllib.core.models.catalog.Catalog.get_action_dist_cls
        • ray.rllib.core.models.catalog.Catalog.get_tokenizer_config
        • ray.rllib.core.models.catalog.Catalog.latent_dims
        • ray.rllib.core.models.catalog.Catalog._determine_components_hook
        • ray.rllib.core.models.catalog.Catalog._get_encoder_config
        • ray.rllib.core.models.catalog.Catalog._get_dist_cls_from_action_space
      • RLModule API
        • ray.rllib.core.rl_模块.rl_模块.RL模块规格
        • ray.rllib.core.rl_模块.rl_模块.RLModuleSpec.build
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.获取_rl_模块_配置
        • ray.rllib.core.rl_模块.rl_模块.RL模块配置
        • ray.rllib.core.rl_模块.rl_模块.RL模块配置.to_dict
        • ray.rllib.core.rl_模块.rl_模块.RL模块配置.从字典创建
        • ray.rllib.core.rl_模块.rl_模块.RL模块配置.获取目录
        • ray.rllib.core.rl_模块.多_rl_模块.MultiRLModuleSpec
        • ray.rllib.core.rl_模块.多_rl_模块.MultiRLModuleSpec.build
        • ray.rllib.core.rl_模块.多_rl_模块.MultiRLModuleSpec.获取_多_rl_模块_配置
        • ray.rllib.core.rl_模块.rl_模块.RL模块
        • ray.rllib.core.rl_模块.rl_模块.RL模块.作为多RL模块
        • ray.rllib.core.rl_模块.rl_模块.RL模块.前向训练
        • ray.rllib.core.rl_模块.rl_模块.RL模块.前向探索
        • ray.rllib.core.rl_模块.rl_模块.RL模块.前向推理
        • ray.rllib.core.rl_模块.rl_模块.RL模块._前向训练
        • ray.rllib.core.rl_模块.rl_模块.RL模块._前向探索
        • ray.rllib.core.rl_module.rl_module.RLModule._forward_inference
        • ray.rllib.core.rl_module.rl_module.RLModule.input_specs_inference
        • ray.rllib.core.rl_模块.rl_模块.RL模块.输入规范_探索
        • ray.rllib.core.rl_模块.rl_模块.RL模块.输入规范_训练
        • ray.rllib.core.rl_module.rl_module.RLModule.输出规格_推理
        • ray.rllib.core.rl_模块.rl_模块.RL模块.输出规格_探索
        • ray.rllib.core.rl_模块.rl_模块.RLModule.output_specs_train
        • ray.rllib.core.rl_module.rl_module.RLModule.get_state
        • ray.rllib.core.rl_模块.rl_模块.RLModule.设置状态
        • ray.rllib.core.rl_模块.rl_模块.RL模块.保存到路径
        • ray.rllib.core.rl_模块.rl_模块.RL模块.从路径恢复
        • ray.rllib.core.rl_模块.rl_模块.RL模块.从检查点恢复
        • ray.rllib.core.rl_模块.多重_rl_模块.多重RL模块
        • ray.rllib.core.rl_模块.多重_rl_模块.MultiRLModule.设置
        • ray.rllib.core.rl_模块.多重_rl_模块.MultiRLModule.as_多重_rl_模块
        • ray.rllib.core.rl_模块.多重_rl_模块.MultiRLModule.添加_模块
        • ray.rllib.core.rl_模块.多重_rl_模块.MultiRLModule.移除_模块
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.save_to_path
        • ray.rllib.core.rl_模块.多重_rl_模块.MultiRLModule.从路径恢复
      • LearnerGroup API
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.资源
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.rl_模块
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.训练
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.build_learner_group
        • ray.rllib.core.learner.learner_group.学习者组
      • 采样环境或离线数据
        • ray.rllib.evaluation.rollout_worker.RolloutWorker
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.add_policy
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.remove_policy
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.get_policy
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.set_is_policy_to_train
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.设置策略映射函数
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.for_policy
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.foreach_policy
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.foreach_policy_to_train
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.get_filters
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.get_global_vars
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.set_global_vars
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.get_host
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.get_metrics
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.get_node_ip
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.get_weights
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.set_weights
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.get_state
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.set_state
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.lock
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.unlock
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.sample
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.sample_with_count
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.sample_and_learn
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.learn_on_batch
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.setup_torch_data_parallel
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.compute_gradients
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.apply_gradients
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.foreach_env
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.foreach_env_with_context
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.stop
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.apply
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.同步过滤器
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.find_free_port
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.创建参数
        • ray.rllib.evaluation.rollout_worker.RolloutWorker.assert_healthy
        • ray.rllib.env.env_runner.环境运行器
        • ray.rllib.env.env_runner_group.EnvRunnerGroup
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.stop
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.reset
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.add_workers
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.foreach_worker
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.foreach_worker_with_id
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.foreach_worker_async
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.获取已准备好的异步请求
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.num_in_flight_async_reqs
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.local_worker
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.远程工作者
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.num_healthy_remote_workers
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.num_healthy_workers
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.num_remote_worker_restarts
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.探测不健康的工人
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.add_policy
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.foreach_env
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.foreach_env_with_context
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.foreach_policy
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.foreach_policy_to_train
        • ray.rllib.env.env_runner_group.EnvRunnerGroup.同步权重
        • ray.rllib.offline.input_reader.输入读取器
        • ray.rllib.offline.input_reader.InputReader.next
        • ray.rllib.evaluation.sampler.SamplerInput
        • ray.rllib.evaluation.sampler.SamplerInput.get_data
        • ray.rllib.evaluation.sampler.SamplerInput.get_extra_batches
        • ray.rllib.evaluation.sampler.SamplerInput.get_metrics
        • ray.rllib.evaluation.sampler.SyncSampler
        • ray.rllib.离线.json_读取器.JsonReader
        • ray.rllib.offline.json_reader.JsonReader.read_all_files
        • ray.rllib.离线.混合输入.MixedInput
        • ray.rllib.offline.d4rl_reader.D4RLReader
        • ray.rllib.offline.io_context.IOContext
        • ray.rllib.offline.io_context.IOContext.默认采样器输入
        • ray.rllib.policy.policy_map.策略映射
        • ray.rllib.policy.policy_map.PolicyMap.items
        • ray.rllib.policy.policy_map.PolicyMap.keys
        • ray.rllib.policy.policy_map.PolicyMap.values
        • ray.rllib.policy.sample_batch.样本批次
        • ray.rllib.policy.sample_batch.SampleBatch.set_get_interceptor
        • ray.rllib.policy.sample_batch.SampleBatch.is_training
        • ray.rllib.policy.sample_batch.SampleBatch.set_training
        • ray.rllib.policy.sample_batch.SampleBatch.as_multi_agent
        • ray.rllib.policy.sample_batch.SampleBatch.get
        • ray.rllib.policy.sample_batch.SampleBatch.to_device
        • ray.rllib.policy.sample_batch.SampleBatch.right_zero_pad
        • ray.rllib.policy.sample_batch.SampleBatch.slice
        • ray.rllib.policy.sample_batch.SampleBatch.split_by_episode
        • ray.rllib.policy.sample_batch.SampleBatch.shuffle
        • ray.rllib.policy.sample_batch.SampleBatch.columns
        • ray.rllib.policy.sample_batch.SampleBatch.rows
        • ray.rllib.policy.sample_batch.SampleBatch.copy
        • ray.rllib.policy.sample_batch.SampleBatch.is_single_trajectory
        • ray.rllib.policy.sample_batch.SampleBatch.is_terminated_or_truncated
        • ray.rllib.policy.sample_batch.SampleBatch.环境步骤
        • ray.rllib.policy.sample_batch.SampleBatch.agent_steps
        • ray.rllib.policy.sample_batch.MultiAgentBatch
        • ray.rllib.policy.sample_batch.MultiAgentBatch.env_steps
        • ray.rllib.policy.sample_batch.MultiAgentBatch.agent_steps
      • 重放缓冲区 API
        • ray.rllib.utils.replay_buffers.replay_buffer.存储单元
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer
        • ray.rllib.utils.replay_buffers.prioritized_replay_buffer.PrioritizedReplayBuffer
        • ray.rllib.utils.replay_buffers.reservoir_replay_buffer.ReservoirReplayBuffer
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer.sample
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer.add
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer.get_state
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer.set_state
        • ray.rllib.utils.replay_buffers.multi_agent_replay_buffer.MultiAgentReplayBuffer
        • ray.rllib.utils.replay_buffers.multi_agent_prioritized_replay_buffer.MultiAgentPrioritizedReplayBuffer
        • ray.rllib.utils.replay_buffers.utils.update_priorities_in_replay_buffer
        • ray.rllib.utils.replay_buffers.utils.sample_min_n_steps_from_buffer
      • RLlib 工具
        • ray.rllib.utils.exploration.exploration.Exploration
        • ray.rllib.utils.exploration.random.Random
        • ray.rllib.utils.exploration.stochastic_sampling.StochasticSampling
        • ray.rllib.utils.exploration.epsilon_greedy.EpsilonGreedy
        • ray.rllib.utils.exploration.gaussian_noise.GaussianNoise
        • ray.rllib.utils.exploration.ornstein_uhlenbeck_noise.OrnsteinUhlenbeckNoise
        • ray.rllib.utils.exploration.random_encoder.RE3
        • ray.rllib.utils.exploration.curiosity.Curiosity
        • ray.rllib.utils.exploration.parameter_noise.ParameterNoise
        • ray.rllib.utils.exploration.exploration.Exploration.get_探索_动作
        • ray.rllib.utils.探索.探索.探索.before_compute_actions
        • ray.rllib.utils.探索.探索.探索.on_episode_start
        • ray.rllib.utils.exploration.exploration.Exploration.on_episode_end
        • ray.rllib.utils.exploration.exploration.Exploration.postprocess_trajectory
        • ray.rllib.utils.exploration.exploration.Exploration.get_state
        • ray.rllib.utils.exploration.exploration.Exploration.设置状态
        • ray.rllib.utils.schedules.schedule.Schedule
        • ray.rllib.utils.schedules.constant_schedule.ConstantSchedule
        • ray.rllib.utils.schedules.linear_schedule.LinearSchedule
        • ray.rllib.utils.schedules.piecewise_schedule.分段调度
        • ray.rllib.utils.schedules.exponential_schedule.ExponentialSchedule
        • ray.rllib.utils.schedules.polynomial_schedule.PolynomialSchedule
        • ray.rllib.utils.schedules.schedule.Schedule.value
        • ray.rllib.utils.schedules.schedule.Schedule.__call__
        • ray.rllib.execution.train_ops.multi_gpu_train_one_step
        • ray.rllib.execution.train_ops.train_one_step
        • ray.rllib.utils.framework.尝试导入_torch
        • ray.rllib.utils.framework.尝试导入_tf
        • ray.rllib.utils.framework.try_import_tfp
        • ray.rllib.utils.tf_utils.explained_variance
        • ray.rllib.utils.tf_utils.flatten_inputs_to_1d_tensor
        • ray.rllib.utils.tf_utils.获取GPU设备
        • ray.rllib.utils.tf_utils.get_placeholder
        • ray.rllib.utils.tf_utils.huber_损失
        • ray.rllib.utils.tf_utils.l2_损失
        • ray.rllib.utils.tf_utils.make_tf_callable
        • ray.rllib.utils.tf_utils.最小化并裁剪
        • ray.rllib.utils.tf_utils.one_hot
        • ray.rllib.utils.tf_utils.reduce_mean_ignore_inf
        • ray.rllib.utils.tf_utils.scope_vars
        • ray.rllib.utils.tf_utils.warn_if_infinite_kl_divergence
        • ray.rllib.utils.tf_utils.zero_logps_from_actions
        • ray.rllib.utils.torch_utils.应用梯度裁剪
        • ray.rllib.utils.torch_utils.concat_多GPU_TD_误差
        • ray.rllib.utils.torch_utils.convert_to_torch_tensor
        • ray.rllib.utils.torch_utils.explained_variance
        • ray.rllib.utils.torch_utils.将输入展平为1D张量
        • ray.rllib.utils.torch_utils.global_norm
        • ray.rllib.utils.torch_utils.huber_损失
        • ray.rllib.utils.torch_utils.l2_损失
        • ray.rllib.utils.torch_utils.最小化并裁剪
        • ray.rllib.utils.torch_utils.one_hot
        • ray.rllib.utils.torch_utils.reduce_mean_ignore_inf
        • ray.rllib.utils.torch_utils.sequence_mask
        • ray.rllib.utils.torch_utils.warn_if_infinite_kl_divergence
        • ray.rllib.utils.torch_utils.set_torch_seed
        • ray.rllib.utils.torch_utils.softmax_交叉熵_带_logits
        • ray.rllib.utils.numpy.aligned_array
        • ray.rllib.utils.numpy.concat_aligned
        • ray.rllib.utils.numpy.convert_to_numpy
        • ray.rllib.utils.numpy.fc
        • ray.rllib.utils.numpy.flatten_inputs_to_1d_tensor
        • ray.rllib.utils.numpy.make_action_immutable
        • ray.rllib.utils.numpy.huber_损失
        • ray.rllib.utils.numpy.l2_损失
        • ray.rllib.utils.numpy.lstm
        • ray.rllib.utils.numpy.one_hot
        • ray.rllib.utils.numpy.relu
        • ray.rllib.utils.numpy.sigmoid
        • ray.rllib.utils.numpy.softmax
        • ray.rllib.utils.checkpoints.Checkpointable
        • ray.rllib.utils.checkpoints.转换_为_msgpack_检查点
        • ray.rllib.utils.checkpoints.转换_为_msgpack_策略_检查点
        • ray.rllib.utils.checkpoints.获取检查点信息
        • ray.rllib.utils.checkpoints.尝试导入msgpack
        • ray.rllib.utils.policy.从输入字典计算对数似然
        • ray.rllib.utils.policy.为框架创建策略
        • ray.rllib.utils.policy.本地策略推断
        • ray.rllib.utils.policy.从检查点解析策略规格
        • ray.rllib.utils.tensor_dtype.get_np_dtype
        • ray.rllib.common.CLIArguments
        • ray.rllib.common.FrameworkEnum
        • ray.rllib.common.SupportedFileType
        • ray.rllib.core.rl_模块.验证模块ID
        • ray.rllib.train.从文件加载实验
      • 外部应用程序API
  • 更多库
    • 分布式 Scikit-learn / Joblib
    • 分布式多进程.Pool
    • Ray 集体通信库
    • 在 Ray 上使用 Dask
      • ray.util.dask.RayDaskCallback
        • ray.util.dask.RayDaskCallback.ray_active
      • ray.util.dask.callbacks.RayDaskCallback._ray_预提交
      • ray.util.dask.callbacks.RayDaskCallback._ray_postsubmit
      • ray.util.dask.callbacks.RayDaskCallback._ray_pretask
      • ray.util.dask.callbacks.RayDaskCallback._ray_posttask
      • ray.util.dask.callbacks.RayDaskCallback._ray_postsubmit_all
      • ray.util.dask.callbacks.RayDaskCallback._ray_finish
    • 在 Ray 上使用 Spark (RayDP)
    • 在 Ray 上使用 Mars
    • 在 Ray 上使用 Pandas (Modin)
    • Ray 工作流 (Alpha)
      • 关键概念
      • 入门指南
      • 工作流管理
      • 工作流元数据
      • 事件
      • API 比较
      • 高级主题
      • Ray 工作流 API
        • 工作流执行 API
        • 工作流管理 API
  • Ray 集群
    • 关键概念
    • 在 Kubernetes 上部署
      • 开始使用 KubeRay
        • RayCluster 快速入门
        • RayJob 快速入门
        • RayService 快速入门
      • 用户指南
        • 部署 Ray Serve 应用
        • RayService 高可用性
        • KubeRay 可观测性
        • KubeRay 升级指南
        • 托管 Kubernetes 服务
        • 存储和依赖的最佳实践
        • RayCluster 配置
        • KubeRay 自动伸缩
        • KubeRay 中的 GCS 容错
        • 在 GKE 中配置 KubeRay 使用 Google Cloud Storage 存储桶
        • 日志持久化
        • 使用GPU
        • 在 KubeRay 中使用 TPU
        • 在 RayCluster 上开发 Ray Serve Python 脚本
        • 为 Ray 头节点/工作节点 Pod 指定容器命令
        • Pod 安全
        • Helm Chart RBAC
        • TLS 认证
        • (高级) 在 Kubernetes 环境下理解 Ray Autoscaler
        • (高级) 在没有 KubeRay 的情况下部署一个静态 Ray 集群
      • 示例
        • Ray Train XGBoostTrainer 在 Kubernetes 上
        • 在 Kubernetes 上使用 GPU 训练 PyTorch ResNet 模型
        • 在Kubernetes上使用CPU训练Fashion MNIST的PyTorch模型
        • 在 Kubernetes 上部署 StableDiffusion 文本到图像模型
        • 在GKE上使用TPUs部署Stable Diffusion模型
        • 在 Kubernetes 上部署 MobileNet 图像分类器
        • 在 Kubernetes 上部署文本摘要器
        • RayJob 批量推理示例
        • 使用 RayJob 和 Kueue 的优先级调度
        • 使用 RayJob 和 Kueue 进行 Gang 调度
        • 使用 KubeRay 和 GCSFuse 进行分布式检查点
        • 在 Kubernetes 上使用 Modin 和 Ray
        • 在 Kubernetes 上使用 vLLM 服务大型语言模型
      • KubeRay 生态系统
        • 入口
        • 使用 Prometheus 和 Grafana
        • 使用 py-spy 进行性能分析
        • KubeRay 与 Volcano 的集成
        • Kubeflow：一个交互式开发解决方案
        • RayJob 的 Gang 调度和优先级调度与 Kueue
        • 使用 Istio 进行 mTLS 和 L7 可观测性
      • KubeRay 基准测试
        • KubeRay 内存和可扩展性基准测试
      • KubeRay 故障排除
        • 故障排除指南
        • RayService 故障排除
      • API 参考
    • 在虚拟机上部署
      • 入门指南
      • 用户指南
        • 在 AWS、GCP、Azure、vSphere、本地环境中启动 Ray 集群
        • 大规模集群部署的最佳实践
        • 配置自动扩展
        • 日志持久化
        • 社区支持的集群管理器
      • 示例
        • 在虚拟机上使用 Ray Train XGBoostTrainer
      • API 参考
        • 集群启动器命令
        • 集群 YAML 配置选项
    • 收集和监控指标
    • 配置和管理 Ray 仪表板
    • 应用程序指南
      • Ray 作业概述
        • 使用 Ray Jobs CLI 快速入门
        • Python SDK 概述
        • Python SDK API 参考
        • Ray Jobs CLI API 参考
        • Ray Jobs REST API
        • Ray 客户端
      • 程序化集群扩展
    • 常见问题解答
    • Ray 集群管理 API
      • 集群管理 CLI
      • Python SDK API 参考
      • Ray Jobs CLI API 参考
      • 程序化集群扩展
    • 使用统计收集
  • 监控与调试
    • Ray 仪表盘
    • Ray 分布式调试器
    • 关键概念
    • 用户指南
      • 调试应用程序
        • 通用调试
        • 调试内存问题
        • 调试挂起
        • 调试失败
        • 优化性能
        • 使用 Ray 调试器
      • 使用CLI或SDK进行监控
      • 配置日志记录
      • 性能分析
      • 添加应用程序级别指标
      • 跟踪
    • 参考
      • 状态 API
      • 状态 CLI
      • 系统指标
  • 开发者指南
    • API 稳定性
    • API 政策
    • 参与 / 贡献
      • 从源码构建 Ray
      • 在PR上的CI测试工作流程
      • 为 Ray 文档做贡献
      • 如何编写代码片段
      • 本地测试自动扩展
      • 测试 Ray 程序的技巧
      • Ray 开发者的调试
      • Ray 开发者的性能分析
    • 配置 Ray
    • 架构白皮书
  • 术语表
  • 安全
  • RLlib: 工业级强化学习
  • ray.rllib.core.rl_模块.多_rl_模块.MultiRLModuleSpec
  • ray.rllib.co...

ray.rllib.core.rl_模块.多重_rl_模块.MultiRLModuleSpec.模块_规格#

MultiRLModuleSpec.module_specs: RLModuleSpec | Dict[str, RLModuleSpec] = None#

上一页

ray.rllib.core.rl_module.multi_rl_module.MultiRLModuleSpec.load_state_path

下一页

ray.rllib.core.rl_模块.多重_rl_模块.MultiRLModuleSpec.modules_to_load
On this page
  • MultiRLModuleSpec.module_specs
Thanks for the feedback!
Was this helpful?
Yes
No
Feedback
Submit

© Copyright 2024, The Ray Team.

由 Sphinx 7.3.7创建。

Built with the PyData Sphinx Theme 0.14.1.