外部环境¶
第一方环境¶
Farama 基金会维护了许多其他 项目，这些项目使用了 Gymnasium API，环境包括：网格世界 (Minigrid)、机器人 (Gymnasium-Robotics)、3D 导航 (Miniworld)、网页交互 (MiniWoB++)、街机游戏 (Arcade Learning Environment)、Doom (ViZDoom)、元目标机器人 (Metaworld)、自动驾驶 (HighwayEnv)、复古游戏 (stable-retro)，等等。
Farama 基金会还维护了其他一些 RL 的替代 API，包括：多智能体 RL（PettingZoo）、离线 RL（Minari）、多目标 RL（MO-Gymnasium）、目标 RL（Gymnasium-Robotics）。
第三方环境与 Gymnasium¶
本页面包含的环境不由Farama基金会维护，因此无法保证其按预期功能运行。
如果你想贡献一个环境，请在 Discord 上联系我们。
CARL: 上下文自适应强化学习¶
流行的强化学习环境的上下文扩展，这些扩展能够实现泛化的训练和测试分布，例如带有可变杆长的CartPole或具有不同地面摩擦的Brax机器人。
DACBench: 动态算法配置的基准¶
一个用于 动态算法配置 的基准库。其重点在于不同 DAC 方法的可重复性和可比性，以及优化过程的轻松分析。
flappy-bird-env¶
Flappy Bird 作为一个 Farama Gymnasium 环境。
flappy-bird-gymnasium: 一个为 Gymnasium 设计的 Flappy Bird 环境¶
一个简单的单智能体强化学习算法环境，基于Flappy Bird，这款极受欢迎的街机风格手机游戏。状态观察和像素观察环境均可使用。
gym-cellular-automata: 元胞自动机环境¶
代理通过改变其单元状态与 元胞自动机 互动的环境。
gym-jiminy: 在Jiminy中训练机器人¶
gym-jiminy 是基于最初 Gym 的机器人扩展，使用了 Jiminy，这是一个用于多关节系统的极速且轻量级的模拟器，使用 Pinocchio 进行物理评估，使用 Meshcat 进行基于网络的 3D 渲染。
gym-pybullet-drones: 四旋翼控制环境¶
使用 PyBullet 模拟 Bitcraze Crazyflie 2.x 纳米四旋翼飞行器动力学的简单环境。
gym-saturation: 用于证明定理的环境¶
一个基于饱和算法（例如 Vampire）指导自动定理证明器的环境。
gym-trading-env: 交易环境¶
Gym Trading Env 从历史数据模拟股票（或加密货币）市场。它被设计为快速且易于定制。
matrix-mdp: 轻松创建离散MDP¶
一个用于轻松实现离散MDP作为gym环境的工具。将一组矩阵（P_0(s)，P(s'| s, a) 和 R(s', s, a)）转换为一个代表由这些动态规则控制的离散MDP的gym环境。
mobile-env: 无线移动网络协调环境¶
一个开放、极简的 Gymnasium 环境，用于无线移动网络中的自主协调。
panda-gym: 使用PyBullet物理引擎的机器人环境¶
基于 PyBullet 的机械臂移动物体的模拟。
pystk2-gymnasium: SuperTuxKart 赛车 gymnasium 包装器¶
使用了一个围绕 SuperTuxKart 的 python 封装，允许访问世界状态并控制比赛。
QWOP: 一个用于Bennet Foddy的QWOP游戏的模拟环境¶
QWOP 是一款关于在100米跑道上极速奔跑的游戏。通过这个 Gymnasium 环境，你可以训练自己的代理，并尝试打破当前的世界纪录（人类5.0游戏秒，AI 4.7游戏秒）。
Safety-Gymnasium: 确保真实世界RL场景中的安全性¶
高度可扩展和可定制的安全强化学习库。
SimpleGrid: Gymnasium 的一个简单网格环境¶
SimpleGrid 是一个超级简单且极简的 Gymnasium 网格环境。它易于使用和定制，旨在提供一个环境，用于快速测试和原型化不同的强化学习算法。
spark-sched-sim: Apache Spark 中调度 DAG 作业的环境¶
spark-sched-sim 模拟基于RL的作业调度算法的Spark集群。Spark作业被编码为有向无环图（DAG），为在RL环境中实验图神经网络（GNN）提供了机会。
sumo-rl: 使用SUMO交通模拟器的强化学习¶
SUMO交通模拟器中各种环境的Gymnasium包装器。支持单代理和多代理设置（使用pettingzoo）。
tmrl: 通过 RL 的 TrackMania 2020¶
tmrl 是一个用于在实时应用中训练深度强化学习 AI 的分布式框架。它以 TrackMania 2020 视频游戏为例进行了展示。
EV2Gym: 一个用于EV智能充电的现实EV-V2G-Gym模拟器¶
EV2Gym 是一个完全可定制且易于配置的环境，适用于从小规模到大规模的电动汽车 (EV) 智能充电模拟。此外，还包括非强化学习基线实现，如数学规划、模型预测控制和启发式算法。
Buffalo-Gym: 多臂老虎机健身房¶
Buffalo-Gym 是一个主要用于辅助调试 RL 实现的多臂老虎机 (MAB) 环境。MAB 通常易于推理代理正在学习的内容以及是否正确。Buffalo-gym 包含老虎机、上下文老虎机以及带有别名的上下文老虎机。
使用 Gym 的第三方环境¶
有许多第三方环境使用各种版本的 Gym。其中许多可以适配以与 gymnasium 一起工作（参见 与 Gym 的兼容性），但不保证完全功能。
电子游戏环境¶
gym-derk: GPU加速的MOBA环境¶
一个3v3的MOBA环境，你可以在其中训练生物互相战斗。
SlimeVolleyGym: 一个简单的Slime Volleyball游戏环境¶
一个简单的环境，用于在 Slime Volleyball 游戏的克隆版本上对单代理和多代理强化学习算法进行基准测试。
Unity ML Agents: Unity游戏引擎的环境¶
适用于Unity游戏引擎的任意和预制环境的Gym（和PettingZoo）包装器。
PGE: 并行游戏引擎¶
使用 Open 3D Engine 进行 AI 模拟，并且可以与 Gym 互操作。使用 PyBullet 物理引擎。
机器人环境¶
PyFlyt: 用于强化学习研究的无人机飞行模拟器环境¶
一个用于在各种无人机上测试强化学习算法的库。它基于 Bullet 物理引擎构建，提供灵活的渲染选项、时间离散的可步进物理、Python 绑定，并支持任何配置的自定义无人机，无论是双翼飞机、四旋翼飞机、火箭，还是你能想到的任何东西。
火星探险者：控制火星上机器人的环境¶
Mars Explorer 是一个与 Gym 兼容的环境，旨在作为连接强大的深度强化学习方法与未知地形探索/覆盖问题之间的桥梁的初步尝试而设计和开发。
robo-gym: 真实世界和模拟机器人¶
Robo-gym 提供了一系列涉及机器人任务的强化学习环境，适用于模拟和真实世界的机器人。
Offworld-gym: 免费远程控制真实机器人¶
通过互联网在实验室中控制真实机器人的Gym环境。
safe-control-gym: 评估RL算法的安全性¶
通过基于PyBullet的CartPole和Quadrotor环境评估安全性、鲁棒性和泛化能力——使用CasADi（符号化）的先验动力学和约束。
gym-softrobot: 软体机器人环境¶
一个用于协同优化软机器人设计和控制的大规模基准。
iGibson: 逼真且交互式的机器人环境¶
一个具有高质量真实场景的仿真环境，使用 PyBullet 进行交互式物理模拟。
DexterousHands: 双灵巧手操作任务¶
这是一个通过 Isaac Gym 提供双手灵巧操作任务的库。
OmniIsaacGymEnvs: NVIDIA Omniverse Isaac 的 Gym 环境¶
强化学习环境用于 Omniverse Isaac 模拟器。
自动驾驶环境¶
gym-duckietown: 自动驾驶汽车的车道跟随¶
一个为 Duckietown 项目（小型自动驾驶汽车课程）构建的车道跟随模拟器。
gym-electric-motor: 电动机仿真的Gym环境¶
一个用于模拟各种电动驱动系统的环境，考虑了不同类型的电动机和转换器。
CommonRoad-RL: 交通场景的运动规划¶
一个用于解决各种交通场景运动规划问题的Gym，兼容 CommonRoad benchmarks，提供可配置的奖励、动作空间和观察空间。
racing_dreamer: 自主赛车中的潜在想象力¶
在模拟环境中训练一个基于模型的强化学习代理，并且无需微调，将其转移到小型赛车中。
l2r: 多模态控制环境，代理学习如何赛车¶
一个用于自动驾驶赛车的开源强化学习环境。
racecar_gym: 使用 PyBullet 的微型赛车环境¶
使用 PyBullet 物理引擎的微型赛车健身房环境。
其他环境¶
Connect-4-gym : 一个用于练习自我对弈的环境¶
Connect-4-Gym 是一个为创建通过自我对战学习并赋予其Elo评分的AI而设计的环境。该环境可用于在经典棋盘游戏四子棋上训练和评估强化学习代理。
CompilerGym: 优化编译器任务¶
用于编译器优化任务的强化学习环境，例如 LLVM 阶段排序、GCC 标志调整和 CUDA 循环嵌套代码生成。
gym-sokoban: 2D 运输谜题¶
游戏环境由一系列运输谜题组成，玩家的目标是将所有箱子推到仓库的存储位置。
NLPGym: 一个开发RL代理来解决NLP任务的工具包¶
NLPGym 为标准NLP任务（如序列标注、问答和序列分类）提供了交互式环境。
ShinRL: 评估RL算法的实验环境¶
ShinRL: 一个从理论和实践角度评估RL算法的库 (Deep RL Workshop 2021)
gymnax: 硬件加速的RL环境¶
JAX 中的 RL 环境，支持高度向量化的环境，并支持多种环境，如 Gym、MinAtari、bsuite 等。
gym-anytrading: 金融交易环境，适用于FOREX和STOCKS¶
AnyTrading 是一系列用于基于强化学习的交易算法的 Gym 环境，特别注重简单性、灵活性和全面性。
gym-mtsim: 适用于MetaTrader 5平台的金融交易¶
MtSim 是一个用于基于强化学习的交易算法的 MetaTrader 5 交易平台模拟器。
openmodelica-microgrid-gym: 微电网中电力电子转换器控制的仿真环境¶
OpenModelica 微电网健身房 (OMG) 包是一个基于电力电子转换器能量转换的微电网仿真和控制优化软件工具箱。
GymFC: 一个飞行控制调参和训练框架¶
GymFC 是一个用于合成神经飞行控制器的模块化框架。已被用于生成世界上第一个开源神经网络飞行控制固件 Neuroflight 的策略。