轨迹变换器
该模型目前处于维护模式,因此我们不会接受任何更改其代码的新PR。
如果您在运行此模型时遇到任何问题,请重新安装支持此模型的最后一个版本:v4.30.0。
您可以通过运行以下命令来执行此操作:pip install -U transformers==4.30.0
。
概述
轨迹变换器模型由Michael Janner、Qiyang Li和Sergey Levine在离线强化学习作为一个大序列建模问题中提出。
论文的摘要如下:
强化学习(RL)通常关注于估计静态策略或单步模型,利用马尔可夫性质在时间上分解问题。然而,我们也可以将RL视为一个通用的序列建模问题,目标是生成一系列动作,从而产生一系列高奖励。从这个角度来看,我们不禁会考虑在其他领域(如自然语言处理)中表现良好的高容量序列预测模型是否也能为RL问题提供有效的解决方案。为此,我们探索了如何使用序列建模工具来解决RL问题,使用Transformer架构来建模轨迹分布,并将束搜索重新用作规划算法。将RL框架化为序列建模问题简化了一系列设计决策,使我们能够摒弃离线RL算法中常见的许多组件。我们在长期动态预测、模仿学习、目标条件RL和离线RL中展示了这种方法的灵活性。此外,我们展示了这种方法可以与现有的无模型算法结合,在稀疏奖励、长期任务中产生最先进的规划器。
该模型由CarlCochet贡献。原始代码可以在这里找到。
使用提示
此Transformer用于深度强化学习。要使用它,您需要从所有先前时间步长的动作、状态和奖励中创建序列。此模型将所有这些元素一起视为一个大序列(轨迹)。
TrajectoryTransformerConfig
类 transformers.TrajectoryTransformerConfig
< source >( vocab_size = 100 action_weight = 5 reward_weight = 1 value_weight = 1 block_size = 249 action_dim = 6 observation_dim = 17 transition_dim = 25 n_layer = 4 n_head = 4 n_embd = 128 embd_pdrop = 0.1 attn_pdrop = 0.1 resid_pdrop = 0.1 learning_rate = 0.0006 max_position_embeddings = 512 initializer_range = 0.02 layer_norm_eps = 1e-12 kaiming_initializer_range = 1 use_cache = True pad_token_id = 1 bos_token_id = 50256 eos_token_id = 50256 **kwargs )
参数
- vocab_size (
int
, 可选, 默认为 100) — TrajectoryTransformer 模型的词汇量大小。定义了调用 TrajectoryTransformerModel 时传递的trajectories
可以表示的不同标记的数量 - action_weight (
int
, optional, 默认为 5) — 损失函数中动作的权重 - reward_weight (
int
, optional, defaults to 1) — 损失函数中奖励的权重 - value_weight (
int
, optional, defaults to 1) — 损失函数中值的权重 - block_size (
int
, 可选, 默认为 249) — 轨迹变换器中的块大小。 - action_dim (
int
, optional, 默认为 6) — 动作空间的维度。 - observation_dim (
int
, optional, 默认为 17) — 观察空间的维度。 - transition_dim (
int
, optional, 默认为 25) — 过渡空间的维度。 - n_layer (
int
, optional, 默认为 4) — Transformer 编码器中的隐藏层数。 - n_head (
int
, optional, 默认为 4) — Transformer 编码器中每个注意力层的注意力头数。 - n_embd (
int
, optional, defaults to 128) — 嵌入和隐藏状态的维度。 - resid_pdrop (
float
, optional, 默认为 0.1) — 嵌入层、编码器和池化器中所有全连接层的丢弃概率。 - embd_pdrop (
int
, optional, defaults to 0.1) — 嵌入的dropout比率. - attn_pdrop (
float
, optional, defaults to 0.1) — 注意力的dropout比例. - hidden_act (
str
或function
, 可选, 默认为"gelu"
) — 编码器和池化器中的非线性激活函数(函数或字符串)。如果是字符串,支持"gelu"
、"relu"
、"selu"
和"gelu_new"
。 - max_position_embeddings (
int
, optional, 默认为 512) — 此模型可能使用的最大序列长度。通常将其设置为较大的值以防万一(例如,512、1024 或 2048)。 - initializer_range (
float
, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。 - layer_norm_eps (
float
, optional, defaults to 1e-12) — 层归一化层使用的epsilon值。 - kaiming_initializer_range (`float, optional, 默认为 1) — 一个系数,用于缩放 EinLinear 层的 kaiming 初始化整流器的负斜率。
- use_cache (
bool
, 可选, 默认为True
) — 模型是否应返回最后的键/值注意力(并非所有模型都使用)。仅在config.is_decoder=True
时相关。 - 示例 —
这是用于存储TrajectoryTransformerModel配置的配置类。它用于根据指定的参数实例化一个TrajectoryTransformer模型,定义模型架构。使用默认值实例化配置将产生与CarlCochet/trajectory-transformer-halfcheetah-medium-v2架构类似的配置。
配置对象继承自PretrainedConfig,可用于控制模型输出。阅读PretrainedConfig的文档以获取更多信息。
>>> from transformers import TrajectoryTransformerConfig, TrajectoryTransformerModel
>>> # Initializing a TrajectoryTransformer CarlCochet/trajectory-transformer-halfcheetah-medium-v2 style configuration
>>> configuration = TrajectoryTransformerConfig()
>>> # Initializing a model (with random weights) from the CarlCochet/trajectory-transformer-halfcheetah-medium-v2 style configuration
>>> model = TrajectoryTransformerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config
轨迹变换模型
class transformers.TrajectoryTransformerModel
< source >( config )
参数
- config (TrajectoryTransformerConfig) — 包含模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型相关的权重,只会加载配置。查看 from_pretrained() 方法以加载模型权重。
裸的TrajectoryTransformer模型,输出原始隐藏状态,没有任何特定的头部。 该模型是PyTorch torch.nn.Module 的子类。将其作为常规的PyTorch模块使用,并参考PyTorch文档以获取与一般使用和行为相关的所有信息。
完整的GPT语言模型,上下文大小为block_size
前进
< source >( trajectories: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[typing.Tuple[typing.Tuple[torch.Tensor]]] = None targets: typing.Optional[torch.FloatTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) → transformers.models.deprecated.trajectory_transformer.modeling_trajectory_transformer.TrajectoryTransformerOutput
或 tuple(torch.FloatTensor)
参数
- 轨迹 (
torch.LongTensor
形状为(batch_size, sequence_length)
) — 轨迹的批次,其中轨迹是状态、动作和奖励的序列。 - past_key_values (
Tuple[Tuple[torch.Tensor]]
长度为config.n_layers
, 可选) — 包含模型计算的预计算隐藏状态(注意力块中的键和值)(见下面的past_key_values
输出)。可用于加速顺序解码。已经将其过去状态提供给此模型的input_ids
不应再作为input_ids
传递,因为它们已经被计算过了。 - targets (
torch.LongTensor
of shape(batch_size, sequence_length)
, optional) — 用于计算损失的期望目标。 - attention_mask (
torch.FloatTensor
of shape(batch_size, sequence_length)
, optional) — Mask to avoid performing attention on padding token indices. Mask values selected in[0, 1]
:- 1 for tokens that are not masked,
- 0 for tokens that are masked.
- use_cache (
bool
, 可选) — 如果设置为True
,past_key_values
键值状态将被返回,并可用于加速解码(参见past_key_values
)。 - output_attentions (
bool
, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参见返回张量下的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参见返回张量下的hidden_states
。 - return_dict (
bool
, 可选) — 是否返回一个ModelOutput而不是一个普通的元组。
返回
transformers.models.deprecated.trajectory_transformer.modeling_trajectory_transformer.TrajectoryTransformerOutput
或 tuple(torch.FloatTensor)
一个 transformers.models.deprecated.trajectory_transformer.modeling_trajectory_transformer.TrajectoryTransformerOutput
或一个由
torch.FloatTensor
组成的元组(如果传递了 return_dict=False
或当 config.return_dict=False
时),包含各种
元素,具体取决于配置(TrajectoryTransformerConfig)和输入。
- loss (
torch.FloatTensor
形状为(1,)
,可选,当提供labels
时返回) — 语言建模损失。 - logits (
torch.FloatTensor
形状为(batch_size, sequence_length, config.vocab_size)
) — 语言建模头的预测分数(SoftMax 之前的每个词汇标记的分数)。 - past_key_values (
Tuple[Tuple[torch.Tensor]]
,可选,当传递use_cache=True
或当config.use_cache=True
时返回) — 长度为config.n_layers
的元组,包含形状为(batch_size, num_heads, sequence_length, embed_size_per_head)
的张量元组。包含预计算的隐藏状态(注意力块中的键和值),可用于(参见past_key_values
输入)加速顺序解码。 - hidden_states (
tuple(torch.FloatTensor)
,可选,当传递output_hidden_states=True
或当config.output_hidden_states=True
时返回) — 由torch.FloatTensor
组成的元组(一个用于嵌入的输出 + 一个用于每层的输出),形状为(batch_size, sequence_length, hidden_size)
。模型在每层输出处的隐藏状态加上初始嵌入输出。 - attentions (
tuple(torch.FloatTensor)
,可选,当传递output_attentions=True
或当config.output_attentions=True
时返回) — 由torch.FloatTensor
组成的元组(每层一个),形状为(batch_size, num_heads, sequence_length, sequence_length)
。注意力 softmax 后的 GPT2Attentions 权重,用于计算自注意力头中的加权平均值。
TrajectoryTransformerModel 的 forward 方法,重写了 __call__
特殊方法。
尽管前向传递的配方需要在此函数内定义,但之后应该调用Module
实例而不是这个,因为前者负责运行预处理和后处理步骤,而后者会默默地忽略它们。
示例:
>>> from transformers import TrajectoryTransformerModel
>>> import torch
>>> model = TrajectoryTransformerModel.from_pretrained(
... "CarlCochet/trajectory-transformer-halfcheetah-medium-v2"
... )
>>> model.to(device)
>>> model.eval()
>>> observations_dim, action_dim, batch_size = 17, 6, 256
>>> seq_length = observations_dim + action_dim + 1
>>> trajectories = torch.LongTensor([np.random.permutation(self.seq_length) for _ in range(batch_size)]).to(
... device
... )
>>> targets = torch.LongTensor([np.random.permutation(self.seq_length) for _ in range(batch_size)]).to(device)
>>> outputs = model(
... trajectories,
... targets=targets,
... use_cache=True,
... output_attentions=True,
... output_hidden_states=True,
... return_dict=True,
... )