Transformers 文档

轨迹变换器

轨迹变换器

该模型目前处于维护模式,因此我们不会接受任何更改其代码的新PR。

如果您在运行此模型时遇到任何问题,请重新安装支持此模型的最后一个版本:v4.30.0。 您可以通过运行以下命令来执行此操作:pip install -U transformers==4.30.0

概述

轨迹变换器模型由Michael Janner、Qiyang Li和Sergey Levine在离线强化学习作为一个大序列建模问题中提出。

论文的摘要如下:

强化学习(RL)通常关注于估计静态策略或单步模型,利用马尔可夫性质在时间上分解问题。然而,我们也可以将RL视为一个通用的序列建模问题,目标是生成一系列动作,从而产生一系列高奖励。从这个角度来看,我们不禁会考虑在其他领域(如自然语言处理)中表现良好的高容量序列预测模型是否也能为RL问题提供有效的解决方案。为此,我们探索了如何使用序列建模工具来解决RL问题,使用Transformer架构来建模轨迹分布,并将束搜索重新用作规划算法。将RL框架化为序列建模问题简化了一系列设计决策,使我们能够摒弃离线RL算法中常见的许多组件。我们在长期动态预测、模仿学习、目标条件RL和离线RL中展示了这种方法的灵活性。此外,我们展示了这种方法可以与现有的无模型算法结合,在稀疏奖励、长期任务中产生最先进的规划器。

该模型由CarlCochet贡献。原始代码可以在这里找到。

使用提示

此Transformer用于深度强化学习。要使用它,您需要从所有先前时间步长的动作、状态和奖励中创建序列。此模型将所有这些元素一起视为一个大序列(轨迹)。

TrajectoryTransformerConfig

transformers.TrajectoryTransformerConfig

< >

( vocab_size = 100 action_weight = 5 reward_weight = 1 value_weight = 1 block_size = 249 action_dim = 6 observation_dim = 17 transition_dim = 25 n_layer = 4 n_head = 4 n_embd = 128 embd_pdrop = 0.1 attn_pdrop = 0.1 resid_pdrop = 0.1 learning_rate = 0.0006 max_position_embeddings = 512 initializer_range = 0.02 layer_norm_eps = 1e-12 kaiming_initializer_range = 1 use_cache = True pad_token_id = 1 bos_token_id = 50256 eos_token_id = 50256 **kwargs )

参数

  • vocab_size (int, 可选, 默认为 100) — TrajectoryTransformer 模型的词汇量大小。定义了调用 TrajectoryTransformerModel 时传递的 trajectories 可以表示的不同标记的数量
  • action_weight (int, optional, 默认为 5) — 损失函数中动作的权重
  • reward_weight (int, optional, defaults to 1) — 损失函数中奖励的权重
  • value_weight (int, optional, defaults to 1) — 损失函数中值的权重
  • block_size (int, 可选, 默认为 249) — 轨迹变换器中的块大小。
  • action_dim (int, optional, 默认为 6) — 动作空间的维度。
  • observation_dim (int, optional, 默认为 17) — 观察空间的维度。
  • transition_dim (int, optional, 默认为 25) — 过渡空间的维度。
  • n_layer (int, optional, 默认为 4) — Transformer 编码器中的隐藏层数。
  • n_head (int, optional, 默认为 4) — Transformer 编码器中每个注意力层的注意力头数。
  • n_embd (int, optional, defaults to 128) — 嵌入和隐藏状态的维度。
  • resid_pdrop (float, optional, 默认为 0.1) — 嵌入层、编码器和池化器中所有全连接层的丢弃概率。
  • embd_pdrop (int, optional, defaults to 0.1) — 嵌入的dropout比率.
  • attn_pdrop (float, optional, defaults to 0.1) — 注意力的dropout比例.
  • hidden_act (strfunction, 可选, 默认为 "gelu") — 编码器和池化器中的非线性激活函数(函数或字符串)。如果是字符串,支持 "gelu""relu""selu""gelu_new"
  • max_position_embeddings (int, optional, 默认为 512) — 此模型可能使用的最大序列长度。通常将其设置为较大的值以防万一(例如,512、1024 或 2048)。
  • initializer_range (float, 可选, 默认为 0.02) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
  • layer_norm_eps (float, optional, defaults to 1e-12) — 层归一化层使用的epsilon值。
  • kaiming_initializer_range (`float, optional, 默认为 1) — 一个系数,用于缩放 EinLinear 层的 kaiming 初始化整流器的负斜率。
  • use_cache (bool, 可选, 默认为 True) — 模型是否应返回最后的键/值注意力(并非所有模型都使用)。仅在 config.is_decoder=True 时相关。
  • 示例

这是用于存储TrajectoryTransformerModel配置的配置类。它用于根据指定的参数实例化一个TrajectoryTransformer模型,定义模型架构。使用默认值实例化配置将产生与CarlCochet/trajectory-transformer-halfcheetah-medium-v2架构类似的配置。

配置对象继承自PretrainedConfig,可用于控制模型输出。阅读PretrainedConfig的文档以获取更多信息。

>>> from transformers import TrajectoryTransformerConfig, TrajectoryTransformerModel

>>> # Initializing a TrajectoryTransformer CarlCochet/trajectory-transformer-halfcheetah-medium-v2 style configuration
>>> configuration = TrajectoryTransformerConfig()

>>> # Initializing a model (with random weights) from the CarlCochet/trajectory-transformer-halfcheetah-medium-v2 style configuration
>>> model = TrajectoryTransformerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

轨迹变换模型

class transformers.TrajectoryTransformerModel

< >

( config )

参数

  • config (TrajectoryTransformerConfig) — 包含模型所有参数的模型配置类。 使用配置文件初始化不会加载与模型相关的权重,只会加载配置。查看 from_pretrained() 方法以加载模型权重。

裸的TrajectoryTransformer模型,输出原始隐藏状态,没有任何特定的头部。 该模型是PyTorch torch.nn.Module 的子类。将其作为常规的PyTorch模块使用,并参考PyTorch文档以获取与一般使用和行为相关的所有信息。

完整的GPT语言模型,上下文大小为block_size

前进

< >

( trajectories: typing.Optional[torch.LongTensor] = None past_key_values: typing.Optional[typing.Tuple[typing.Tuple[torch.Tensor]]] = None targets: typing.Optional[torch.FloatTensor] = None attention_mask: typing.Optional[torch.FloatTensor] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None ) transformers.models.deprecated.trajectory_transformer.modeling_trajectory_transformer.TrajectoryTransformerOutputtuple(torch.FloatTensor)

参数

  • 轨迹 (torch.LongTensor 形状为 (batch_size, sequence_length)) — 轨迹的批次,其中轨迹是状态、动作和奖励的序列。
  • past_key_values (Tuple[Tuple[torch.Tensor]] 长度为 config.n_layers, 可选) — 包含模型计算的预计算隐藏状态(注意力块中的键和值)(见下面的 past_key_values 输出)。可用于加速顺序解码。已经将其过去状态提供给此模型的 input_ids 不应再作为 input_ids 传递,因为它们已经被计算过了。
  • targets (torch.LongTensor of shape (batch_size, sequence_length), optional) — 用于计算损失的期望目标。
  • attention_mask (torch.FloatTensor of shape (batch_size, sequence_length), optional) — Mask to avoid performing attention on padding token indices. Mask values selected in [0, 1]:
    • 1 for tokens that are not masked,
    • 0 for tokens that are masked.

    什么是注意力掩码?

  • use_cache (bool, 可选) — 如果设置为 Truepast_key_values 键值状态将被返回,并可用于加速解码(参见 past_key_values)。
  • output_attentions (bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息,请参见返回张量下的attentions
  • output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关更多详细信息,请参见返回张量下的hidden_states
  • return_dict (bool, 可选) — 是否返回一个ModelOutput而不是一个普通的元组。

返回

transformers.models.deprecated.trajectory_transformer.modeling_trajectory_transformer.TrajectoryTransformerOutputtuple(torch.FloatTensor)

一个 transformers.models.deprecated.trajectory_transformer.modeling_trajectory_transformer.TrajectoryTransformerOutput 或一个由 torch.FloatTensor 组成的元组(如果传递了 return_dict=False 或当 config.return_dict=False 时),包含各种 元素,具体取决于配置(TrajectoryTransformerConfig)和输入。

  • loss (torch.FloatTensor 形状为 (1,)可选,当提供 labels 时返回) — 语言建模损失。
  • logits (torch.FloatTensor 形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数(SoftMax 之前的每个词汇标记的分数)。
  • past_key_values (Tuple[Tuple[torch.Tensor]]可选,当传递 use_cache=True 或当 config.use_cache=True 时返回) — 长度为 config.n_layers 的元组,包含形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量元组。包含预计算的隐藏状态(注意力块中的键和值),可用于(参见 past_key_values 输入)加速顺序解码。
  • hidden_states (tuple(torch.FloatTensor)可选,当传递 output_hidden_states=True 或当 config.output_hidden_states=True 时返回) — 由 torch.FloatTensor 组成的元组(一个用于嵌入的输出 + 一个用于每层的输出),形状为 (batch_size, sequence_length, hidden_size)。模型在每层输出处的隐藏状态加上初始嵌入输出。
  • attentions (tuple(torch.FloatTensor)可选,当传递 output_attentions=True 或当 config.output_attentions=True 时返回) — 由 torch.FloatTensor 组成的元组(每层一个),形状为 (batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 后的 GPT2Attentions 权重,用于计算自注意力头中的加权平均值。

TrajectoryTransformerModel 的 forward 方法,重写了 __call__ 特殊方法。

尽管前向传递的配方需要在此函数内定义,但之后应该调用Module实例而不是这个,因为前者负责运行预处理和后处理步骤,而后者会默默地忽略它们。

示例:

>>> from transformers import TrajectoryTransformerModel
>>> import torch

>>> model = TrajectoryTransformerModel.from_pretrained(
...     "CarlCochet/trajectory-transformer-halfcheetah-medium-v2"
... )
>>> model.to(device)
>>> model.eval()

>>> observations_dim, action_dim, batch_size = 17, 6, 256
>>> seq_length = observations_dim + action_dim + 1

>>> trajectories = torch.LongTensor([np.random.permutation(self.seq_length) for _ in range(batch_size)]).to(
...     device
... )
>>> targets = torch.LongTensor([np.random.permutation(self.seq_length) for _ in range(batch_size)]).to(device)

>>> outputs = model(
...     trajectories,
...     targets=targets,
...     use_cache=True,
...     output_attentions=True,
...     output_hidden_states=True,
...     return_dict=True,
... )
< > Update on GitHub