LSTM层

[source]

LSTM class

keras.layers.LSTM(
    units,
    activation="tanh",
    recurrent_activation="sigmoid",
    use_bias=True,
    kernel_initializer="glorot_uniform",
    recurrent_initializer="orthogonal",
    bias_initializer="zeros",
    unit_forget_bias=True,
    kernel_regularizer=None,
    recurrent_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    kernel_constraint=None,
    recurrent_constraint=None,
    bias_constraint=None,
    dropout=0.0,
    recurrent_dropout=0.0,
    seed=None,
    return_sequences=False,
    return_state=False,
    go_backwards=False,
    stateful=False,
    unroll=False,
    use_cudnn="auto",
    **kwargs
)

长短期记忆层 - Hochreiter 1997.

基于可用的运行时硬件和约束条件,该层将选择不同的实现(基于cuDNN或后端原生) 以最大化性能.如果GPU可用且层的所有参数满足cuDNN内核的要求 (详见下文),在使用TensorFlow后端时,该层将使用快速的cuDNN实现. 使用cuDNN实现的要求是:

  1. activation == tanh
  2. recurrent_activation == sigmoid
  3. dropout == 0 且 recurrent_dropout == 0
  4. unrollFalse
  5. use_biasTrue
  6. 输入(如果使用掩码)严格右填充.
  7. 在最外层上下文中启用了即时执行.

例如:

>>> inputs = np.random.random((32, 10, 8))
>>> lstm = keras.layers.LSTM(4)
>>> output = lstm(inputs)
>>> output.shape
(32, 4)
>>> lstm = keras.layers.LSTM(
...     4, return_sequences=True, return_state=True)
>>> whole_seq_output, final_memory_state, final_carry_state = lstm(inputs)
>>> whole_seq_output.shape
(32, 10, 4)
>>> final_memory_state.shape
(32, 4)
>>> final_carry_state.shape
(32, 4)

参数: units: 正整数,输出空间的维度. activation: 要使用的激活函数. 默认: 双曲正切 (tanh). 如果你传递 None,则不应用激活函数 (即 "线性" 激活: a(x) = x). recurrent_activation: 用于循环步骤的激活函数. 默认: sigmoid (sigmoid). 如果你传递 None,则不应用激活函数 (即 "线性" 激活: a(x) = x). use_bias: 布尔值,(默认 True),层是否应使用偏置向量. kernel_initializer: kernel 权重矩阵的初始化器, 用于输入的线性变换.默认: "glorot_uniform". recurrent_initializer: recurrent_kernel 权重矩阵的初始化器, 用于循环状态的线性变换.默认: "orthogonal". bias_initializer: 偏置向量的初始化器.默认: "zeros". unit_forget_bias: 布尔值(默认 True).如果为 True, 在初始化时将 1 添加到遗忘门的偏置. 将其设置为 True 还将强制 bias_initializer="zeros". 这在 Jozefowicz et al. 中推荐. kernel_regularizer: 应用于 kernel 权重矩阵的正则化函数.默认: None. recurrent_regularizer: 应用于 recurrent_kernel 权重矩阵的正则化函数.默认: None. bias_regularizer: 应用于偏置向量的正则化函数.默认: None. activity_regularizer: 应用于层输出(其 "激活")的正则化函数.默认: None. kernel_constraint: 应用于 kernel 权重矩阵的约束函数.默认: None. recurrent_constraint: 应用于 recurrent_kernel 权重矩阵的约束函数.默认: None. bias_constraint: 应用于偏置向量的约束函数.默认: None. dropout: 0 到 1 之间的浮点数.用于输入线性变换的单元丢弃比例.默认: 0. recurrent_dropout: 0 到 1 之间的浮点数.用于循环状态线性变换的单元丢弃比例.默认: 0. seed: 用于丢弃的随机种子. return_sequences: 布尔值.是否返回输出序列中的最后一个输出,或完整序列.默认: False. return_state: 布尔值.是否在输出之外返回最后一个状态.默认: False. go_backwards: 布尔值(默认: False). 如果为 True,则反向处理输入序列并返回反向序列. stateful: 布尔值(默认: False).如果为 True,批处理中索引 i 的每个样本的最后一个状态 将用作下一批次中索引 i 的样本的初始状态. unroll: 布尔值(默认 False). 如果为 True,网络将展开, 否则将使用符号循环. 展开可以加速 RNN, 尽管它往往更占用内存. 展开仅适用于短序列. use_cudnn: 是否使用基于 cuDNN 的实现."auto" 将在可行时尝试使用 cuDNN, 并在不可行时回退到默认实现.

调用参数: inputs: 一个 3D 张量,形状为 (batch, timesteps, feature). mask: 形状为 (samples, timesteps) 的二进制张量,指示是否 应掩码给定的 timestep(可选). 一个 True 条目表示应利用相应的 timestep,而 False 条目表示应忽略 相应的 timestep.默认值为 None. training: Python 布尔值,指示层应在训练模式还是推理模式下运行. 该参数在调用单元时传递给它.仅在使用了 dropoutrecurrent_dropout 时相关(可选).默认值为 None. initial_state: 要传递给单元第一次调用的初始状态张量列表(可选,None 会导致创建 零填充的初始状态张量).默认值为 None.