LSTM
classkeras.layers.LSTM(
units,
activation="tanh",
recurrent_activation="sigmoid",
use_bias=True,
kernel_initializer="glorot_uniform",
recurrent_initializer="orthogonal",
bias_initializer="zeros",
unit_forget_bias=True,
kernel_regularizer=None,
recurrent_regularizer=None,
bias_regularizer=None,
activity_regularizer=None,
kernel_constraint=None,
recurrent_constraint=None,
bias_constraint=None,
dropout=0.0,
recurrent_dropout=0.0,
seed=None,
return_sequences=False,
return_state=False,
go_backwards=False,
stateful=False,
unroll=False,
use_cudnn="auto",
**kwargs
)
长短期记忆层 - Hochreiter 1997.
基于可用的运行时硬件和约束条件,该层将选择不同的实现(基于cuDNN或后端原生) 以最大化性能.如果GPU可用且层的所有参数满足cuDNN内核的要求 (详见下文),在使用TensorFlow后端时,该层将使用快速的cuDNN实现. 使用cuDNN实现的要求是:
activation
== tanh
recurrent_activation
== sigmoid
dropout
== 0 且 recurrent_dropout
== 0unroll
为 False
use_bias
为 True
例如:
>>> inputs = np.random.random((32, 10, 8))
>>> lstm = keras.layers.LSTM(4)
>>> output = lstm(inputs)
>>> output.shape
(32, 4)
>>> lstm = keras.layers.LSTM(
... 4, return_sequences=True, return_state=True)
>>> whole_seq_output, final_memory_state, final_carry_state = lstm(inputs)
>>> whole_seq_output.shape
(32, 10, 4)
>>> final_memory_state.shape
(32, 4)
>>> final_carry_state.shape
(32, 4)
参数:
units: 正整数,输出空间的维度.
activation: 要使用的激活函数.
默认: 双曲正切 (tanh
).
如果你传递 None
,则不应用激活函数
(即 "线性" 激活: a(x) = x
).
recurrent_activation: 用于循环步骤的激活函数.
默认: sigmoid (sigmoid
).
如果你传递 None
,则不应用激活函数
(即 "线性" 激活: a(x) = x
).
use_bias: 布尔值,(默认 True
),层是否应使用偏置向量.
kernel_initializer: kernel
权重矩阵的初始化器,
用于输入的线性变换.默认:
"glorot_uniform"
.
recurrent_initializer: recurrent_kernel
权重矩阵的初始化器,
用于循环状态的线性变换.默认: "orthogonal"
.
bias_initializer: 偏置向量的初始化器.默认: "zeros"
.
unit_forget_bias: 布尔值(默认 True
).如果为 True
,
在初始化时将 1 添加到遗忘门的偏置.
将其设置为 True
还将强制 bias_initializer="zeros"
.
这在 Jozefowicz et al. 中推荐.
kernel_regularizer: 应用于 kernel
权重矩阵的正则化函数.默认: None
.
recurrent_regularizer: 应用于 recurrent_kernel
权重矩阵的正则化函数.默认: None
.
bias_regularizer: 应用于偏置向量的正则化函数.默认: None
.
activity_regularizer: 应用于层输出(其 "激活")的正则化函数.默认: None
.
kernel_constraint: 应用于 kernel
权重矩阵的约束函数.默认: None
.
recurrent_constraint: 应用于 recurrent_kernel
权重矩阵的约束函数.默认: None
.
bias_constraint: 应用于偏置向量的约束函数.默认: None
.
dropout: 0 到 1 之间的浮点数.用于输入线性变换的单元丢弃比例.默认: 0.
recurrent_dropout: 0 到 1 之间的浮点数.用于循环状态线性变换的单元丢弃比例.默认: 0.
seed: 用于丢弃的随机种子.
return_sequences: 布尔值.是否返回输出序列中的最后一个输出,或完整序列.默认: False
.
return_state: 布尔值.是否在输出之外返回最后一个状态.默认: False
.
go_backwards: 布尔值(默认: False
).
如果为 True
,则反向处理输入序列并返回反向序列.
stateful: 布尔值(默认: False
).如果为 True
,批处理中索引 i 的每个样本的最后一个状态
将用作下一批次中索引 i 的样本的初始状态.
unroll: 布尔值(默认 False).
如果为 True
,网络将展开,
否则将使用符号循环.
展开可以加速 RNN,
尽管它往往更占用内存.
展开仅适用于短序列.
use_cudnn: 是否使用基于 cuDNN 的实现."auto"
将在可行时尝试使用 cuDNN,
并在不可行时回退到默认实现.
调用参数:
inputs: 一个 3D 张量,形状为 (batch, timesteps, feature)
.
mask: 形状为 (samples, timesteps)
的二进制张量,指示是否
应掩码给定的 timestep(可选).
一个 True
条目表示应利用相应的 timestep,而 False
条目表示应忽略
相应的 timestep.默认值为 None
.
training: Python 布尔值,指示层应在训练模式还是推理模式下运行.
该参数在调用单元时传递给它.仅在使用了 dropout
或
recurrent_dropout
时相关(可选).默认值为 None
.
initial_state: 要传递给单元第一次调用的初始状态张量列表(可选,None
会导致创建
零填充的初始状态张量).默认值为 None
.