逆时间衰减
InverseTimeDecay class
keras.optimizers.schedules.InverseTimeDecay(
initial_learning_rate,
decay_steps,
decay_rate,
staircase=False,
name="InverseTimeDecay",
)
A LearningRateSchedule 使用逆时间衰减调度.
在训练模型时,随着训练的进行,降低学习率通常是有用的.该调度应用逆衰减函数
到优化器步骤,给定提供的初始学习率.它需要一个 step 值来计算衰减的学习率.
你可以直接传递一个在每次训练步骤中递增的后端变量.
该调度是一个 1-arg 可调用对象,当传递当前优化器步骤时,生成衰减的学习率. 这对于在不同的优化器函数调用中改变学习率值非常有用.它的计算方式如下:
def decayed_learning_rate(step):
return initial_learning_rate / (1 + decay_rate * step / decay_step)
或者,如果 staircase 为 True,则计算方式如下:
def decayed_learning_rate(step):
return initial_learning_rate /
(1 + decay_rate * floor(step / decay_step))
你可以直接将此调度传递给 keras.optimizers.Optimizer 作为学习率.
示例:在衰减 1/t 且衰减速率为 0.5 的情况下拟合 Keras 模型:
...
initial_learning_rate = 0.1
decay_steps = 1.0
decay_rate = 0.5
learning_rate_fn = keras.optimizers.schedules.InverseTimeDecay(
initial_learning_rate, decay_steps, decay_rate)
model.compile(optimizer=keras.optimizers.SGD(
learning_rate=learning_rate_fn),
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
model.fit(data, labels, epochs=5)
参数:
initial_learning_rate: 一个 Python 浮点数.初始学习率.
decay_steps: 应用衰减的频率.
decay_rate: 一个 Python 数值.衰减速率.
staircase: 是否以离散阶梯方式应用衰减,而不是连续方式.
name: 字符串.操作的可选名称.默认为 "InverseTimeDecay".
返回:
一个 1-arg 可调用学习率调度,接受当前优化器步骤并输出衰减的学习率,
一个与 initial_learning_rate 类型相同的标量张量.