指数衰减
ExponentialDecay class
keras.optimizers.schedules.ExponentialDecay(
initial_learning_rate,
decay_steps,
decay_rate,
staircase=False,
name="ExponentialDecay",
)
一个使用指数衰减计划的学习率调度器.
在训练模型时,随着训练的进行,降低学习率通常是有用的.该调度器应用一个指数衰减函数到一个给定初始学习率的优化器步骤.
该调度器是一个单参数可调用对象,当传递当前优化器步骤时,生成一个衰减的学习率.这对于在不同的优化器函数调用中改变学习率值非常有用.它的计算方式如下:
def decayed_learning_rate(step):
return initial_learning_rate * decay_rate ^ (step / decay_steps)
如果参数staircase为True,那么step / decay_steps是一个整数除法,衰减的学习率遵循一个阶梯函数.
你可以将此调度器直接传递给keras.optimizers.Optimizer作为学习率.示例:在拟合Keras模型时,每100000步以0.96为基数衰减:
initial_learning_rate = 0.1
lr_schedule = keras.optimizers.schedules.ExponentialDecay(
initial_learning_rate,
decay_steps=100000,
decay_rate=0.96,
staircase=True)
model.compile(optimizer=keras.optimizers.SGD(learning_rate=lr_schedule),
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
model.fit(data, labels, epochs=5)
学习率调度器也可以使用keras.optimizers.schedules.serialize和keras.optimizers.schedules.deserialize进行序列化和反序列化.
参数:
initial_learning_rate: 一个Python浮点数.初始学习率.
decay_steps: 一个Python整数.必须是正数.见上面的衰减计算.
decay_rate: 一个Python浮点数.衰减率.
staircase: 布尔值.如果为True,学习率在离散区间内衰减.
name: 字符串.操作的可选名称.默认为"ExponentialDecay".
返回:
一个单参数可调用的学习率调度器,接受当前优化器步骤并输出衰减的学习率,一个与initial_learning_rate类型相同的标量张量.