jax.nn.initializers 模块

目录

jax.nn.initializers 模块#

常见的神经网络层初始化器,与Keras和Sonnet中使用的定义一致。

初始化器#

此模块提供常见的神经网络层初始化器,与Keras和Sonnet中使用的定义一致。

初始化器是一个接受三个参数的函数:(key, shape, dtype),并返回一个维度为 shape 且数据类型为 dtype 的数组。参数 key 是一个 PRNG 键(例如来自 jax.random.key()),用于生成随机数以初始化数组。

constant(value[, dtype])

构建一个初始化器,返回充满常量 value 的数组。

delta_orthogonal([scale, column_axis, dtype])

构建一个delta正交核的初始化器。

glorot_normal([in_axis, out_axis, ...])

构建一个 Glorot 正态初始化器(又名 Xavier 正态初始化器)。

glorot_uniform([in_axis, out_axis, ...])

构建一个 Glorot 均匀初始化器(又名 Xavier 均匀初始化器)。

he_normal([in_axis, out_axis, batch_axis, dtype])

构建一个 He 正态初始化器(又名 Kaiming 正态初始化器)。

he_uniform([in_axis, out_axis, batch_axis, ...])

构建一个He均匀初始化器(又名Kaiming均匀初始化器)。

lecun_normal([in_axis, out_axis, ...])

构建一个 Lecun 正态初始化器。

lecun_uniform([in_axis, out_axis, ...])

构建一个 Lecun 均匀初始化器。

normal([stddev, dtype])

构建一个初始化器,返回正态分布的随机实数数组。

ones(key, shape[, dtype])

返回一个充满1的常量数组的初始化器。

orthogonal([scale, column_axis, dtype])

构建一个初始化器,返回均匀分布的正交矩阵。

truncated_normal([stddev, dtype, lower, upper])

构建一个初始化器,返回截断正态分布的随机数组。

uniform([scale, dtype])

构建一个初始化器,返回均匀分布的随机实数数组。

variance_scaling(scale, mode, distribution)

初始化器,根据权重张量的形状调整其尺度。

zeros(key, shape[, dtype])

一个返回充满零的常量数组的初始化器。