jax.nn.gelu#
- jax.nn.gelu(x, approximate=True)[源代码][源代码]#
高斯误差线性单元激活函数。
如果
approximate=False，则计算逐元素函数：\[\mathrm{gelu}(x) = \frac{x}{2} \left(1 + \mathrm{erf} \left(\frac{x}{\sqrt{2}} \right) \right)\]如果
approximate=True，则使用 GELU 的近似公式：\[\mathrm{gelu}(x) = \frac{x}{2} \left(1 + \mathrm{tanh} \left(\sqrt{\frac{2}{\pi}} \left(x + 0.044715 x^3 \right) \right) \right)\]更多信息，请参见 高斯误差线性单元 (GELUs)，第2节。