mlx.nn.gelu_approx

class gelu_approx(x)

高斯誤差線性單元的近似版本。

精確計算請參見 gelu()。

此函式在 \([-6, 6]\) 範圍內，以最大絕對誤差 \(< 0.0005\) 近似 gelu，使用以下公式

\[x = 0.5 * x * \left(1 + \text{Tanh}\left((\sqrt{2 / \pi} * \left(x + 0.044715 * x^3\right)\right)\right)\]