mlx.nn.gelu

目錄

mlx.nn.gelu#

class gelu(x)#

套用高斯誤差線性單元(GELU)函式。

\[\textrm{GELU}(x) = x * \Phi(x)\]

其中 \(\Phi(x)\) 為高斯 CDF。

更快的近似版本請參見 gelu_approx()gelu_fast_approx()