快速

快速#

rms_norm(x, weight, eps, *[, stream])

均方根正規化(RMS norm)。

layer_norm(x, weight, bias, eps, *[, stream])

層正規化。

rope(a, dims, *, traditional, base, scale, ...)

對輸入套用旋轉位置編碼。

scaled_dot_product_attention(q, k, v, *, scale)

多頭注意力的快速實作:O = softmax(Q @ K.T, dim=-1) @ V

metal_kernel(name, input_names, ...[, ...])

由來源字串定義的 JIT 編譯自訂 Metal 核心。

cuda_kernel(name, input_names, output_names, ...)

由來源字串定義的 JIT 編譯自訂 CUDA 核心。