最佳化器

class Optimizer(schedulers=None)

所有最佳化器的基底類別。它讓我們能以逐參數的方式實作最佳化器，並將其套用到參數樹。

屬性

Optimizer.state

最佳化器的狀態字典。

方法

Optimizer.apply_gradients(gradients, parameters)	將梯度套用到參數並回傳更新後的參數。
Optimizer.init(parameters)	初始化最佳化器的狀態
Optimizer.update(model, gradients)	將梯度套用到模型參數，並用新參數更新模型。