torch.optim

  1. 如何使用optimizer

  2. 算法
  3. 如何调整学习率

torch.optim是实现各种优化算法的包。最常用的方法都已经支持,接口很常规,所以以后也可以很容易地集成更复杂的方法。

如何使用optimizer

要使用torch.optim,您必须构造一个optimizer对象。这个对象能保存当前的参数状态并且基于计算梯度更新参数

构建

要构造一个Optimizer,你必须给它一个包含参数(必须都是Variable对象)进行优化。然后,您可以指定optimizer的参 数选项,比如学习率,权重衰减等。

例子:

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)

为每个参数单独设置选项

Optimizer也支持为每个参数单独设置选项。若想这么做,不要直接传入Variableiterable,而是传入dict的iterable。每一个dict都分别定 义了一组参数,并且包含一个param键,这个键对应参数的列表。其他的键应该optimizer所接受的其他参数的关键字相匹配,并且会被用于对这组参数的 优化。

注意:

您仍然可以将选项作为关键字参数传递。它们将被用作默认值,在不覆盖它们的组中。当您只想改变一个选项,同时保持参数组之间的所有其他选项一致时,这很有用。

例如,当我们想指定每一层的学习率时,这是非常有用的:

optim.SGD([
{'params': model.base.parameters()},
{'params': model.classifier.parameters(), 'lr': 1e-3}
], lr=1e-2, momentum=0.9)

这意味着model.base参数将使用默认的学习速率1e-2model.classifier参数将使用学习速率1e-3,并且0.9momentum将会被用于所有的参数。

进行单次优化

所有的optimizer都会实现step()更新参数的方法。它能按两种方式来使用:

optimizer.step()

这是大多数optimizer所支持的简化版本。一旦梯度被如backward()之类的函数计算好后,我们就可以调用该函数。

例子

for input, target in dataset:
optimizer.zero_grad()
output = model(input)
loss = loss_fn(output, target)
loss.backward()
optimizer.step()

optimizer.step(closure)

一些优化算法例如Conjugate GradientLBFGS需要重复多次计算函数,因此你需要传入一个闭包去允许它们重新计算你的模型。这个闭包会清空梯度, 计算损失,然后返回。

例子:

for input, target in dataset:
def closure():
optimizer.zero_grad()
output = model(input)
loss = loss_fn(output, target)
loss.backward()
return loss
optimizer.step(closure)

算法

class torch.optim.Optimizer(params, defaults)

所有优化的基类.

参数:

  1. params (iterable) —— 可迭代的Variable 或者 dict。指定应优化哪些变量。
  2. defaults-(dict):包含优化选项的默认值的dict(一个参数组没有指定的参数选项将会使用默认值)。
load_state_dict(state_dict)

加载optimizer状态

参数:

  1. state_dict (dict) —— optimizer的状态。应该是state_dict()调用返回的对象。
state_dict()

将优化器的状态返回为一个dict

它包含两个内容:

  1. state - 持有当前optimization状态的dict。它包含了 优化器类之间的不同。
  2. param_groups - 一个包含了所有参数组的dict
step(closure)

执行单个优化步骤(参数更新)。

参数:

  1. closure (callable,可选) – 重新评估模型并返回损失的闭包。hon zero_grad()

清除所有优化过的Variable的梯度。

class torch.optim.Adadelta(params, lr=1.0, rho=0.9, eps=1e-06, weight_decay=0)

实现Adadelta算法。

ADADELTA中提出了一种自适应学习速率法

参数:

  1. params (iterable) – 用于优化的可以迭代参数或定义参数组
  2. rho (float, 可选) – 用于计算平方梯度的运行平均值的系数(默认值:0.9)
  3. eps (float, 可选) – 增加到分母中以提高数值稳定性的术语(默认值:1e-6)
  4. lr (float, 可选) – 将delta应用于参数之前缩放的系数(默认值:1.0)
  5. weight_decay (float, 可选) – 权重衰减 (L2范数)(默认值: 0)
step(closure)

执行单个优化步骤。

参数:

  1. closure (callable,可选) – 重新评估模型并返回损失的闭包。
class torch.optim.Adagrad(params, lr=0.01, lr_decay=0, weight_decay=0)

实现Adagrad算法。

在线学习和随机优化的自适应子梯度方法中被提出。

参数:

  1. params (iterable) – 用于优化的可以迭代参数或定义参数组
  2. lr (float, 可选) – 学习率(默认: 1e-2)
  3. lr_decay (float, 可选) – 学习率衰减(默认: 0)
  4. weight_decay (float, 可选) – 权重衰减(L2范数)(默认: 0)
step(closure)

执行单个优化步骤。

参数:

  1. closure (callable,可选) – 重新评估模型并返回损失的闭包。
class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source]

实现Adam算法。

它在Adam: A Method for Stochastic Optimization中被提出。

参数:

  1. params (iterable) – 用于优化的可以迭代参数或定义参数组
  2. lr (float, 可选) – 学习率(默认:1e-3)
  3. betas (Tuple[float, float], 可选) – 用于计算梯度运行平均值及其平方的系数(默认:0.9,0.999)
  4. eps (float, 可选) – 增加分母的数值以提高数值稳定性(默认:1e-8)
  5. weight_decay (float, 可选) – 权重衰减(L2范数)(默认: 0)
step(closure) 

执行单个优化步骤。

参数:

  1. closure (callable,可选) – 重新评估模型并返回损失的闭包。
class torch.optim.Adamax(params, lr=0.002, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)

实现Adamax算法(Adam的一种基于无穷范数的变种)。

它在Adam: A Method for Stochastic Optimization中被提出。

参数:

  1. params (iterable) – 用于优化的可以迭代参数或定义参数组
  2. lr (float, 可选) – 学习率(默认:2e-3)
  3. betas (Tuple[float, float], 可选) – 用于计算梯度以及梯度平方的运行平均值的系数
  4. eps (float, 可选) – 增加分母的数值以提高数值稳定性(默认:1e-8)
  5. weight_decay (float, 可选) – 权重衰减(L2范数)(默认: 0)
step(closure=None)

执行单个优化步骤。

参数:

  1. closure (callable,可选) – 重新评估模型并返回损失的闭包。
class torch.optim.ASGD(params, lr=0.01, lambd=0.0001, alpha=0.75, t0=1000000.0, weight_decay=0)

实现平均随机梯度下降。

它在Acceleration of stochastic approximation by averaging中被提出。

参数:

  1. params (iterable) – 用于优化的可以迭代参数或定义参数组
  2. lr (float, 可选) – 学习率(默认:1e-2)
  3. lambd (float, 可选) – 衰减期(默认:1e-4)
  4. alpha (float, 可选) – eta更新的指数(默认:0.75)
  5. t0 (float, 可选) – 指明在哪一次开始平均化(默认:1e6)
  6. weight_decay (float, 可选) – 权重衰减(L2范数)(默认: 0)
step(closure)

执行单个优化步骤。

参数:

  1. closure (callable,可选) – 重新评估模型并返回损失的闭包。
class torch.optim.LBFGS(params, lr=1, max_iter=20, max_eval=None, tolerance_grad=1e-05, tolerance_change=1e-09, history_size=100, line_search_fn=None)

实现L-BFGS算法。

警告: 这个optimizer不支持为每个参数单独设置选项以及不支持参数组(只能有一个) 现在所有参数必须在单个设备上。将来会有所改善。

注意: 这是一个内存高度密集的optimizer(它要求额外的param_bytes * (history_size + 1) 个字节)。如果它不适应内存,尝试减小history size,或者使用不同的算法。

参数:

  1. lr (float) – 学习率(默认:1)
  2. max_iter (int) – 每个优化步骤的最大迭代次数(默认:20))
  3. max_eval (int) – 每个优化步骤的最大函数评估次数(默认:max * 1.25)
  4. tolerance_grad (float) – 一阶最优的终止容忍度(默认:1e-5)
  5. tolerance_change (float) – 功能值/参数更改的终止公差(默认:1e-9)
  6. history_size (int) – 更新历史记录大小(默认:100)
step(closure)

执行单个优化步骤。

参数:

  1. closure (callable,可选) – 重新评估模型并返回损失的闭包。
class torch.optim.RMSprop(params, lr=0.01, alpha=0.99, eps=1e-08, weight_decay=0, momentum=0, centered=False)[source]

实现RMSprop算法。

G. Hinton在他的课程中提出.

中心版本首次出现在Generating Sequences With Recurrent Neural Networks.

参数:

  1. params (iterable) – 用于优化的可以迭代参数或定义参数组
  2. lr (float, 可选) – 学习率(默认:1e-2)
  3. momentum (float, 可选) – 动量因子(默认:0)
  4. alpha (float, 可选) – 平滑常数(默认:0.99)
  5. eps (float, 可选) – 增加分母的数值以提高数值稳定性(默认:1e-8)
  6. centered (bool, 可选) – 如果为True,计算中心化的RMSProp,通过其方差的估计来对梯度进行归一化
  7. weight_decay (float, 可选) – 权重衰减(L2范数)(默认: 0)
step(closure)

执行单个优化步骤。

参数:

  1. closure (callable,可选) – 重新评估模型并返回损失的闭包。
class torch.optim.Rprop(params, lr=0.01, etas=(0.5, 1.2), step_sizes=(1e-06, 50))

实现弹性反向传播算法。

参数:

  1. params (iterable) – 用于优化的可以迭代参数或定义参数组
  2. lr (float, 可选) – 学习率(默认:1e-2)
  3. etas (Tuple[float, float], 可选) – 一对(etaminus,etaplis), 它们是乘数增加和减少因子(默认:0.5,1.2)
  4. step_sizes (Tuple[float, float], 可选) – 允许的一对最小和最大的步长(默认:1e-6,50)
step(closure) 

执行单个优化步骤。

参数:

  1. closure (callable,可选) – 重新评估模型并返回损失的闭包。
class torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_decay=0, nesterov=False)

实现随机梯度下降算法(momentum可选)。

Nesterov动量基于On the importance of initialization and momentum in deep learning中的公式.

参数:

  1. params (iterable) – 用于优化的可以迭代参数或定义参数组
  2. lr (float) – 学习率
  3. momentum (float, 可选) – 动量因子(默认:0)
  4. weight_decay (float, 可选) – 权重衰减(L2范数)(默认:0)
  5. dampening (float, 可选) – 动量的抑制因子(默认:0)
  6. nesterov (bool, 可选) – 使用Nesterov动量(默认:False)

例子:

>>> optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
>>> optimizer.zero_grad()
>>> loss_fn(model(input), target).backward()
>>> optimizer.step()

提示:

带有动量/Nesterov的SGD的实现稍微不同于Sutskever等人以及其他框架中的实现。 考虑到Momentum的具体情况,更新可以写成 v=ρ∗v+g p=p−lr∗v 其中,p、g、v和ρ分别是参数、梯度、速度和动量。 这是在对比Sutskever et. al。和其他框架采用该形式的更新 v=ρ∗v+lr∗g p=p−v Nesterov版本被类似地修改。

step(closure) 

执行单个优化步骤。

参数:

  1. closure (callable,可选) – 重新评估模型并返回损失的闭包。

如何调整学习率

torch.optim.lr_scheduler 提供了几种方法来根据epoches的数量调整学习率。torch.optim.lr_scheduler.ReduceLROnPlateau允许基于一些验证测量来降低动态学习速率。

class torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)

将每个参数组的学习速率设置为初始的lr乘以一个给定的函数。当last_epoch=-1时,将初始lr设置为lr。

参数:

  1. optimizer (Optimizer) – 包装的优化器。
  2. lr_lambda (function or list) – 一个函数来计算一个乘法因子给定一个整数参数的epoch,或列表等功能,为每个组optimizer.param_groups
  3. last_epoch (int) – 最后一个时期的索引。默认: -1.

例子:

>>> # Assuming optimizer has two groups.
>>> lambda1 = lambda epoch: epoch // 30
>>> lambda2 = lambda epoch: 0.95 ** epoch
>>> scheduler = LambdaLR(optimizer, lr_lambda=[lambda1, lambda2])
>>> for epoch in range(100):
>>> scheduler.step()
>>> train(...)
>>> validate(...)
class torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)

将每个参数组的学习速率设置为每个step_size时间段由gamma衰减的初始lr。当last_epoch = -1时,将初始lr设置为lr。

  1. optimizer (Optimizer) – 包装的优化器。
  2. step_size (int) – 学习率衰减期。
  3. gamma (float) – 学习率衰减的乘积因子。默认值:-0.1。
  4. last_epoch (int) – 最后一个时代的指数。默认值:1。

例子:

>>> # Assuming optimizer uses lr = 0.5 for all groups
>>> # lr = 0.05 if epoch < 30
>>> # lr = 0.005 if 30 <= epoch < 60
>>> # lr = 0.0005 if 60 <= epoch < 90
>>> # ...
>>> scheduler = StepLR(optimizer, step_size=30, gamma=0.1)
>>> for epoch in range(100):
>>> scheduler.step()
>>> train(...)
>>> validate(...)
class torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)

一旦时间的数量达到一个里程碑,则将每个参数组的学习率设置为伽玛衰减的初始值。当last_epoch=-1时,将初始lr设置为lr。

参数:

  1. optimizer (Optimizer) – 包装的优化器。
  2. milestones (list) – 时期指标的列表。必须增加。
  3. gamma (float) – 学习率衰减的乘积因子。 默认: -0.1.
  4. last_epoch (int) – 最后一个时代的指数。 默认: -1.

例子:

>>> # Assuming optimizer uses lr = 0.5 for all groups
>>> # lr = 0.05 if epoch < 30
>>> # lr = 0.005 if 30 <= epoch < 80
>>> # lr = 0.0005 if epoch >= 80
>>> scheduler = MultiStepLR(optimizer, milestones=[30,80], gamma=0.1)
>>> for epoch in range(100):
>>> scheduler.step()
>>> train(...)
>>> validate(...)
class torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=-1)

将每个参数组的学习速率设置为每一个时代的初始lr衰减。当last_epoch=-1时,将初始lr设置为lr。

  1. optimizer (Optimizer) – 包装的优化器。
  2. gamma (float) – 学习率衰减的乘积因子。
  3. last_epoch (int) – 最后一个指数。默认: -1.
class torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)

当指标停止改善时,降低学习率。当学习停滞不前时,模型往往会使学习速度降低2-10倍。这个调度程序读取一个指标量,如果没有提高epochs的数量,学习率就会降低。

  1. optimizer (Optimizer) – 包装的优化器。
  2. mode (str) – min, max中的一个. 在最小模式下,当监测量停止下降时,lr将减少; 在最大模式下,当监控量停止增加时,会减少。默认值:'min'。
  3. factor (float) – 使学习率降低的因素。 new_lr = lr * factor. 默认: 0.1.
  4. patience (int) –epochs没有改善后,学习率将降低。 默认: 10.
  5. verbose (bool) – 如果为True,则会向每个更新的stdout打印一条消息。 默认: False.
  6. threshold (float) – 测量新的最优值的阈值,只关注显着变化。 默认: 1e-4.
  7. threshold_mode (str) – rel, abs中的一个. 在rel模型, dynamic_threshold = best ( 1 + threshold ) in ‘max’ mode or best ( 1 - threshold ) 在最小模型. 在绝对值模型中, dynamic_threshold = best + threshold 在最大模式或最佳阈值最小模式. 默认: ‘rel’.
  8. cooldown (int) – 在lr减少后恢复正常运行之前等待的时期数。默认的: 0.
  9. min_lr (float or list) – 标量或标量的列表。对所有的组群或每组的学习速率的一个较低的限制。 默认: 0.
  10. eps (float) – 适用于lr的最小衰减。如果新旧lr之间的差异小于eps,则更新将被忽略。默认: 1e-8.
>>> optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
>>> scheduler = torch.optim.ReduceLROnPlateau(optimizer, 'min')
>>> for epoch in range(10):
>>> train(...)
>>> val_loss = validate(...)
>>> # Note that step should be called after validate()
>>> scheduler.step(val_loss)

pytorch 优化器调参的更多相关文章

  1. [源码解析] PyTorch分布式优化器(1)----基石篇

    [源码解析] PyTorch分布式优化器(1)----基石篇 目录 [源码解析] PyTorch分布式优化器(1)----基石篇 0x00 摘要 0x01 从问题出发 1.1 示例 1.2 问题点 0 ...

  2. [源码解析] PyTorch分布式优化器(2)----数据并行优化器

    [源码解析] PyTorch分布式优化器(2)----数据并行优化器 目录 [源码解析] PyTorch分布式优化器(2)----数据并行优化器 0x00 摘要 0x01 前文回顾 0x02 DP 之 ...

  3. [源码解析] PyTorch分布式优化器(3)---- 模型并行

    [源码解析] PyTorch分布式优化器(3)---- 模型并行 目录 [源码解析] PyTorch分布式优化器(3)---- 模型并行 0x00 摘要 0x01 前文回顾 0x02 单机模型 2.1 ...

  4. 基于pytorch的CNN、LSTM神经网络模型调参小结

    (Demo) 这是最近两个月来的一个小总结,实现的demo已经上传github,里面包含了CNN.LSTM.BiLSTM.GRU以及CNN与LSTM.BiLSTM的结合还有多层多通道CNN.LSTM. ...

  5. pytorch adam 源码 关于优化函数的调整 optimizer 调参 重点

    关于优化函数的调整拆下包:https://ptorch.com/docs/1/optim class torch.optim.Optimizer(params, defaults)所有优化的基类. 参 ...

  6. 工程能力UP | LightGBM的调参干货教程与并行优化

    这是个人在竞赛中对LGB模型进行调参的详细过程记录,主要包含下面六个步骤: 大学习率,确定估计器参数n_estimators/num_iterations/num_round/num_boost_ro ...

  7. [PyTorch 学习笔记] 4.3 优化器

    本章代码: https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/optimizer_methods.py https: ...

  8. 小白学习Spark系列六:Spark调参优化

    前几节介绍了下常用的函数和常踩的坑以及如何打包程序,现在来说下如何调参优化.当我们开发完一个项目,测试完成后,就要提交到服务器上运行,但运行不稳定,老是抛出如下异常,这就很纳闷了呀,明明测试上没问题, ...

  9. 听说你不会调参?TextCNN的优化经验Tricks汇总

    前言:本篇是TextCNN系列的第三篇,分享TextCNN的优化经验 前两篇可见: 文本分类算法TextCNN原理详解(一) TextCNN代码详解(附测试数据集以及GitHub 地址)(二) 调优模 ...

随机推荐

  1. ES6中async和await说明和用法

    昨天看了一篇vue的教程,作者用async/ await来发送异步请求,从服务端获取数据,代码很简洁,同时async/await 已经被标准化,是时候学习一下了. 先说一下async的用法,它作为一个 ...

  2. NKOJ1472 警卫安排

    P1472警卫安排   时间限制 : 10000 MS   空间限制 : 65536 KB 问题描述 一个重要的基地被分为n个连通的区域.出于某种神秘的原因,这些区域以一个区域为核心,呈一颗树形分布. ...

  3. SASS:sass语法参照列表及教程

    http://sass-lang.com/documentation/file.SASS_REFERENCE.html 保存一下,上面的链接包括了scss中所有语法规则. 转载自:http://www ...

  4. C++ operator new和new operator的区别

    new operator 当你写这种代码: string *ps = new string("Memory Management"); 你使用的new是new  operator. ...

  5. 【Pyqt5】之高级控件QTableWidget的使用

    1:动态渲染数据+动态添加控件(按钮,进度条) class MainWindow(QWidget, Ui_MainFrom): def __init__(self): super(MainWindow ...

  6. 开源中国 ThinkPHP 领奖

    开源中国 ThinkPHP 的领奖 周日早上早早就起来参考开源中国的活动. 由于今年竞争激烈 FastAdmin 没有上榜,但是没关系,因为这说明整个开源环境越来越好了,对于我们来说是利好. 因为 T ...

  7. 开启php中短标签<%%>和<??>的方法

    <?  ?> 短标签,兼容的,PHP默认也不支持,需要在php的配置文件中设置! 去到php.ini中开启下面的 <%  %> ASP风格!也是兼容的,也需要配置:

  8. MySQL——自定义[存储]函数、触发器

    一. 编程基础 1)        结束符 2)        代码块 Begin 相当于 { end;  相当于 } 1.    变量 系统变量 Show variables; 查看系统变量sql_ ...

  9. text-align:justify在项目中碰到的问题

    最近在项目中,使用了一个新的样式属性:text-align:justigy,这个属性在使用过程中遇到了一些小异常,现在总结下.  text-align有一个属性值为justify,为对齐之意.其实现的 ...

  10. SQLServer数据库(二)

    数据库设计:就是将数据库中的数据库实体及这些数据库实体之间的关系,进行规划和结构化的过程. 项目开发过程: 需求分析 概要设计 详细设计 代码编写 运行测试 打包发行 数据库的系统分析基本步骤:收集信 ...