在pytorch训练过程中可以通过下面这一句代码来打印当前学习率
print(net.optimizer.state_dict()['param_groups'][0]['lr'])
补充知识：Pytorch：代码实现不同层设置不同的学习率，选择性学习某些层参数
1，如何动态调整学习率
在使用pytorch进行模型训练时，经常需要随着训练的进行逐渐降低学习率，在pytorch中给出了非常方面的方法：
假设我们定义了一个优化器：
import torch import torch.nn as nn optimizer = torch.optim(model.parameters(), lr = 0.01, momentum = 0.9)
该优化器的初始化学习为0.01，
如果我们学习每个"n" 个epoch把学习率降低为原来的0.9倍，则需要声明一个学习率调节器：
torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)
其中：
optimizer: 前面声明的优化器；
step_size: 每step_size个epoch学习率降低为原来的gamma倍，
last_epoch: 当前所处的epoch
例如：
# Assuming optimizer uses lr = 0.05 for all groups # lr = 0.05 if epoch < 30 # lr = 0.005 if 30 <= epoch < 60 # lr = 0.0005 if 60 <= epoch < 90 # ... scheduler = StepLR(optimizer, step_size=30, gamma=0.1) for epoch in range(100): scheduler.step() train(...) validate(...)
另外其他常用的更新策略类似：
torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=-1)
torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=-1)
torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)
torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)
2，如何选择性学习某些参数
对于我们现有的模型model，通过调整参数的requires_grad 属性控制该模型是否参与求导运算
for name, param in model.named_parameters():
if param.requires_grad:
print("requires_grad: True ", name)
else:
print("requires_grad: False ", name)
如果模型中包含多个子模块，可用通过
sub_block = model.children()
获取该模块，然后通过迭代索引的方式获取参数：
for name, param in sub_block.named_parameters（）
以上这篇pytorch实现查看当前学习率就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。
pytorch,学习率
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
这一波大模型产业落地浪潮里，不少企业其实处在 “干瞪眼“的状态。
一种情况是，很多大模型产品看得见却摸不着，在台上一个个遥遥领先——今天Sora技精四座，明天英伟达的机器人又赢得满堂彩，可是到了台下一问：啥时候能用上啊？答曰：遥遥无期。
另一种情况是，企业想用上大模型，却又难免瞻前顾后——既要考虑场景融合，又得兼顾安全性，还要考虑打通现有系统，再加上各种部署成本和繁琐的采购流程……最后只能拂袖：罢了，再等等吧。
稳了！魔兽国服回归的3条重磅消息！官宣时间再确认！
昨天有一位朋友在大神群里分享，自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址，com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后，确实是网易的网址，也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情，因为以前都没有出现这样的情况，现在突然提示跳转到国服战网的网址，是不是说明了简体中文客户端已经开始进行更新了呢？