实践中，针对不同的任务需求，我们经常会在现成的网络结构上做一定的修改来实现特定的目的。
假如我们现在有一个简单的两层感知机网络：
# -*- coding: utf-8 -*-
import torch
from torch.autograd import Variable
import torch.optim as optim
x = Variable(torch.FloatTensor([1, 2, 3])).cuda()
y = Variable(torch.FloatTensor([4, 5])).cuda()
class MLP(torch.nn.Module):
def __init__(self):
super(MLP, self).__init__()
self.linear1 = torch.nn.Linear(3, 5)
self.relu = torch.nn.ReLU()
self.linear2 = torch.nn.Linear(5, 2)
def forward(self, x):
x = self.linear1(x)
x = self.relu(x)
x = self.linear2(x)
return x
model = MLP().cuda()
loss_fn = torch.nn.MSELoss(size_average=False)
optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)
for t in range(500):
y_pred = model(x)
loss = loss_fn(y_pred, y)
print(t, loss.data[0])
model.zero_grad()
loss.backward()
optimizer.step()
print(model(x))
现在想在前向传播时，在relu之后给x乘以一个可训练的系数，只需要在__init__函数中添加一个nn.Parameter类型变量，并在forward函数中乘以该变量即可：
class MLP(torch.nn.Module):
def __init__(self):
super(MLP, self).__init__()
self.linear1 = torch.nn.Linear(3, 5)
self.relu = torch.nn.ReLU()
self.linear2 = torch.nn.Linear(5, 2)
# the para to be added and updated in train phase, note that NO cuda() at last
self.coefficient = torch.nn.Parameter(torch.Tensor([1.55]))
def forward(self, x):
x = self.linear1(x)
x = self.relu(x)
x = self.coefficient * x
x = self.linear2(x)
return x
注意，Parameter变量和Variable变量的操作大致相同，但是不能手动调用.cuda()方法将其加载在GPU上，事实上它会自动在GPU上加载，可以通过model.state_dict()或者model.named_parameters()函数查看现在的全部可训练参数（包括通过继承得到的父类中的参数）：
print(model.state_dict().keys()) for i, j in model.named_parameters(): print(i) print(j)
输出如下：
odict_keys(['linear1.weight', 'linear1.bias', 'linear2.weight', 'linear2.bias']) linear1.weight Parameter containing: -0.3582 -0.0283 0.2607 0.5190 -0.2221 0.0665 -0.2586 -0.3311 0.1927 -0.2765 0.5590 -0.2598 0.4679 -0.2923 -0.3379 [torch.cuda.FloatTensor of size 5x3 (GPU 0)] linear1.bias Parameter containing: -0.2549 -0.5246 -0.1109 0.5237 -0.1362 [torch.cuda.FloatTensor of size 5 (GPU 0)] linear2.weight Parameter containing: -0.0286 -0.3045 0.1928 -0.2323 0.2966 0.2601 0.1441 -0.2159 0.2484 0.0544 [torch.cuda.FloatTensor of size 2x5 (GPU 0)] linear2.bias Parameter containing: -0.4038 0.3129 [torch.cuda.FloatTensor of size 2 (GPU 0)]
这个参数会在反向传播时与原有变量同时参与更新，这就达到了添加可训练参数的目的。
如果我们有原先网络的预训练权重，现在添加了一个新的参数，原有的权重文件自然就不能加载了，我们需要修改原权重文件，在其中添加我们的新变量的初始值。
调用model.state_dict查看我们添加的参数在参数字典中的完整名称，然后打开原先的权重文件：
a = torch.load("OldWeights.pth") a是一个collecitons.OrderedDict类型变量，也就是一个有序字典，直接将新参数名称和初始值作为键值对插入，然后保存即可。
a = torch.load("OldWeights.pth")
a["layer1.0.coefficient"] = torch.FloatTensor([1.2])
a["layer1.1.coefficient"] = torch.FloatTensor([1.5])
torch.save(a, "Weights.pth")
现在权重就可以加载在修改后的模型上了。
以上这篇pytorch 在网络中添加可训练参数,修改预训练权重文件的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
这一波大模型产业落地浪潮里，不少企业其实处在 “干瞪眼“的状态。
一种情况是，很多大模型产品看得见却摸不着，在台上一个个遥遥领先——今天Sora技精四座，明天英伟达的机器人又赢得满堂彩，可是到了台下一问：啥时候能用上啊？答曰：遥遥无期。
另一种情况是，企业想用上大模型，却又难免瞻前顾后——既要考虑场景融合，又得兼顾安全性，还要考虑打通现有系统，再加上各种部署成本和繁琐的采购流程……最后只能拂袖：罢了，再等等吧。
稳了！魔兽国服回归的3条重磅消息！官宣时间再确认！
昨天有一位朋友在大神群里分享，自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址，com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后，确实是网易的网址，也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情，因为以前都没有出现这样的情况，现在突然提示跳转到国服战网的网址，是不是说明了简体中文客户端已经开始进行更新了呢？