欢迎访问我的博客首页。

---

pytorch拟合函数

• 1. 拟合一元一次函数
• • 1.1 自定义网络
  • 1.2 使用卷积网络
• 2. 拟合一个数
• • 2.1 第一种方法
  • 2.2 第二种方法

1. 拟合一元一次函数

---

  拟合函数$y=a\times x+b$，其中$a=1,b=2$。

1.1 自定义网络

---

import torch import numpy as npclass Net:def __init__(self):self.a = torch.rand(1, requires_grad=True)self.b = torch.rand(1, requires_grad=True)self.__parameters = dict(a=self.a, b=self.b)self.___gpu = Falsedef forward(self, inputs):return self.a * inputs + self.bdef parameters(self):for name, param in self.__parameters.items():yield paramif __name__ == '__main__':x = np.linspace(1, 50, 50)y = x + 2x = torch.from_numpy(x.astype(np.float32))y = torch.from_numpy(y.astype(np.float32))net = Net()optimizer = torch.optim.Adam(net.parameters(), lr=0.001, weight_decay=0.0005)loss_op = torch.nn.MSELoss(reduction='sum')for i in range(1, 20001, 1):out = net.forward(x)loss = loss_op(y, out)optimizer.zero_grad()loss.backward()optimizer.step()# 输出中间过程loss_numpy = loss.cpu().detach().numpy()if i % 1000 == 0:print(i, loss_numpy)if loss_numpy < 0.00001:a = net.a.cpu().detach().numpy()b = net.b.cpu().detach().numpy()print(a, b)exit()

  这种方法定义网络时没有继承torch.nn.Module，完全自己写了一个网络，要显式调用Net的forward函数。损失函数使用的是L2损失。

1.2 使用卷积网络

---

import torch import numpy as npclass Net(torch.nn.Module):def __init__(self):super(Net, self).__init__()layers = []layers.append(torch.nn.Conv2d(1, 1, kernel_size=1, stride=1, bias=True))self.net = torch.nn.ModuleList(layers)def forward(self, x):return self.net[0](x)if __name__ == '__main__':x = np.linspace(1, 50, 50)y = x + 2 # a = 1, b = 2x = torch.from_numpy(x.astype(np.float32))y = torch.from_numpy(y.astype(np.float32))net = Net()optimizer = torch.optim.Adam(net.parameters(), lr=0.001, weight_decay=0.0005)loss_op = torch.nn.L1Loss(reduce=True, size_average=True)for i in range(20000):x_batch = torch.tensor([x[i % 50]]).reshape(1, 1, 1, 1)y_batch = torch.tensor([y[i % 50]]).reshape(1, 1, 1, 1)out = net(x_batch)loss = loss_op(y_batch, out)optimizer.zero_grad()loss.backward()optimizer.step()# 输出中间过程loss_numpy = loss.cpu().detach().numpy()if i % 1000 == 0:print('--iterator:', i, 'loss:', loss_numpy)if loss_numpy < 1e-10:breakfor k, v in net.named_parameters():print(k, v.cpu().detach().numpy())

  这种方法使用卷积网络拟合。使用L2损失拟合的效果很差，这里使用L1作为损失函数。原因是L2度量的是误差的平方，当误差小于1时，L2度量的误差数量级比实际误差的数量级成倍减少。本例$batch\_size=1$，迭代若干次后误差必定小于1，所以使用L1损失在loss达到指定阈值时收敛得更好。

2. 拟合一个数

---

  随机产生一个0到1的数，计算它与0.5的差的平方，通过梯度把产生的数调到0.5。

2.1 第一种方法

---

import torchif __name__ == '__main__':x = torch.rand(1, requires_grad=True)a = torch.tensor([0.5])optimizer = torch.optim.SGD([x], lr=0.05, weight_decay=0.00003)loss_fn = torch.nn.MSELoss()while True:loss = loss_fn(x, a)if loss < 1e-10:breakoptimizer.zero_grad()loss.backward()print('-- ', x.tolist(), x.grad.tolist())optimizer.step()

  第6行指定优化参数x可以使用任何迭代器，比如元组 ( )、列表 [ ]、集合 { }。还可以使用生成器，如1.1中第12-14行。

2.2 第二种方法

---

import torchif __name__ == '__main__':x = torch.rand(1, requires_grad=True)a = torch.tensor([0.5])loss_fn = torch.nn.MSELoss()while True:loss = loss_fn(x, a)if loss < 1e-10:breakloss.backward()print('-- ', x.tolist(), x.grad.tolist())x.data = x - 0.6 * x.gradx.grad.data.zero_()

  这种方法没有使用优化器，直接利用梯度修改x的值。

总结

以上是生活随笔为你收集整理的pytorch拟合函数的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。