使用scipy实现简单神经网络

文章目录

• • 1、准备工作
  • • (1) 导入必要的库：
    • (2) 数据准备
  • 2、实现主要的函数
  • • (1) `Logistic function`
    • (2) `Forward`函数
    • (3) 损失函数
    • (4) `mse_loss`
  • 3、训练模型
  • 4、模型评估
  • 5、训练结果可视化
  • 6、小结

1、准备工作

(1) 导入必要的库：

• numpy - 用于基本的数据操作
• scipy.optimize 中导入 minimize函数，用于训练模型
• matplotlib 用于数据可视化

import numpy as np from scipy.optimize import minimize import matplotlib.pyplot as plt

(2) 数据准备

首先需要设置的参数：

• N– 样本个数
• d– 输入样本的维度
• num_hidden --隐函层的个数

N,d,num_hidden = 100,1,20

接着生成数据：

• x– 区间 $[-10,10]$ 上取 N 个点，这里我们的 N=100。另外将其设为列向量，即x.shape=(N,1)
• y_true– Mexican Hat 函数
  $$y=\frac{\sin x}{x}$$
• y– Mexican Hat函数的样本点，这里我们使用了 $[-0.05,0.05]$ 上的噪声

数据生成完成后出图看一下样子：

x = np.linspace(-10,10,N).reshape(-1,1) y_true = np.sin(x)/x y = np.sin(x)/x + (np.random.rand(N,1)*0.1-0.05)plt.plot(x,y,'-b') plt.plot(x,y,'oy') plt.show()

2、实现主要的函数

(1) Logistic function

这里我们采用 Logistic function 作为激活函数，定义为：
$$y=\frac{1}{1+{\mathrm{e}}^{-x}}$$

(2) Forward函数

这里我们采用简单的三层神经网络，因此前馈函数的公式为：

$$\hat{Y}={\left({\mathbf{w}}_{\ell \times 1}^{(2)}\right)}^{T}f\left({\left({\mathbf{w}}_{\ell \times d}^{(1)}\right)}^T{\mathbf{x}}_{d\times N}^{(2)}+{\mathbf{b}}^{(1)}\right)+b^{(2)}$$

这里需要特别说明一下，由于scipy.optimize只能优化第一个 positional argument,因此不能将每层的参数分开传给loss。这里我们为了方便，就在把所有参数放在一个向量 $\mathbf{\theta }$ 中，并且在forward函数中拆取各层参数。

(3) 损失函数

这里直接采用 MSE作为损失函数：

$$MSE=\frac{1}{N}\Vert Y-\hat{Y}{\Vert }^2$$

(4) mse_loss

这个函数有那么一点多余，不过在后面计算loss时会比较方便。

def logi_func(x):return 1/(1+np.exp(-x))def forward(x,theta,d,num_hidden):w1 = theta[:d*num_hidden].reshape(d,num_hidden)w2 = theta[d*num_hidden:d*num_hidden+num_hidden].reshape(num_hidden,1)b1 = theta[d*num_hidden+num_hidden:-1].reshape(num_hidden,1)b2 = theta[-1]return logi_func(x.dot(w1)+b1.T).dot(w2)+b2def nn_loss(theta,x,y,d,num_hidden):return ((forward(x,theta,d,num_hidden)-y)**2).mean()def mse_loss(y,y_pred):return ((y-y_pred)**2).mean()

写完之后简单测试一下，没有什么问题：

theta = np.random.rand(d*num_hidden+num_hidden + num_hidden+1)forward(x, theta, d, num_hidden) print(nn_loss(theta,x,y,d,num_hidden)) 32.92328775623846

3、训练模型

minimize函数的使用非常简单，第一个参数为loss的函数名，第二个参数为网络参数的初始值，第三个参数args是loss中第一个参数之外的所有参数组成的tuple。

minize这个函数默认的优化方法为BFGS,这个算法具有很好的收敛性，不过直接用于神经网络的训练时速度稍慢一点。

本次实验在 MacBook Pro (m1) 上进行，运行时间3.7s，可见比梯度下降要慢很多（通常应该比简单梯度精度要多，但在loss上体现并不见得明显）。

res = minimize(nn_loss, theta, args=(x, y, d, num_hidden))

返回值res是优化结果的集合，其中参数的最优值在 res.x中，因此将该参数传给forward即可算出拟合值。

y_pred = forward(x,res.x,d,num_hidden)

4、模型评估

MSE值为 0.00055，可见训练效果还是不错的：

print(mse_loss(y,y_pred)) 0.000552170732918358

5、训练结果可视化

这里直接使用matploblib即可，用三种线型分别表示：函数真实值、样本值、模型拟合值。

可以看到拟合效果是很不错的。

plt.plot(x,y,'oy') plt.plot(x, y_true, '-r') plt.plot(x,y_pred,'-b')plt.legend(['y_samples', 'y_true', 'y_pred']) plt.show()

为了进一步验证模型的泛化性能，我们在 $[-5,5]$ 随机采100个点，再看一下模型的预测效果。

可以看到在中间这一段的 MSE 仅有0.00033，可见这种单层神经网络在函数拟合问题上的泛化性能还是很不错的（注意到这里我们只用了20个隐含层节点）。

x_test = np.sort(np.random.rand(100,1)*10-5,axis=0) y_test_true = np.sin(x_test)/x_test y_test_pred = forward(x_test, res.x, d, num_hidden)plt.plot(x_test, y_test_true, 'oy') plt.plot(x_test, y_test_pred, '-b')plt.legend(['y_test_true', 'y_test_pred']) plt.title('mse={0}'.format(mse_loss(y_test_true,y_test_pred))) plt.show()

6、小结

• 用 scipy.optimize.minimize 完全可以实现简单的神经网络
• 本文构造的网络仅有20个隐含层，但拟合效果和泛化性能均较好，可见单隐含层神经网络在函数拟合上具有较好的性能
• 实现细节的关键在于灵活调用miminize函数，尤其是对loss的传参
• 本文在实现forward时对参数的重构方式有点麻烦，其实还可以更为简便，读者可自行思考完成
• 本文使用的算法效率并不高，可见针对具体的训练问题仍需重视算法的选择

总结

以上是生活随笔为你收集整理的使用scipy实现简单神经网络的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。