全连接神经网络

全连接神经网络模型是一种多层感知机（MLP），感知机的原理是寻找类别间最合理、最具有鲁棒性的超平面。全连接网络是一种前馈网络，由输入层、输出层和若干个隐层组成。下面我们通过示意图更清楚的了解全连接神经网络。

正如我们所看到的，第一层为输入层，这层所做的事情就是输入。中间的是隐藏层，这层我们需要计算出输入到中间层每个节点的组合信号。隐藏层的每个节点都与输入层的每个节点相连。最后一层为输出层。

根据公式我们可以计算出输出，

x--->w0x+b0--->f--->w1x+b1--->f，其中w0，w1是权重，b1,b0是偏置  f=1/(1+e^-x),是s函数

当输出值和真实值之间存在误差时，在神经网络中我们通过反向传播不断减小损失。

那么我们如何最小化损失呢？接下来引入梯度下降的方法。

我们不必找到一个起点，就像登山者，我们正站在这个地方观察哪个方向向下，我们希望沿着向下的方向，改进我们的位置，向实际最小值靠近了一点。当我们快要达到山底的时候，每次更新的步伐就要越小，损失值也就越小，直到达到某个阈值就停止训练，即找到我们要求的解。

下面我们再了解一下学习率a？

可以看到，学习率会影响到我们模型能够以多快的速度收敛到局部最小值。一般来说，学习率越大，神经网络的学习速度越快，如果学习率太小，网络可能陷入局部最优；如果太大，超过了极值，损失就会停止下降，在某一位置反复震荡。

本文 zblog模板 原创，转载保留链接！网址：https://xn--zqqs03dbu6a.cn/?id=7