全连接神经网络

yummy 阅读:206 2022-03-29 20:40:53 评论:0

全连接神经网络模型是一种多层感知机(MLP),感知机的原理是寻找类别间最合理、最具有鲁棒性的超平面。全连接网络是一种前馈网络,由输入层、输出层和若干个隐层组成。下面我们通过示意图更清楚的了解全连接神经网络。

v2-8d0d03d122da50d62f9ec5567883a4ba_r.jpg

正如我们所看到的,第一层为输入层,这层所做的事情就是输入。中间的是隐藏层,这层我们需要计算出输入到中间层每个节点的组合信号。隐藏层的每个节点都与输入层的每个节点相连。最后一层为输出层。

根据公式我们可以计算出输出,

x--->w0x+b0--->f--->w1x+b1--->f,其中w0,w1是权重,b1,b0是偏置  f=1/(1+e^-x),是s函数

当输出值和真实值之间存在误差时,在神经网络中我们通过反向传播不断减小损失。

那么我们如何最小化损失呢?接下来引入梯度下降的方法。

QQ图片20220329214719.png

我们不必找到一个起点,就像登山者,我们正站在这个地方观察哪个方向向下,我们希望沿着向下的方向,改进我们的位置,向实际最小值靠近了一点。当我们快要达到山底的时候,每次更新的步伐就要越小,损失值也就越小,直到达到某个阈值就停止训练,即找到我们要求的解。

下面我们再了解一下学习率a?

v2-c47ebd3d42b9ef2041d84ed5e075a2f4_r.jpg

可以看到,学习率会影响到我们模型能够以多快的速度收敛到局部最小值。一般来说,学习率越大,神经网络的学习速度越快,如果学习率太小,网络可能陷入局部最优;如果太大,超过了极值,损失就会停止下降,在某一位置反复震荡。

本文 zblog模板 原创,转载保留链接!网址:http://xn--zqqs03dbu6a.cn/?id=7

可以去百度分享获取分享代码输入这里。
声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。