动手学深度学习(笔记)- 监督学习之多层感知机

作者:杨润炜
日期:2018/2/14 18:25

多层感知机

学习内容

  • 1.多层感知机-从0开始
  • 2.多层感知机 — 使用Gluon

我的理解

  • 本节所介绍的多层感知机是包含一个隐含层的神经网络模型,这里的多层指的是在原先输入和输出层之间增加了一个隐含层,而且本节使用的隐含层是一个非线性函数relu,使得原本只具有单一线性的模型具备了拟合非线性特征的功能,模型效果也有了显著的提升;在查阅资料中发现多层感知机所用到训练算法与单层感知机有一些明显的区别,训练时候需要对损失函数求导来更新模型参数,因为单层感知机只需要对一个函数里的参数求导,而多层则需要对多个函数求导,然后利用链式法则求出各层网络的梯度项,之后再根据当前迭代结果,逆向更新各层参数和阈值,这也称反向传播算法,普遍用在训练神经网络;这个算法过程在gluon提供的函数里已经实现了。
  • 利用gluon提供的模型层可以很方便搭建神经网络,用Dense可以作为输入输出层和隐含层。

意义

了解了神经网络训练的反向传播算法原理;了解到了线性模型可以作为简单的神经网络单层感知机,而且可以用来构建复杂多层的神经网络;不过很多事物规律都不是简单的线性,一些非线性的引入可以提高模型对实际数据的拟合度。

感谢您的阅读!
如果看完后有任何疑问,欢迎拍砖。
欢迎转载,转载请注明出处:http://www.yangrunwei.com/a/87.html
邮箱:glowrypauky@gmail.com
QQ: 892413924