动手学深度学习(笔记)—监督学习之线性回归

作者:杨润炜
日期:2018/2/12 22:53

监督学习—线性回归

学习内容

  • 1.NDArray和autograd处理数据和自动求导
  • 2.线性回归-从0开始
  • 3.线性回归-使用gluon

我的理解

  • 矩阵运算是机器学习的核心基础之一,算法处理数据都是矩阵的运算、求导过程。NDArray提供了操作符、替换、截取等操作,进行对矩阵数据的存储和变换,autograd则提供了更新模型参数所需的自动求导功能。
  • 模型训练流程:
    获取数据集:用线性函数加噪声的方式生产训练数据,噪声是为了模拟现实情况的数据,所以使用了能反应普遍规律的正态分布;
    定义模型:y ̂ =X w+b;
    确定损失函数:模型的方差:∑ i=1 n (y ̂ i −y i ) 2 ,这里方差的体现了实际数据与直线的欧氏距离之和,显然距离最小的时候,模型最能反映实际数据了;
    优化算法:采用梯度下降使损失最小化,首先是确定模型参数的初始值、梯度下降的学习率及训练迭代次数,然后以学习率为单位逐渐减小参数的偏导数,使平均损失值逐渐减小,迭代完成后,就可以得到此次训练的最优参数值和模型;查阅资料时发现还可以使用最小二乘法求解,利用导数为零时损失最小的原理,在参数的偏导公式中代入训练数据求出具体参数值;不过由于矩阵的逆计算量大而且存在数值不稳定的情况,所以迭代法(如:梯度下降)更适合实际训练。
  • gluon引入了一些抽象概念和更便捷的数据处理方法,有加载数据的data模块,模型层(如:线性模型的Dense),内置方差计算和梯度下降法运算。gluon使模型训练更快,实现起来更简洁。

意义

理解机器学习最简单的线性模型原理及实现,了解gluon的一些基本用法和抽象概念。

参考

动手学深度学习
最小二乘法与梯度下降

感谢您的阅读!
如果看完后有任何疑问,欢迎拍砖。
欢迎转载,转载请注明出处:http://www.yangrunwei.com/a/85.html
邮箱:glowrypauky@gmail.com
QQ: 892413924