动手学深度学习(笔记)- 监督学习之正则化

作者:杨润炜
日期:2018/2/15 17:24

监督学习之正则化

学习内容

  • 1.什么是训练误差和泛化误差
  • 2.了解欠拟合与过拟合
  • 3.了解正则化

理解

  • 训练误差是机器学习模型在训练数据集上表现出的误差,测试误差是模型在测试集上表现出的误差,而泛化误差指的是模型在任意一个测试数据样本上表现出的误差的期望值,泛化误差越小,模型效果才越符合实际要求;

  • 欠拟合:机器学习模型无法得到较低训练误差,往往是由于选用的模型参数过少,导致无法拟合现有训练数据的某些特征;
    过拟合:机器学习模型的训练误差远小于其在测试数据集上的误差,可能是由于选用的模型参数过多,或者是训练数据远少于数据的特征数量;

  • 正则化是解决过拟合的方法之一,正则化是对较大的绝对值的参数实施了一个惩罚规则,防止一些噪声数据对某些特征影响过大而使模型参数过度拟合这些影响;除了正则化,增加训练数据和选取合适的模型(如:过度拟合时可适当减少参数数量)来解决过度拟合问题,但如果是选用的特征是无法减少的,比如考虑房价的规律,那影响的因素就很多,而正则化可以让我们既不用减少特征参数,又能让所有的影响因素都考虑到模型里,而且让影响小的因素占的权重小。

意义

了解了模型训练过程中可能出现的一些异常情况和其中的一些优化方法。

感谢您的阅读!
如果看完后有任何疑问,欢迎拍砖。
欢迎转载,转载请注明出处:http://www.yangrunwei.com/a/88.html
邮箱:glowrypauky@gmail.com
QQ: 892413924