了解支持向量机

学习内容

• 1.什么是支持向量机
• 2.如何寻找最大间隔
• 3.了解核函数

我的理解

• 支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面，分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。它是一种监督式学习的方法，可广泛地应用于统计分类以及回归分析。支持向量机属于一般化线性分类器，这族分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区。

• 我们需要寻找数据点到超平面的距离间隔最大，即通过几何学的知识，我们知道点 到超平面 的距离为:

  
  ||w||的意思是w的二范数。

  刚才我们介绍了间隔(margin),这里表示为 , 它的取值是最近距离的2倍:

    M = 2 / ||w||

  最大化这个式子等价于最小化||w||, 另外由于||w||是一个单调函数，我们可以对其加入平方，和前面的系数，熟悉的同学应该很容易就看出来了，这个式子是为了方便求导。

  最大化 转化为在附加限制条件下最小化函数：

  

  即：

  这是一个拉格朗日优化问题，可以通过拉格朗日乘数法得到最优超平面的权重向量W和偏置 b 。

  
  进而把寻求分类函数f(x) = w.x + b的问题转化为对w，b的最优化问题，最终化为对偶因子的求解。

• 如果数据集是线性不可分的，这里可以把原始数据集映射到高维空间上，然后再找合适的划分超平面。如果原始数据集空间是有限维，即属性数是有限的，那么 一定存在一个高维特征空间使样本可分。这个属性从低维到高维的映射就是核函数。

意义

初步了解了支持向量机这一目前最好的现成分类器。

参考

支持向量机（SVM）
支持向量机（SVM）通俗理解