我们需要寻找数据点到超平面的距离间隔最大,即通过几何学的知识,我们知道点 到超平面
的距离为:
||w||的意思是w的二范数。
刚才我们介绍了间隔(margin),这里表示为 , 它的取值是最近距离的2倍:
M = 2 / ||w||
最大化这个式子等价于最小化||w||, 另外由于||w||是一个单调函数,我们可以对其加入平方,和前面的系数,熟悉的同学应该很容易就看出来了,这个式子是为了方便求导。
最大化 转化为在附加限制条件下最小化函数:
即:
这是一个拉格朗日优化问题,可以通过拉格朗日乘数法得到最优超平面的权重向量W和偏置 b 。
进而把寻求分类函数f(x) = w.x + b的问题转化为对w,b的最优化问题,最终化为对偶因子的求解。
如果数据集是线性不可分的,这里可以把原始数据集映射到高维空间上,然后再找合适的划分超平面。如果原始数据集空间是有限维,即属性数是有限的,那么 一定存在一个高维特征空间使样本可分。这个属性从低维到高维的映射就是核函数。
初步了解了支持向量机这一目前最好的现成分类器。
感谢您的阅读!
如果看完后有任何疑问,欢迎拍砖。
欢迎转载,转载请注明出处:http://www.yangrunwei.com/a/97.html
邮箱:glowrypauky@gmail.com
QQ: 892413924