SVM家族（一）
SVM家族简史
故事要从20世纪50年代说起，1957年，一个叫做感知器的模型被提出，
1963年， Vapnik and Chervonenkis, 提出了最大间隔分类器，SVM诞生了。
1992年，Vapnik 将核方法用于SVM，使SVM可以处理线性不可分数据
1995年，Corts和Vapnik引入了软间隔，允许SVM犯一些错
最强版SVM出现了，它将各式武学集于一身，软间隔、核方法、……，
1996年，SVR（support vector regression）诞生，svm家族又添一员，回归任务也不在话下。至此，SVM家族成为机器学习界顶级家族之一。关于SVM家族其他成员，可以参阅这里。
SVM是什么？
- 是一种监督学习分类算法，可以用于分类/回归任务
- SVM目标：寻找最优分割超平面以最大化训练数据的间隔
什么是超平面？
- 在一维空间，超平面是一个点
- 二维空间，超平面是一条线
- 三维空间，超平面是一个平面
- 更多维空间，称为超平面
什么是最优分割超平面？
- 尽可能远离每一个类别的样本点的超平面
- 首先，可以正确的将训练数据分类
- 其次，拥有更好的泛化能力
那么如何找到这个最优超平面呢？根据间隔
什么是间隔？
给定一个超平面，超平面到最近的样本点之间的距离的2倍称为间隔。
在最初的SVM中，间隔是一个强定义，即硬间隔，间隔之间不允许存在任何样本。（当数据中存在噪音时，会产生一些问题，所以后来软间隔被引入）
显然，间隔B小于间隔A。可知：
- 如果超平面越接近样本点，对应的间隔越小
- 超平面离样本点越远，间隔越大
所以最优超平面对应最大间隔，SVM就是围绕着这个间隔展开，如何计算这个间隔？
版权声明：本文为gongyanzh原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。