第 2卷笃 3 6期 .

长春师范学院学报 (自然科学版 ) I r l f lnct o a U i rt{ atl c ne o n m gh N r l n e i N tr i c} u aoC m m v sy t S e a

20 Or 6月 7年 Jn2O u .Or 7

支持向量机的算法研究 方辉，王倩 ( 1渤海大学信息科学与工程学院，辽宁锦州 1 1 1; 2 0 3 2锦州市绿野环境工程开发中心，辽宁锦州 110 ) . 20 0 [摘要]支持向机 (up￣vc r ah e V spo et ci,S M)是 2世纪 9年代发展起来的一种新型机器学习 om n 0 f ) 方法，是在统汁学习理论基础上发展起来的一种新的数据挖掘方法，已广泛应用于模式识别与回归分析。并已成为国际机器学习界的研究热点。本支主要讨论其基-原理与 S M训练算法。术 V

[关键词】支持向机；机器学习：分类 [中图分类号】T 24 P7[文献标识码]A [文章编号]l0—18 (070— o o O8 7X 20 )3 0 2

支持向量机是一种用来解决分类和【归问题的新的数据挖掘技术。由于 S M方法具有许多引人注目的亘 j V

优点和有前途的实验性能，越来越受重视，该技术已成为机器学习研究领域的热点，并已取得良好的效果， 如手文：本分类、手写识别、图像分类等支持向量机是在统汁学习理论基础上发展起来的。19 9 5年 V pi an k和 C e oeks出丁完整的统计学理 hr nn i提 v沦，并在此基础上发展丁…种新的通用学习方法一一S M。 V I基本原理 支持向量机来源于分类问题，从本质上讲是一种前向神经网络，根据结构风险最小化准则，在使训练样本分类误差极小化的前提下，尽量提高分类器的泛化推广能力。 支持向量机的关键在于核函数，低维空问向量集通常难于划分，解决的方法是将它们映射到高维空间。 而核函数正好巧妙地解决了这个问题。也就是说，只要选用适当的核函数，我，就可以得到高维空问的分类 t J 1函数。 2支持向量机特点

利用最大间隔的思想降低分类器的 V C维，实现结构风险最小化原则；利用 M r r实现线性算法的非 ee核 e线性化；稀疏性，即挝

样本 (支持广量 )的系数不为零，就推，性而言，较少的支持向最数在统计意义上“ j r 对应好的推J‘能力，从计算角度雷，支持向量减少 l『核形式判别式的汁算量；算法设计成凸二次规划问题， 避免多解性。 3 S M训练算法的研究 V 3 1标准的 S M算法标准的 S M算法的原始问题可以归结为如下的一个二次规划问题： . V V二

n瞩 j +c i u l∑ . f二j l n W st Y( .. .<w, i) )一， g x)+b≥1 i >0 i,, .,=l… j /

() 1

其中，i 为支持向量机的输入指标向量， i,} x所属类别，_l……,。K(i ) x∈∈—l 1为 i, l x,为核函数，

它列应某特征空间 z中的内积， K x,j=((i,(j>, H (.x) gx)gx)变换 g)将样本从输人空问映射到特征空间。:- (+z W为超平面的法向量， b为超平面的偏置，是松弛变量， i C为惩罚因子。

对于支持向量机的训练并不是求解它的原始问题 ( ) 1,而是求解它的对偶问题，其对偶问题描述如下： H ( ):一 i f。 S t . . y u=0, T

一如

0≤a≤ C,i,…,l i=1 [收稿日期】20 07—0—2 3 8【作者简介】方

f) 2

辉 (90-) 18,男，辽宁鞍山人，渤海大学信息科学与工程学院硕士研究生从事数据挖掘研究。 ,

90