收藏本站
《浙江大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

支持向量分类机的训练与简化算法研究

曾志强  
【摘要】: 支持向量机是基于统计学习理论的新一代机器学习技术。和传统的基于数据的学习方法采用经验风险最小化原则不同的是,它是建立在结构风险最小化原则的基础上,因此能够较好地处理小样本情况下的学习问题。并且,它较好地解决了以往困扰很多学习方法的过学习、高维数、局部极小点等实际问题。目前,统计学习理论和支持向量机作为小样本学习的最佳理论,受到越来越广泛的重视,成为人工智能和机器学习领域的研究热点。 目前,统计学习理论正处于一个向实际应用推广的阶段。支持向量机的算法需要进一步的改进与完善以适应实际问题的需要。本文在分析了支持向量机的基本理论和基本性质的基础上,立足于分类问题,针对不同类型的训练与简化算法存在的不足之处,提出了新的训练与简化算法,克服了现存算法存在的缺陷,提高了支持向量机的训练与分类效率。本文的主要工作如下: 1、针对结合可行方向策略的序贯最小优化(SMO)算法存在的缓存命中率低下问题,提出了一种改进工作集选择策略的SMO算法,并从理论上证明了其收敛性。改进的工作集选择策略综合考虑算法收敛所需的迭代次数及缓存效率,从总体上减少了核函数计算次数,因此相应的SMO算法的训练速度较采用可行方向策略的SMO算法有了很大提高。 2、针对目前预处理类型的支持向量机训练算法训练所得分类器泛化性能低、分类时间复杂度高等缺陷,提出了一种新的预处理类型的支持向量机训练算法。该算法通过创建一相对粗糙的分类超平面来实现潜在支持向量的选择,从而减小支持向量机对应二次优化问题的规模,降低支持向量机训练所需的时间及空间复杂度,因此适用于大规模数据集的训练。该算法不仅基本维持了原始分类器的分类精度,而且训练完毕后具有较少的支持向量,因而对应的结果分类器具有较快的分类速度。 3、针对目前适用于超大规模数据集的支持向量机训练算法大多依靠经验观察,缺乏理论保障的情况,提出了一种基于近似解的支持向量机训练算法:Approximate Vector Machine(AVM)。AVM算法采用增量学习的策略来寻找近似最优分类超平面,并且在迭代过程中采用了热启动及抽样技巧来加快训练速度。理论分析表明,该算法的计算复杂度与训练样本的数量无关,因此具有良好的时间与空间扩展性,适用于超大规模数据集的训练。 4、目前的支持向量机简化法在寻找约简向量的过程中需要求解一个无约束的多参数优化问题,这样,像其它非线性优化问题一样,求解过程需要面对数值不稳定或局部最小值问题。为克服现存方法存在的不足,提出了一种新颖的基于核聚类的支持向量机简化方法,此方法首先在特征空间中对支持向量进行聚类,然后寻找特征空间中的聚类中心在输入空间中的原像以形成约简向量集。该方法概念简单,在简化过程中只需求解线性代数问题从而克服了现存方法存在的瓶颈。实验结果表明,此简化法能够在基本保持支持向量机泛化性能的情况下极大地约简支持向量,从而提高分类器的分类速度。
【学位授予单位】:浙江大学
【学位级别】:博士
【学位授予年份】:2007
【分类号】:TP18

【引证文献】
中国期刊全文数据库 前4条
1 孟云闪;余洁;刘利敏;张中山;隋克林;;LSSVM算法在极化SAR影像分类中的应用[J];地理空间信息;2012年03期
2 郭晓晨;姚宏亮;;基于支持向量机的物流管理质量评价模型的构建[J];河南科技学院学报(自然科学版);2012年04期
3 王奇安;陈兵;冯爱民;;一种基于聚类的核向量机参数C选择算法[J];小型微型计算机系统;2011年03期
4 吴剑锋;吴群;孙守迁;;简约支持向量机分类算法在下肢动作识别中的应用研究[J];中国机械工程;2011年04期
中国博士学位论文全文数据库 前4条
1 胡雷;面向飞行器健康管理的新异类检测方法研究[D];国防科学技术大学;2010年
2 胡运红;支持向量机的若干算法研究[D];山东科技大学;2011年
3 朱方;多信息融合模式分类方法研究及在公交客流识别系统中的应用[D];河北工业大学;2010年
4 于晓明;支持向量机及其在制浆过程重要参数软测量中的应用研究[D];陕西科技大学;2012年
中国硕士学位论文全文数据库 前5条
1 王奇安;基于广泛内核的CVM算法研究及参数C的选择[D];南京航空航天大学;2009年
2 熊浩勇;基于SVM的中文文本分类算法研究与实现[D];武汉理工大学;2008年
3 吴静;面向电视功能遥控的视觉手势识别算法[D];西北大学;2011年
4 梅玲;支持向量机模型的相关研究[D];河南大学;2011年
5 宋丽妍;基于双隶属度判定的模糊支持向量机方法研究[D];哈尔滨工业大学;2011年
【参考文献】
中国期刊全文数据库 前3条
1 李晓黎,刘继敏,史忠植;基于支持向量机与无监督聚类相结合的中文网页分类器[J];计算机学报;2001年01期
2 张铃;基于核函数的SVM机与三层前向神经网络的关系[J];计算机学报;2002年07期
3 朱永生,王成栋,张优云;二次损失函数支持向量机性能的研究[J];计算机学报;2003年08期
中国博士学位论文全文数据库 前1条
1 姜静清;最小二乘支持向量机算法及应用研究[D];吉林大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 张丽丽;祁玉龙;;一类特殊规划的求解算法[J];安徽大学学报(自然科学版);2008年04期
2 杨绪兵,韩自存;ε不敏感的核Adaline算法及其在图像去噪中的应用[J];安徽工程科技学院学报(自然科学版);2003年04期
3 陶秀凤,唐诗忠,周鸣争;基于支持向量机的软测量模型及应用[J];安徽工程科技学院学报(自然科学版);2004年02期
4 许高程;张文君;王卫红;;支持向量机技术在遥感影像滑坡体提取中的应用[J];安徽农业科学;2009年06期
5 郭立萍;唐家奎;米素娟;张成雯;赵理君;;基于支持向量机遥感图像融合分类方法研究进展[J];安徽农业科学;2010年17期
6 王尔丹;人群运动与密度估计技术研究[J];安全;2005年03期
7 钱付兰;;基于交叉覆盖算法的改进算法-最近邻交叉覆盖算法[J];安庆师范学院学报(自然科学版);2007年04期
8 冯学军;;最小二乘支持向量机的研究与应用[J];安庆师范学院学报(自然科学版);2009年01期
9 高闯;王立东;周世宇;;基于支持矢量机的宫颈细胞分类[J];辽宁科技大学学报;2009年03期
10 胡展飞,张刚,周健;软土基坑突水基底变形研究[J];地下空间与工程学报;2005年04期
中国重要会议论文全文数据库 前10条
1 马文涛;;参数优化LSSVM的巷道围岩松动圈预测研究[A];第九届全国岩土力学数值分析与解析方法讨论会论文集[C];2007年
2 赵延林;安伟光;;复合土钉支护基坑内部整体稳定可靠性分析[A];中国计算力学大会'2010(CCCM2010)暨第八届南方计算力学学术会议(SCCM8)论文集[C];2010年
3 ;Fuzzy Support Vector Machines Based on Fuzzy Similarity Degree[A];Proceedings of the 5th International Symposium on Test and Measurement(Volume 1)[C];2003年
4 ;Ultrasonic Flaw Classification in Seafloor Petroleum Transferring Pipeline through Chaotic Optimization and Support Vector Machine[A];Proceedings of 6th International Symposium on Test and Measurement(Volume 1)[C];2005年
5 ;Soft Sensor Modeling Based on Least Squares Support Vector Machines[A];Proceedings of 6th International Symposium on Test and Measurement(Volume 4)[C];2005年
6 ;The Support Vector Machine Technique for Concrete Adherence Strength Prediction[A];Proceedings of 6th International Symposium on Test and Measurement(Volume 5)[C];2005年
7 ;A Wavelet Kernel for Support Vector Machine Based on Frame Theory[A];Proceedings of 6th International Symposium on Test and Measurement(Volume 5)[C];2005年
8 ;Support vector machines for multi-component gases classification with wavelet features extraction[A];Proceedings of 6th International Symposium on Test and Measurement(Volume 6)[C];2005年
9 ;GA-SVM Wrapper for Feature Selection[A];Proceedings of 6th International Symposium on Test and Measurement(Volume 9)[C];2005年
10 ;Application of Decision Tree SVMs Based on Class Distribution to Mental Tasks Recognition[A];第七届国际测试技术研讨会论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
2 王龙金;零/低航速减摇鳍升力模型及系统控制策略研究[D];哈尔滨工程大学;2009年
3 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
4 孔凡芝;引线键合视觉检测关键技术研究[D];哈尔滨工程大学;2009年
5 李书艳;单点氨基酸多态性与疾病相关关系的预测及其机制研究[D];兰州大学;2010年
6 柏坚;非线性数学地质模型研究及在滇东南金矿成矿预测中的应用[D];中国地质大学(北京);2010年
7 姚志明;基于步态触觉信息的身份识别研究[D];中国科学技术大学;2010年
8 尤著宏;基于图和复杂网络理论的蛋白质相互作用数据分析与应用研究[D];中国科学技术大学;2010年
9 陈志国;基于群体智能的机器视觉的关键技术研究[D];江南大学;2010年
10 王晓明;基于统计学习的模式识别几个问题及其应用研究[D];江南大学;2010年
中国硕士学位论文全文数据库 前10条
1 曾传华;基于颜色和纹理特征的竹条分级方法研究[D];华中农业大学;2010年
2 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
3 田文娟;基于支持向量机的人民币序列号识别方法的研究[D];山东科技大学;2010年
4 徐芳芳;优化问题的PVD算法研究[D];山东科技大学;2010年
5 孟培培;基于3S的土地督察信息系统研究[D];山东科技大学;2010年
6 朱耿峰;支持向量机在冲击地压预测模型中的应用研究[D];山东科技大学;2010年
7 徐晓梅;凸集的条件数及其相关性质[D];哈尔滨师范大学;2010年
8 李海清;支持向量机在金融市场预测中的应用[D];辽宁师范大学;2010年
9 江达秀;基于HMAX模型的人脸表情识别研究[D];浙江理工大学;2010年
10 李朋勇;基于全矢高阶谱的故障诊断方法及其应用研究[D];郑州大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 史其信;GPS技术在智能交通系统中的应用[J];中国安防产品信息;2004年03期
2 刘华富;支持向量机Mercer核的若干性质[J];北京联合大学学报(自然科学版);2005年01期
3 邵年华;沈冰;秦胜英;戴玉萍;;核主成分支持向量机模型在蒸发预测中的应用[J];北京师范大学学报(自然科学版);2010年03期
4 方辉;王倩;;支持向量机的算法研究[J];长春师范学院学报;2007年06期
5 于海滨;刘济林;;基于区域视差提取的视觉客流统计方法[J];传感技术学报;2007年07期
6 张玲,郑恩让;黑液浓度的一种在线检测方法[J];中华纸业;2000年04期
7 张志秀,刘星萍,张新荣;黑液波美度的在线软测量[J];中华纸业;2003年08期
8 杨春节,孙优贤,鲍伯良;纸浆洗涤过程控制的现状和趋势[J];中华纸业;1998年03期
9 朱晓宏 ,丁卫东 ,孙泰屹;公交客流信息采集技术研究[J];城市车辆;2005年01期
10 刘贤腾;沈青;朱丽;;大城市交通供需矛盾及发展对策——以南京为例[J];城市规划;2009年01期
中国博士学位论文全文数据库 前10条
1 马笑潇;智能故障诊断中的机器学习新理论及其应用研究[D];重庆大学;2002年
2 易正俊;多源信息智能融合算法[D];重庆大学;2002年
3 范昕炜;支持向量机算法的研究及其应用[D];浙江大学;2003年
4 孙宗海;支持向量机及其在控制中的应用研究[D];浙江大学;2003年
5 刘瑞兰;软测量技术若干问题的研究及工业应用[D];浙江大学;2004年
6 张春华;支持向量机中最优化问题的研究[D];中国农业大学;2004年
7 孙德山;支持向量机分类与回归方法研究[D];中南大学;2004年
8 周凌柯;数据校正技术的研究及应用[D];浙江大学;2005年
9 安金龙;支持向量机若干问题的研究[D];天津大学;2004年
10 田英杰;支持向量回归机及其应用研究[D];中国农业大学;2005年
中国硕士学位论文全文数据库 前10条
1 彭云峰;污水处理出水水质软测量预测预报系统开发[D];昆明理工大学;2003年
2 张俊艳;基于SVM有聚类指导的Web中文文本分类器的研究及其实现[D];福州大学;2004年
3 孙计;造纸碱回收过程先进控制研究[D];浙江大学;2004年
4 毛嘉莉;聚类K-means算法及并行化研究[D];重庆大学;2003年
5 胡美燕;基于图像识别的一次性输液针装配角度位置检测研究[D];浙江工业大学;2004年
6 万宜;基于小波神经网络的车牌自动识别研究[D];东南大学;2004年
7 黄琼英;支持向量机多类分类算法的研究及应用[D];河北工业大学;2005年
8 胡海峰;液体火箭发动机涡轮泵健康监控系统及数据管理研究[D];国防科学技术大学;2004年
9 汤华丽;SVM中两类常用分类方法的关系研究[D];重庆大学;2005年
10 黄昊;基于GPS的车载信息系统终端的研究与开发[D];首都师范大学;2006年
【二级引证文献】
中国期刊全文数据库 前3条
1 洪涛;黄志奇;钟福利;;涡轮泵实时故障检测的频段幅值最大值比方法[J];电子测量与仪器学报;2012年01期
2 谭敏;;基于UML的公安情报自动分类系统设计[J];价值工程;2011年11期
3 谭敏;范强;;基于SVM的公安情报自动分类系统模型设计[J];网络安全技术与应用;2012年07期
中国博士学位论文全文数据库 前1条
1 黄永文;中文产品评论挖掘关键技术研究[D];重庆大学;2009年
中国硕士学位论文全文数据库 前9条
1 李奎;基于HCC-SVM的字符识别技术研究[D];南京理工大学;2009年
2 刘慧;基于KNN的中文文本分类算法研究[D];西南交通大学;2010年
3 李萍;基于改进词语权重的文本分类方法研究[D];东北师范大学;2010年
4 赵行;SVM分类器置信度的研究[D];北京邮电大学;2010年
5 曹蕊;车牌字符识别系统的研究和实现[D];中北大学;2010年
6 罗亚平;面向网络舆情的中文评论文本情感倾向分析研究[D];东北财经大学;2010年
7 熊杨;最小二乘支持向量机算法及应用研究[D];国防科学技术大学;2010年
8 盛魁;基于SVM的中文网页自动分类技术研究[D];安徽大学;2011年
9 吴世竞;垃圾短信过滤系统的设计与实现[D];北京邮电大学;2012年
【二级参考文献】
中国期刊全文数据库 前8条
1 王庆云;黄道;;固定尺度最小二乘支持向量机[J];华东理工大学学报(自然科学版);2006年07期
2 李晓黎,史忠植;用数据采掘方法获取汉语词性标注规则[J];计算机研究与发展;2000年12期
3 张学工;关于统计学习理论与支持向量机[J];自动化学报;2000年01期
4 张铃,张钹,殷海风;多层前向网络的交叉覆盖设计算法[J];软件学报;1999年07期
5 陶卿,曹进德,孙德敏;基于支持向量机分类的回归方法[J];软件学报;2002年05期
6 罗公亮;从神经网络到支撑矢量机(上)[J];冶金自动化;2001年05期
7 罗公亮;从神经网络到支撑矢量机(中)[J];冶金自动化;2001年06期
8 罗公亮;从神经网络到支撑矢量机(下)[J];冶金自动化;2002年01期
中国博士学位论文全文数据库 前3条
1 孙德山;支持向量机分类与回归方法研究[D];中南大学;2004年
2 田英杰;支持向量回归机及其应用研究[D];中国农业大学;2005年
3 吴春国;广义染色体遗传算法与迭代式最小二乘支持向量机回归算法研究[D];吉林大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 杨飞;王猛;;基于支持向量机的煤炭销售预测系统的研究[J];计算机与数字工程;2011年06期
2 林超;杨敏华;;基于球结构支持向量机的QuickBird影像分类分析[J];测绘工程;2011年03期
3 王素云;崔丽威;宫雷;曹苏娜;;SVM方法在滚动轴承故障诊断中的应用[J];西安文理学院学报(自然科学版);2011年03期
4 余萍;;基于支持向量机发展的研究[J];新课程(教育学术);2011年05期
5 宋晖;薛云;张良均;;基于SVM分类问题的核函数选择仿真研究[J];计算机与现代化;2011年08期
6 关欣;郭强;张政超;赵静;翟鸿君;;基于核函数支持向量机的雷达辐射源识别[J];弹箭与制导学报;2011年04期
7 王安娜;李云路;赵锋云;史成龙;;一种新的半监督直推式支持向量机分类算法[J];仪器仪表学报;2011年07期
8 方若宇;张琼;许慰玲;张虹;;基于SVM用户建模的核函数选择研究[J];微计算机信息;2011年08期
9 翟鸿雁;曾晋明;曾纪霞;;基于支持向量机的电力市场价格预测中的核函数比较[J];计算技术与自动化;2011年02期
10 贾世杰;孔祥维;;一种新的直方图核函数及在图像分类中的应用[J];电子与信息学报;2011年07期
中国重要会议论文全文数据库 前10条
1 刘耀年;王浩;何昌浩;何萍;;基于支持向量回归机的短期电力负荷预测[A];第十届全国电工数学学术年会论文集[C];2005年
2 贺皓;罗慧;;基于模式识别的支持向量机大雾预报方法[A];陕西省气象学会2006年学术交流会论文集[C];2006年
3 付伟基;王俊;刘丹军;赵峰;;基于最小二乘支持向量机的云量释用预报技术研究[A];第27届中国气象学会年会灾害天气研究与预报分会场论文集[C];2010年
4 赵晶;高隽;张旭东;谢昭;;支持向量机综述[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年
5 应自炉;张有为;李景文;;基于GDA和SVM的人脸表情识别[A];第十三届全国信号处理学术年会(CCSP-2007)论文集[C];2007年
6 高荣;刘晓华;;基于小波变换的支持向量机短期负荷预测[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年
7 门洪;武玉杰;李小英;高艳春;;基于支持向量机的分类算法研究[A];第六届全国信息获取与处理学术会议论文集(3)[C];2008年
8 荣海娜;张葛祥;张翠芳;;基于支持向量机的非线性系统辨识方法[A];中国自动化学会、中国仪器仪表学会2004年西南三省一市自动化与仪器仪表学术年会论文集[C];2004年
9 曹兆龙;万福永;;SVM算法及其在多类字母图像识别中的应用[A];第25届中国控制会议论文集(下册)[C];2006年
10 王永春;;一种复合的支持向量机模型在电力系统短期负荷中的应用[A];第十届全国电工数学学术年会论文集[C];2005年
中国重要报纸全文数据库 前10条
1 本报记者 娄立平;万通地产 首倡“二次规划”[N];中国房地产报;2005年
2 本报记者  孙蔚;社区二次规划能否弥补先天不足[N];中国消费者报;2006年
3 中国楼市记者  张俐;寻求社区可持续发展[N];中国建设报;2006年
4 张璐通讯员 吴树群;科贸金街整体升级[N];天津日报;2007年
5 肖志飞;核心团队≠核心集体[N];医药经济报;2008年
6 本报记者  马琳;开发商的物业情节:自给自足还是专业分工?[N];中国房地产报;2006年
7 上海社会科学院 王泠一;夏季来临 城市安全体系准备好了吗[N];国际金融报;2005年
8 新经;电子商务是必然选择[N];中国机电日报;2001年
9 ;GeForce FX5200为什么便宜?[N];中国电脑教育报;2003年
10 本报记者 魏生革 通讯员 李永坚;力促全市招商引资[N];韶关日报;2006年
中国博士学位论文全文数据库 前10条
1 曾志强;支持向量分类机的训练与简化算法研究[D];浙江大学;2007年
2 邢永忠;最小二乘支持向量机的若干问题与应用研究[D];南京理工大学;2009年
3 任东;基于支持向量机的植物病害识别研究[D];吉林大学;2007年
4 武国正;支持向量机在湖泊富营养化评价及水质预测中的应用研究[D];内蒙古农业大学;2008年
5 李忠伟;支持向量机学习算法研究[D];哈尔滨工程大学;2006年
6 马儒宁;神经网络与支持向量机相关问题研究[D];复旦大学;2005年
7 杨金芳;支持向量回归在预测控制中的应用研究[D];华北电力大学(河北);2007年
8 董辉;基于支持向量机的岩土非线性变形行为预测研究[D];中南大学;2007年
9 梁力文;基于支持向量机的小波滤噪短波近红外光谱在药品定量分析中的研究[D];吉林大学;2009年
10 张永;基于模糊支持向量机的多类分类算法研究[D];大连理工大学;2008年
中国硕士学位论文全文数据库 前10条
1 徐淑萍;基于支持向量机的图像分割研究综述[D];辽宁科技大学;2008年
2 余萍;一种基于边界调节的支持向量机模型[D];重庆大学;2007年
3 艾武;基于支持向量机的色素斑痣类皮肤症状识别研究[D];华中科技大学;2007年
4 张文良;基于支持向量机的甲醛浓度软测量[D];大连理工大学;2008年
5 马洁;基于支持向量机的股市预测问题研究[D];天津大学;2006年
6 李治伟;支持向量机及其在纹理分类中的应用[D];汕头大学;2008年
7 王启超;基于组合核函数支持向量机的软测量技术及其应用研究[D];江西理工大学;2011年
8 翟海龙;支持向量机在船舶柴油机故障诊断中的应用[D];上海海事大学;2007年
9 王忠文;统计学习理论及其在地学中的应用研究[D];吉林大学;2007年
10 邓小文;基于SVM的柴油机机械故障诊断研究[D];厦门大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026