收藏本站
《武汉科技大学》 2002年
收藏 | 手机打开
二维码
手机客户端打开本文

强噪声和类间重叠数据下支持向量机学习的研究

姬水旺  
【摘要】: 任何能够提高系统性能的过程都可以被称作是学习的过程,学习问题一直被认为是人工智能和生物智能的核心问题。随着网络技术和数据存储技术的飞速发展,海量高维数据不断出现,如何构造高效的非线性自适应学习系统进行复杂数据分析正成为许多科学研究和工程领域急待解决的问题。 传统的学习算法大多是基于经验风险最小化原则的,统计学习理论给出了经验风险最小化原则一致和快速收敛的充分和必要条件,并且为支持向量算法做了理论支持。支持向量机是基于统计学习理论的结构风险最小化原则的,它将最大分界面分类器思想和基于核的方法结合在一起,表现出了很好的泛化能力,并且可以有效地克服维数灾难和过拟合等问题,因此受到越来越多的研究人员的关注。 训练SVM的本质是解决一个二次规划问题,在实际应用中,如果用于训练的样本数很大,标准的二次型优化技术就很难应用。针对这个问题,各国研究人员提出了不同的解决方案,这些方案的核心思想是先将整个优化问题分解为多个同样性质的子问题,通过循环解决子问题来求得初始问题的解。由于这些方法都需要不断地循环迭代来解决每个子问题,所以需要的训练时间很长,尤其是当训练样本的噪声很大或者类间重叠样本很多时这个瓶颈问题更为严重。 实验和算法推导显示在强噪声和类间重叠数据下训练SVM得到的支持向量很多处于边界位置,如果我们能够预先知道哪些样本是边界支持向量,这些边界支持向量的值就可以被固定在边界处,从而不参加训练过程,这样,训练过程中要优化的变量就可以减少,运行时间也可以缩短。由SVM理论可知,训练SVM的优化过程存在全局唯一的最优解,因此,这样改进了的算法不会对模型精度有任何影响。本文提出了一种简单的启发式规则,这种规则根据样本所对应的Lagrange乘数过去的取值统计来判断它的最终取值情况。如果某个样本所对应的Lagrange乘数在过去循环中连续达到边界值超过一个预先设定的阈值,我们认为这个样本很可能是边界支持向量,所以在随后的训练过程中我们将这些样本固定在边界处,这样就减少了训练过程中自由变量的个数,简化了优化过程。为了保证所有训练样本都达到全局最优,算法在结束前检查所有边界支持向量的最优化条件,如果有不满足这个条件的样本存在,算法继续对它们进行优化,直到所有样本达到全局最优。人脸检测、USPS,和MNIST手写数字识别等数据的实验结果显示改进的算法在很多情况下优于原来的算法,尤其是在强噪声和类间重叠的数据下这种改善更为明显。
【学位授予单位】:武汉科技大学
【学位级别】:硕士
【学位授予年份】:2002
【分类号】:TP18

【引证文献】
中国博士学位论文全文数据库 前1条
1 陈万海;基于支持向量机的超谱图像分类技术研究[D];哈尔滨工程大学;2008年
【共引文献】
中国期刊全文数据库 前10条
1 杨绪兵,韩自存;ε不敏感的核Adaline算法及其在图像去噪中的应用[J];安徽工程科技学院学报(自然科学版);2003年04期
2 陶秀凤,唐诗忠,周鸣争;基于支持向量机的软测量模型及应用[J];安徽工程科技学院学报(自然科学版);2004年02期
3 潘希姣;;多子群粒子群集成神经网络[J];安徽建筑工业学院学报(自然科学版);2007年02期
4 李亭;杨敬锋;彭晓琴;陈志民;;基于最大似然法集成的黄曲条跳甲预警模型[J];安徽农业科学;2008年25期
5 时雷;虎晓红;席磊;段其国;;集成学习技术在农业中的应用[J];安徽农业科学;2008年26期
6 许高程;张文君;王卫红;;支持向量机技术在遥感影像滑坡体提取中的应用[J];安徽农业科学;2009年06期
7 郭立萍;唐家奎;米素娟;张成雯;赵理君;;基于支持向量机遥感图像融合分类方法研究进展[J];安徽农业科学;2010年17期
8 管翠萍;;药物靶标G蛋白偶联受体的识别预测[J];安徽农业科学;2010年24期
9 刘婷婷;;基于支持向量机的水稻纹枯病识别研究[J];安徽农业科学;2011年28期
10 王尔丹;人群运动与密度估计技术研究[J];安全;2005年03期
中国重要会议论文全文数据库 前10条
1 叶红云;倪志伟;陈恩红;;一种混合型集成学习演化决策树算法[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
2 ;An effective procedure exploiting unlabeled data to build monitoring system[A];中国科学院地质与地球物理研究所第11届(2011年度)学术年会论文集(下)[C];2012年
3 宋海鹰;桂卫华;阳春华;;基于核偏最小二乘的简约最小二乘支持向量机及其应用研究[A];第二十六届中国控制会议论文集[C];2007年
4 宋海鹰;桂卫华;阳春华;;基于最小二乘支持向量机的Hammerstein-Wiener模型辨识[A];第二十六届中国控制会议论文集[C];2007年
5 ;Inverse System Control of Nonlinear Systems Using LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
6 ;A Novel Kernel PCA Support Vector Machine Algorithm with Feature Transition Function[A];第二十六届中国控制会议论文集[C];2007年
7 ;A Novel Proximal Support Vector Machine and Its Application in Radar Target Recognition[A];第二十六届中国控制会议论文集[C];2007年
8 ;A CDMA Signal Receiver Based on LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
9 吕蓬;柳亦兵;马强;魏于凡;;支持向量机在齿轮智能故障诊断中的应用研究[A];第二十六届中国控制会议论文集[C];2007年
10 ;LS-SVM Based Stable Generalized Predictive Control[A];第二十七届中国控制会议论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
2 于化龙;基于DNA微阵列数据的癌症分类技术研究[D];哈尔滨工程大学;2010年
3 李建平;面向异构数据源的网络安全态势感知模型与方法研究[D];哈尔滨工程大学;2010年
4 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
5 孔凡芝;引线键合视觉检测关键技术研究[D];哈尔滨工程大学;2009年
6 邬俊;基于交互式语义推理的图像检索算法研究[D];大连海事大学;2010年
7 郑大腾;柔性坐标测量机空间误差模型及最佳测量区研究[D];合肥工业大学;2010年
8 李书艳;单点氨基酸多态性与疾病相关关系的预测及其机制研究[D];兰州大学;2010年
9 柏坚;非线性数学地质模型研究及在滇东南金矿成矿预测中的应用[D];中国地质大学(北京);2010年
10 张明;电能质量扰动相关问题研究[D];华中科技大学;2010年
中国硕士学位论文全文数据库 前10条
1 曾传华;基于颜色和纹理特征的竹条分级方法研究[D];华中农业大学;2010年
2 朱杰;一种基于聚类的支持向量机反问题求解算法[D];河北大学;2007年
3 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
4 马冉冉;集成学习算法研究[D];山东科技大学;2010年
5 王萍;语音情感识别研究[D];山东科技大学;2010年
6 田文娟;基于支持向量机的人民币序列号识别方法的研究[D];山东科技大学;2010年
7 吕万里;中文文本分类技术研究[D];山东科技大学;2010年
8 孟培培;基于3S的土地督察信息系统研究[D];山东科技大学;2010年
9 朱耿峰;支持向量机在冲击地压预测模型中的应用研究[D];山东科技大学;2010年
10 李海清;支持向量机在金融市场预测中的应用[D];辽宁师范大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 顾松刚,史培军;基于混合象元分解的辽东湾海冰资源量估算[J];北京师范大学学报(自然科学版);2004年03期
2 陈万海;赵春晖;刘春红;;超谱遥感图像的模糊最大似然分类研究[J];哈尔滨工程大学学报;2006年05期
3 骆世广;杨晓伟;吴广潮;张新华;;一种改进的序贯最小优化算法[J];计算机科学;2006年11期
4 陈进;王润生;;高斯最大似然分类在高光谱分类中的应用研究[J];计算机应用;2006年08期
5 刘雪燕;李明;张亚芬;;基于PCA和多约简SVM的多级说话人辨识[J];计算机应用;2008年01期
6 陈宜金,高金起,申进志,梁晓文;基于层次结构的Cito Map地理信息数据采集系统的若干特点[J];矿山测量;2004年04期
7 杨竹青,李勇,胡德文;独立成分分析方法综述[J];自动化学报;2002年05期
8 张浩然;汪晓东;张长江;;一种鲁棒回归支持向量机及其学习算法[J];南京理工大学学报(自然科学版);2006年03期
9 吴青;刘三阳;张乐友;;最小二乘支持向量机的预优共轭梯度法[J];系统工程与电子技术;2007年10期
10 徐宏根;马洪超;李德仁;;结合SOM神经网络和混合像元分解的高光谱影像分类方法研究[J];遥感学报;2007年06期
中国硕士学位论文全文数据库 前1条
1 沈培华;支持矢量机的算法研究和应用[D];南京理工大学;2002年
【二级引证文献】
中国博士学位论文全文数据库 前1条
1 齐滨;高光谱图像分类及端元提取方法研究[D];哈尔滨工程大学;2012年
【相似文献】
中国期刊全文数据库 前10条
1 张铃;支持向量机理论与基于规划的神经网络学习算法[J];计算机学报;2001年02期
2 阎辉,张学工,李衍达;支持向量机与最小二乘法的关系研究[J];清华大学学报(自然科学版);2001年09期
3 朱国强,刘士荣,俞金寿;支持向量机及其在函数逼近中的应用[J];华东理工大学学报;2002年05期
4 侯风雷,王炳锡;基于支持向量机的说话人辨认研究[J];通信学报;2002年06期
5 马永军,方凯,刘暾东,方廷健;基于支持向量机和方差的管道内表面粗糙度等级识别[J];信息与控制;2002年05期
6 吴飞,庄越挺,潘云鹤;基于增量学习支持向量机的音频例子识别与检索[J];计算机研究与发展;2003年07期
7 孙延风,梁艳春;支持向量机的数据依赖型核函数改进算法[J];吉林大学学报(理学版);2003年03期
8 朱永生,张优云;支持向量机分类器中几个问题的研究[J];计算机工程与应用;2003年13期
9 朱家元,吴伟,张恒喜,董彦非;一种新型的多元分类支持向量机[J];计算机工程;2003年17期
10 饶鲜,董春曦,杨绍全;应用支持向量机实现计算机入侵检测[J];西安电子科技大学学报;2003年03期
中国重要会议论文全文数据库 前10条
1 林杰华;张斌;李冬森;宋华茂;余志强;王浩;;支持向量机在电力客户信用评级中的应用[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
2 蒋铁军;张怀强;李积源;;多变量系统预测的支持向量机方法研究[A];管理科学与系统科学研究新进展——第7届全国青年管理科学与系统科学学术会议论文集[C];2003年
3 黄淑云;孙兴玉;梁汝萍;邱建丁;;基于小波支持向量机预测蛋白质亚细胞定位研究[A];第十一届全国计算(机)化学学术会议论文摘要集[C];2011年
4 谢湘;匡镜明;;支持向量机在语音识别中的应用研究[A];现代通信理论与信号处理进展——2003年通信理论与信号处理年会论文集[C];2003年
5 涂冬成;薛龙;刘木华;赵进辉;沈杰;吁芳;;基于支持向量机的鹅肉肉色客观评定研究[A];中国农业工程学会电气信息与自动化专业委员会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会论文摘要[C];2010年
6 杨凌;刘玉树;;基于支持向量机的坦克识别算法[A];第三届全国数字成像技术及相关材料发展与应用学术研讨会论文摘要集[C];2004年
7 师旭超;巴松涛;;基于支持向量机方法的深基坑变形预测[A];科技、工程与经济社会协调发展——河南省第四届青年学术年会论文集(上册)[C];2004年
8 张军;;支持向量机方法在地下水位干扰排除中的初步应用[A];2007年地震流体学术研讨会论文摘要集[C];2007年
9 许建生;盛立东;;基于改进的支持向量机和BP神经网络的识别算法[A];第八届全国汉字识别学术会议论文集[C];2002年
10 荣海娜;张葛祥;张翠芳;;基于支持向量机的非线性系统辨识方法[A];中国自动化学会、中国仪器仪表学会2004年西南三省一市自动化与仪器仪表学术年会论文集[C];2004年
中国重要报纸全文数据库 前10条
1 课题主持人 李心丹 课题协调人 上海证券交易所 施东晖 傅浩 课题研究员 宋素荣 查晓磊 宾红辉 张许宏 郭静静 黄隽 南京大学工程管理学院;内幕交易与市场操纵的行为动机与判别监管研究[N];中国证券报;2007年
2 李水根;计算机详解配伍与药效关系[N];健康报;2005年
3 清华大学 苏光大;非接触式人脸识别技术[N];计算机世界;2006年
4 YMG记者 李仁 通讯员 曲华明 孙运智;我市九项目进入省“盘子”[N];烟台日报;2010年
5 上海大学理学院教授、副院长 陆文聪;酷爱化学 孜孜以求[N];中国化工报;2006年
6 ;选择合适的数据挖掘算法[N];计算机世界;2007年
7 周颖;王米渠与中医心理学[N];中国中医药报;2006年
8 记者 耿挺;蛋白质功能算出来[N];上海科技报;2007年
9 记者 张云普通讯员 全攀峰 安强强;大庆物探深度域地震资料岩性解释技术获得五大突破[N];中国石油报;2008年
10 本报记者 冯治恩;敢与“雷公”试比高[N];铜川日报;2008年
中国博士学位论文全文数据库 前10条
1 刘叶青;原始空间中支持向量机若干问题的研究[D];西安电子科技大学;2009年
2 常甜甜;支持向量机学习算法若干问题的研究[D];西安电子科技大学;2010年
3 胡运红;支持向量机的若干算法研究[D];山东科技大学;2011年
4 杜小芳;基于CPFR的农产品采购模型研究[D];华中科技大学;2005年
5 刘育明;动态过程数据的多变量统计监控方法研究[D];浙江大学;2006年
6 栾锋;支持向量机(SVM)和径向基神经网络(RBFNN)方法在化学、环境化学和药物化学中的应用研究[D];兰州大学;2006年
7 孙薇;市场条件下抽水蓄能电站效益综合评价及运营模式研究[D];华北电力大学(河北);2007年
8 常群;支持向量机的核方法及其模型选择[D];哈尔滨工业大学;2007年
9 周喜川;非可信环境下的支持向量机研究[D];浙江大学;2010年
10 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
中国硕士学位论文全文数据库 前10条
1 刘艳伟;支持向量机方法在感潮河段洪峰水位预报中的应用[D];浙江大学;2010年
2 杨镭;支持向量机算法设计及在高分辨雷达目标识别中的应用[D];国防科学技术大学;2010年
3 童振;基于支持向量机的电解液成分预测[D];东北大学;2008年
4 聂小芳;模糊粗糙集与支持向量机在煤与瓦斯突出预测中的应用研究[D];辽宁工程技术大学;2009年
5 鄢常亮;基于支持向量机的高炉向凉向热炉况预测研究[D];内蒙古科技大学;2010年
6 韩叙东;基于支持向量机的水电故障分类器的设计与实现[D];东北大学;2008年
7 冯杰;慢时变对象的支持向量机建模与在线校正方法研究[D];东北大学;2009年
8 朱耿峰;支持向量机在冲击地压预测模型中的应用研究[D];山东科技大学;2010年
9 王奇安;基于广泛内核的CVM算法研究及参数C的选择[D];南京航空航天大学;2009年
10 张永新;基于支持向量机和遗传算法相结合的模拟电路故障诊断方法研究[D];东北大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026