收藏本站
《武汉科技大学》 2002年
收藏 | 手机打开
二维码
手机客户端打开本文

强噪声和类间重叠数据下支持向量机学习的研究

姬水旺  
【摘要】: 任何能够提高系统性能的过程都可以被称作是学习的过程,学习问题一直被认为是人工智能和生物智能的核心问题。随着网络技术和数据存储技术的飞速发展,海量高维数据不断出现,如何构造高效的非线性自适应学习系统进行复杂数据分析正成为许多科学研究和工程领域急待解决的问题。 传统的学习算法大多是基于经验风险最小化原则的,统计学习理论给出了经验风险最小化原则一致和快速收敛的充分和必要条件,并且为支持向量算法做了理论支持。支持向量机是基于统计学习理论的结构风险最小化原则的,它将最大分界面分类器思想和基于核的方法结合在一起,表现出了很好的泛化能力,并且可以有效地克服维数灾难和过拟合等问题,因此受到越来越多的研究人员的关注。 训练SVM的本质是解决一个二次规划问题,在实际应用中,如果用于训练的样本数很大,标准的二次型优化技术就很难应用。针对这个问题,各国研究人员提出了不同的解决方案,这些方案的核心思想是先将整个优化问题分解为多个同样性质的子问题,通过循环解决子问题来求得初始问题的解。由于这些方法都需要不断地循环迭代来解决每个子问题,所以需要的训练时间很长,尤其是当训练样本的噪声很大或者类间重叠样本很多时这个瓶颈问题更为严重。 实验和算法推导显示在强噪声和类间重叠数据下训练SVM得到的支持向量很多处于边界位置,如果我们能够预先知道哪些样本是边界支持向量,这些边界支持向量的值就可以被固定在边界处,从而不参加训练过程,这样,训练过程中要优化的变量就可以减少,运行时间也可以缩短。由SVM理论可知,训练SVM的优化过程存在全局唯一的最优解,因此,这样改进了的算法不会对模型精度有任何影响。本文提出了一种简单的启发式规则,这种规则根据样本所对应的Lagrange乘数过去的取值统计来判断它的最终取值情况。如果某个样本所对应的Lagrange乘数在过去循环中连续达到边界值超过一个预先设定的阈值,我们认为这个样本很可能是边界支持向量,所以在随后的训练过程中我们将这些样本固定在边界处,这样就减少了训练过程中自由变量的个数,简化了优化过程。为了保证所有训练样本都达到全局最优,算法在结束前检查所有边界支持向量的最优化条件,如果有不满足这个条件的样本存在,算法继续对它们进行优化,直到所有样本达到全局最优。人脸检测、USPS,和MNIST手写数字识别等数据的实验结果显示改进的算法在很多情况下优于原来的算法,尤其是在强噪声和类间重叠的数据下这种改善更为明显。
【学位授予单位】:武汉科技大学
【学位级别】:硕士
【学位授予年份】:2002
【分类号】:TP18

知网文化
【引证文献】
中国博士学位论文全文数据库 前1条
1 陈万海;基于支持向量机的超谱图像分类技术研究[D];哈尔滨工程大学;2008年
【共引文献】
中国期刊全文数据库 前10条
1 杨绪兵,韩自存;ε不敏感的核Adaline算法及其在图像去噪中的应用[J];安徽工程科技学院学报(自然科学版);2003年04期
2 陶秀凤,唐诗忠,周鸣争;基于支持向量机的软测量模型及应用[J];安徽工程科技学院学报(自然科学版);2004年02期
3 潘希姣;;多子群粒子群集成神经网络[J];安徽建筑工业学院学报(自然科学版);2007年02期
4 李亭;杨敬锋;彭晓琴;陈志民;;基于最大似然法集成的黄曲条跳甲预警模型[J];安徽农业科学;2008年25期
5 时雷;虎晓红;席磊;段其国;;集成学习技术在农业中的应用[J];安徽农业科学;2008年26期
6 许高程;张文君;王卫红;;支持向量机技术在遥感影像滑坡体提取中的应用[J];安徽农业科学;2009年06期
7 郭立萍;唐家奎;米素娟;张成雯;赵理君;;基于支持向量机遥感图像融合分类方法研究进展[J];安徽农业科学;2010年17期
8 王尔丹;人群运动与密度估计技术研究[J];安全;2005年03期
9 冯学军;;最小二乘支持向量机的研究与应用[J];安庆师范学院学报(自然科学版);2009年01期
10 高闯;王立东;周世宇;;基于支持矢量机的宫颈细胞分类[J];辽宁科技大学学报;2009年03期
中国重要会议论文全文数据库 前10条
1 马文涛;;参数优化LSSVM的巷道围岩松动圈预测研究[A];第九届全国岩土力学数值分析与解析方法讨论会论文集[C];2007年
2 赵延林;安伟光;;复合土钉支护基坑内部整体稳定可靠性分析[A];中国计算力学大会'2010(CCCM2010)暨第八届南方计算力学学术会议(SCCM8)论文集[C];2010年
3 ;Fuzzy Support Vector Machines Based on Fuzzy Similarity Degree[A];Proceedings of the 5th International Symposium on Test and Measurement(Volume 1)[C];2003年
4 ;Ultrasonic Flaw Classification in Seafloor Petroleum Transferring Pipeline through Chaotic Optimization and Support Vector Machine[A];Proceedings of 6th International Symposium on Test and Measurement(Volume 1)[C];2005年
5 ;Soft Sensor Modeling Based on Least Squares Support Vector Machines[A];Proceedings of 6th International Symposium on Test and Measurement(Volume 4)[C];2005年
6 ;The Support Vector Machine Technique for Concrete Adherence Strength Prediction[A];Proceedings of 6th International Symposium on Test and Measurement(Volume 5)[C];2005年
7 ;A Wavelet Kernel for Support Vector Machine Based on Frame Theory[A];Proceedings of 6th International Symposium on Test and Measurement(Volume 5)[C];2005年
8 ;Support vector machines for multi-component gases classification with wavelet features extraction[A];Proceedings of 6th International Symposium on Test and Measurement(Volume 6)[C];2005年
9 ;GA-SVM Wrapper for Feature Selection[A];Proceedings of 6th International Symposium on Test and Measurement(Volume 9)[C];2005年
10 ;Application of Decision Tree SVMs Based on Class Distribution to Mental Tasks Recognition[A];第七届国际测试技术研讨会论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
2 于化龙;基于DNA微阵列数据的癌症分类技术研究[D];哈尔滨工程大学;2010年
3 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
4 孔凡芝;引线键合视觉检测关键技术研究[D];哈尔滨工程大学;2009年
5 李书艳;单点氨基酸多态性与疾病相关关系的预测及其机制研究[D];兰州大学;2010年
6 柏坚;非线性数学地质模型研究及在滇东南金矿成矿预测中的应用[D];中国地质大学(北京);2010年
7 姚志明;基于步态触觉信息的身份识别研究[D];中国科学技术大学;2010年
8 陈志国;基于群体智能的机器视觉的关键技术研究[D];江南大学;2010年
9 王晓明;基于统计学习的模式识别几个问题及其应用研究[D];江南大学;2010年
10 刘卫红;垃圾邮件检测与过滤关键技术研究[D];华南理工大学;2010年
中国硕士学位论文全文数据库 前10条
1 曾传华;基于颜色和纹理特征的竹条分级方法研究[D];华中农业大学;2010年
2 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
3 马冉冉;集成学习算法研究[D];山东科技大学;2010年
4 王萍;语音情感识别研究[D];山东科技大学;2010年
5 田文娟;基于支持向量机的人民币序列号识别方法的研究[D];山东科技大学;2010年
6 吕万里;中文文本分类技术研究[D];山东科技大学;2010年
7 孟培培;基于3S的土地督察信息系统研究[D];山东科技大学;2010年
8 朱耿峰;支持向量机在冲击地压预测模型中的应用研究[D];山东科技大学;2010年
9 李海清;支持向量机在金融市场预测中的应用[D];辽宁师范大学;2010年
10 江达秀;基于HMAX模型的人脸表情识别研究[D];浙江理工大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 顾松刚,史培军;基于混合象元分解的辽东湾海冰资源量估算[J];北京师范大学学报(自然科学版);2004年03期
2 陈万海;赵春晖;刘春红;;超谱遥感图像的模糊最大似然分类研究[J];哈尔滨工程大学学报;2006年05期
3 骆世广;杨晓伟;吴广潮;张新华;;一种改进的序贯最小优化算法[J];计算机科学;2006年11期
4 陈进;王润生;;高斯最大似然分类在高光谱分类中的应用研究[J];计算机应用;2006年08期
5 刘雪燕;李明;张亚芬;;基于PCA和多约简SVM的多级说话人辨识[J];计算机应用;2008年01期
6 陈宜金,高金起,申进志,梁晓文;基于层次结构的Cito Map地理信息数据采集系统的若干特点[J];矿山测量;2004年04期
7 杨竹青,李勇,胡德文;独立成分分析方法综述[J];自动化学报;2002年05期
8 张浩然;汪晓东;张长江;;一种鲁棒回归支持向量机及其学习算法[J];南京理工大学学报(自然科学版);2006年03期
9 吴青;刘三阳;张乐友;;最小二乘支持向量机的预优共轭梯度法[J];系统工程与电子技术;2007年10期
10 徐宏根;马洪超;李德仁;;结合SOM神经网络和混合像元分解的高光谱影像分类方法研究[J];遥感学报;2007年06期
中国硕士学位论文全文数据库 前1条
1 沈培华;支持矢量机的算法研究和应用[D];南京理工大学;2002年
【相似文献】
中国期刊全文数据库 前10条
1 王素云;崔丽威;宫雷;曹苏娜;;SVM方法在滚动轴承故障诊断中的应用[J];西安文理学院学报(自然科学版);2011年03期
2 郭金玲;樊东燕;;基于SVM的山西省旅游需求预测与分析[J];电脑开发与应用;2011年09期
3 李佳;李志伟;丁晓利;朱珺;汪长城;;强噪声SAR干涉图的等值线中值–Goldstein二级滤波[J];遥感学报;2011年04期
4 卢莉萍;李翰山;;强噪声下微弱信号检测方法的研究[J];陕西科技大学学报(自然科学版);2011年03期
5 邹杰;吴仲城;;基于支持向量数据描述的在线签名认证系统[J];模式识别与人工智能;2011年02期
6 杨玫;郭天杰;陈青华;;基于经验模式分解的时间序列预测方法研究[J];计算机技术与发展;2011年07期
7 张微;张伟;刘世英;杨金中;茅晟懿;;基于核PCA方法的高分辨率遥感图像自动解译[J];国土资源遥感;2011年03期
8 邱爱中;;对偶树复小波阈值降噪法及在机械故障诊断中的应用[J];机械传动;2011年09期
9 谢秋莲;梁帅;;浅谈微弱信号检测技术[J];无线互联科技;2011年05期
10 王相海;张洪为;王爽;;一种小波变换模极大值的扩散模型[J];中国图象图形学报;2011年06期
中国重要会议论文全文数据库 前10条
1 宋普云;沈雪勤;吴清;;一种改进的SMO算法[A];第六届全国计算机应用联合学术会议论文集[C];2002年
2 张钹;张铃;;统计学习理论及其应用[A];2001年中国智能自动化会议论文集(上册)[C];2001年
3 张国宣;孔锐;施泽生;郭立;;一种新的基于聚类的SVM迭代算法[A];第二届全国信息获取与处理学术会议论文集[C];2004年
4 孙向东;黄日波;;运用SVMs原理预测蛋白质二级结构研究[A];广西微生物学会2003年学术年会论文集[C];2003年
5 刘斌;魏贤龙;李卓;;基于支持向量机的Widrow自适应滤波器[A];2006中国控制与决策学术年会论文集[C];2006年
6 王然风;姚海生;;基于统计学习理论的选煤过程关键工艺参数智能软测量建模研究综述[A];2005年全国选煤学术会议论文集[C];2005年
7 孟祥国;马军;段昕;;基于统计学习理论的支持向量机算法研究[A];2006年全国理论计算机科学学术年会论文集[C];2006年
8 赵晶;高隽;张旭东;谢昭;;支持向量机综述[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年
9 李亚芬;李莹;马宁圣;;精馏过程航煤干点的软测量实现[A];中国仪器仪表学会2005年学术年会测控技术与节能环保学术会议论文集[C];2005年
10 李升娟;杨宗尧;于飞;刘喜梅;;基于支持向量机的系统辨识及应用研究[A];全国炼钢连铸过程自动化技术交流会论文集[C];2006年
中国重要报纸全文数据库 前10条
1 湖南主任医师 罗普泉;噪声对人体危害及预防[N];大众卫生报;2006年
2 记者 刘扬;工地强噪声设备须远离居民区[N];北京日报;2008年
3 记者 李白蕾实习生 莫蓉;这些噪声扰民行为将受罚[N];福州日报;2007年
4 张黎;娱乐场所阳光工程启动[N];中国环境报;2008年
5 记者 霍然;喀什市为高考“禁音”[N];喀什日报(汉);2007年
6 解放军总医院 钱勇;夏日驾车 司机更须防五类疾病[N];家庭医生报;2005年
7 郑俊彦;两千企业受检 三成噪声超标[N];东莞日报;2008年
8 经 华;夏日驾车需预防常见病[N];中国中医药报;2005年
9 记者  王伟民;九大重点提升苏州环境[N];苏州日报;2006年
10 记者  李颖;强化环保意识 提高环保水平[N];张掖日报;2006年
中国博士学位论文全文数据库 前10条
1 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
2 周绮凤;基于支持向量机的若干分类问题研究[D];厦门大学;2007年
3 孙宗海;支持向量机及其在控制中的应用研究[D];浙江大学;2003年
4 徐海祥;基于支持向量机方法的图像分割与目标分类[D];华中科技大学;2005年
5 唐发明;基于统计学习理论的支持向量机算法研究[D];华中科技大学;2005年
6 李忠伟;支持向量机学习算法研究[D];哈尔滨工程大学;2006年
7 李冬琴;船舶技术经济论证中的支持向量机方法研究及应用[D];武汉理工大学;2007年
8 武国正;支持向量机在湖泊富营养化评价及水质预测中的应用研究[D];内蒙古农业大学;2008年
9 尚福华;基于统计学习的油藏水淹层的识别技术[D];哈尔滨工业大学;2007年
10 古红英;基于统计学习理论的虹膜识别研究[D];浙江大学;2005年
中国硕士学位论文全文数据库 前10条
1 滕文凯;支持向量机反问题及其解法[D];河北大学;2005年
2 杜晓东;基于支持向量机的数据挖掘方法[D];山东大学;2005年
3 王李东;基于支持向量机(SVM)的短期负荷预测的研究[D];华中科技大学;2005年
4 郭得令;基于LS-SVM的围岩位移非线性预测应用研究[D];武汉理工大学;2006年
5 詹超;支持向量机在基因表达数据分类中的研究[D];武汉理工大学;2006年
6 马洁;基于支持向量机的股市预测问题研究[D];天津大学;2006年
7 高异;基于支持向量机的非线性系统建模与控制[D];西安理工大学;2006年
8 邓小文;基于SVM的柴油机机械故障诊断研究[D];厦门大学;2006年
9 王忠文;统计学习理论及其在地学中的应用研究[D];吉林大学;2007年
10 蒋琳琼;基于支持向量机的货币识别研究[D];中南大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026