收藏本站
《中国科学技术大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

鲁棒最小二乘支持向量机研究与应用

刘京礼  
【摘要】: 二分类问题是统计学习理论、机器学习以及人工智能中研究的一个重要问题。支持向量机模型采用结构风险极小化原则和核函数方法来构造分类模型,模型比较简单,解具有唯一性。最小二乘支持向量机模型使用误差均方和作为目标函数,把二次规划模型的求解转化成求解线性方程组,克服了支持向量机模型求解二次规划计算量大的问题。但是最小二乘支持向量机模型中的等式约束以及目标函数中的均方误差和使得模型的解丢失了稀疏性,降低了解的鲁棒性。 由于随机的或者非随机过程的存在,现实生活中的数据经常带有噪声和不确定性。数据的噪声以及不确定性会影响统计学习分类算法模型的性能,降低分类的准确率及其分类模型的推广能力。支持向量机和最小二乘支持向量机模型都是采用了固定范数的目标函数,这种建立模型的方法不能够很好的适应各种各样的数据结构,从而使得模型的适应能力较弱。为了加强最小二乘支持向量机模型的鲁棒性和稀疏性,增强其推广能力,使模型能够根据数据结构自动进行调整,本文主要开展了以下几个方面的工作: 1.系统整理了文献中对支持向量机模型(SVM)和最小二乘支持向量机模型(LS-SVM)中改进鲁棒性的方法,并指出这些改进模型存在的问题和缺陷。从而得到了本文将要研究的主要问题,即以加强最小二乘支持向量机模型的稀疏性、鲁棒性和可解释性为目的,对原有模型进行了较大的改进,给出了基于最小二乘支持向量机模型的有效二分类算法模型。 2.针对最小二乘支持向量机模型丢失稀疏性和鲁棒性的原因,提出了使用核主成分法对样本数据中存在的噪声特征进行剔除,并借鉴先前的增强最小二乘支持向量机模型稀疏性的方法,对特征进行压缩,给出了一个双层L1范数最小二乘支持向量机模型—KPCA一L1-LS-SVM.通过使用KPCA方法,可以有效的进行特征抽取和提取。同时以L1范数作为目标函数,可以有效的消除噪声点对模型推广能力的影响,并使模型的解更稀疏,从而可以降低计算的复杂度。在仿真数据集和基准数据库上对该模型的测试表明该方法是有效的。 3.在实际的二分类问题中,由于噪声点或者噪声特征的存在使得样本的标签会出现不确定的情况。分类模型应该能够自动判别哪些是相对重要的点,哪些是受噪声点影响较大的样本,从而在分类函数的构造中剔除这种样本。模糊隶属度的概念则可以用来描述样本标签的不确定性。本文采用L1范数作为目标函数以及模糊隶属度的概念可以构造出一个具有稀疏性和鲁棒性的基于最小二乘支持向量机的分类模型—模糊L1-LS-SVM.在测试数据集上的测试表明这个模型同样可以消除噪声点的影响,并具有较好的可解释性。 4.在分类问题中,不同的样本在分类函数的构造中所起的作用是不同的。在分类函数的构造中,样本所包含的判别信息越是重要,相应的样本对分类模型的构造所起的作用就越大。因此,为了区别不同样本对于决策函数构造的不同作用,可以对包含重要信息的样本赋予较大的权重,而包含次要信息的样本所对应的权重就会较小。通过这种赋权的方法也可以消除噪声点对分类模型的影响,使得模型具有鲁棒的特征。无论是支持向量机还是最小二乘支持向量机模型,在目标函数中都使用固定的Lp范数,这是一种基于先验知识的建模方法,不能适应各种各样复杂的数据结构。从模型更好的适应数据的角度出发,本文提出了一个赋权鲁棒最小二乘支持向量机模型—RW-Lp-LS-SVM.在仿真数据集以及UCI基准数据库上的测试表明该模型具有鲁棒性特征,稀疏性好,具有较好的解释能力。 5.信用评估数据库所包含的数据类型比较特殊,其类别比例极不均衡。为了检验本文所提出的三个模型的分类性能,我们使用这三个模型在三个信用数据库上进行测试,所得到的结果说明模型能够较好的适应信用数据库类别不均衡的特点,因而可以作为信用风险评价的备选模型。
【学位授予单位】:中国科学技术大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TP18

【引证文献】
中国期刊全文数据库 前1条
1 赵昌龙;于淼;;数控机床主轴热误差预测模型的修整[J];组合机床与自动化加工技术;2014年07期
中国博士学位论文全文数据库 前1条
1 彭菲菲;网络热点话题发现的关键技术研究[D];中国矿业大学(北京);2012年
中国硕士学位论文全文数据库 前3条
1 刘华;利用结构分解和参数分解的灰箱建模方法建立化学反应器模型[D];北京化工大学;2011年
2 张利芹;聚合反应过程混合建模方法的探讨[D];北京化工大学;2012年
3 王园;基于SVM_AdaBoost模型的上市公司退市预警研究[D];华南理工大学;2013年
【参考文献】
中国期刊全文数据库 前1条
1 ;Credit risk evaluation using adaptive Lq penalty SVM with Gauss kernel[J];Journal of Southeast University(English Edition);2008年S1期
【共引文献】
中国期刊全文数据库 前10条
1 许丽娟;张金恒;李大鹏;姚振旋;吕永亮;田保光;姜肸;;水稻叶绿素敏感波段选择方法的研究[J];山东农业科学;2010年10期
2 庄振华;王年;李学俊;梁栋;王继;;癌症基因表达数据的熵度量分类方法[J];安徽大学学报(自然科学版);2010年02期
3 陈乐;王年;苏亮亮;王蕊平;;基于邻接谱主分量分析的肿瘤分类方法[J];安徽大学学报(自然科学版);2011年04期
4 叶爱霞;王年;苏亮亮;;基于非负矩阵分解和Normal_Matrix的肿瘤基因分类[J];安徽大学学报(自然科学版);2012年03期
5 杨绪兵,韩自存;ε不敏感的核Adaline算法及其在图像去噪中的应用[J];安徽工程科技学院学报(自然科学版);2003年04期
6 陶秀凤,唐诗忠,周鸣争;基于支持向量机的软测量模型及应用[J];安徽工程科技学院学报(自然科学版);2004年02期
7 周金明;;基于连分式插值理论的非线性回归问题[J];安徽工程科技学院学报(自然科学版);2009年03期
8 许高程;张文君;王卫红;;支持向量机技术在遥感影像滑坡体提取中的应用[J];安徽农业科学;2009年06期
9 郭立萍;唐家奎;米素娟;张成雯;赵理君;;基于支持向量机遥感图像融合分类方法研究进展[J];安徽农业科学;2010年17期
10 管翠萍;;药物靶标G蛋白偶联受体的识别预测[J];安徽农业科学;2010年24期
中国重要会议论文全文数据库 前10条
1 ;An effective procedure exploiting unlabeled data to build monitoring system[A];中国科学院地质与地球物理研究所第11届(2011年度)学术年会论文集(下)[C];2012年
2 宋海鹰;桂卫华;阳春华;;基于核偏最小二乘的简约最小二乘支持向量机及其应用研究[A];第二十六届中国控制会议论文集[C];2007年
3 宋海鹰;桂卫华;阳春华;;基于最小二乘支持向量机的Hammerstein-Wiener模型辨识[A];第二十六届中国控制会议论文集[C];2007年
4 ;Inverse System Control of Nonlinear Systems Using LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
5 ;A Novel Kernel PCA Support Vector Machine Algorithm with Feature Transition Function[A];第二十六届中国控制会议论文集[C];2007年
6 ;A Novel Proximal Support Vector Machine and Its Application in Radar Target Recognition[A];第二十六届中国控制会议论文集[C];2007年
7 ;A CDMA Signal Receiver Based on LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
8 吕蓬;柳亦兵;马强;魏于凡;;支持向量机在齿轮智能故障诊断中的应用研究[A];第二十六届中国控制会议论文集[C];2007年
9 ;LS-SVM Based Stable Generalized Predictive Control[A];第二十七届中国控制会议论文集[C];2008年
10 阎纲;梁昔明;龙祖强;李翔;;一种新的提前一步预测控制算法[A];第二十七届中国控制会议论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
2 于化龙;基于DNA微阵列数据的癌症分类技术研究[D];哈尔滨工程大学;2010年
3 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
4 孔凡芝;引线键合视觉检测关键技术研究[D];哈尔滨工程大学;2009年
5 郑大腾;柔性坐标测量机空间误差模型及最佳测量区研究[D];合肥工业大学;2010年
6 李书艳;单点氨基酸多态性与疾病相关关系的预测及其机制研究[D];兰州大学;2010年
7 柏坚;非线性数学地质模型研究及在滇东南金矿成矿预测中的应用[D];中国地质大学(北京);2010年
8 张明;电能质量扰动相关问题研究[D];华中科技大学;2010年
9 姚志明;基于步态触觉信息的身份识别研究[D];中国科学技术大学;2010年
10 章鹏;多尺度特征检测:方法和应用研究[D];中国科学技术大学;2010年
中国硕士学位论文全文数据库 前10条
1 曾传华;基于颜色和纹理特征的竹条分级方法研究[D];华中农业大学;2010年
2 朱杰;一种基于聚类的支持向量机反问题求解算法[D];河北大学;2007年
3 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
4 田文娟;基于支持向量机的人民币序列号识别方法的研究[D];山东科技大学;2010年
5 孟培培;基于3S的土地督察信息系统研究[D];山东科技大学;2010年
6 朱耿峰;支持向量机在冲击地压预测模型中的应用研究[D];山东科技大学;2010年
7 刘倩;关于构建上海市商业性体育赛事市场景气指标体系的研究[D];上海体育学院;2010年
8 李海清;支持向量机在金融市场预测中的应用[D];辽宁师范大学;2010年
9 江达秀;基于HMAX模型的人脸表情识别研究[D];浙江理工大学;2010年
10 李朋勇;基于全矢高阶谱的故障诊断方法及其应用研究[D];郑州大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 岳兰秀;刘丛强;吴丰昌;;水环境中天然溶解有机质分子量的研究现状及意义[J];环境科学与管理;2010年04期
2 赵建国,王子镐,裴永昕,魏寿彭;淤浆法高密度聚乙烯链长分布矩的计算方法[J];北京化工大学学报(自然科学版);2005年02期
3 许兴华;曹柳林;;利用串/并联神经网络建立化学反应器模型[J];北京化工大学学报(自然科学版);2006年04期
4 廖龙飞;王晶;;面向多输出系统的启发式支持向量机回归[J];北京化工大学学报(自然科学版);2011年02期
5 冯芸;刘艳琴;;上市公司退市制度实施效果的实证分析[J];财经研究;2009年01期
6 张帆;卢峥;;自适应抗野值Kalman滤波[J];电机与控制学报;2007年02期
7 童亚拉;彭江;;群智能在网络舆情热点发现及研判机制中的应用分析[J];电脑学习;2010年04期
8 李培强;李欣然;刘艳阳;;基于Lemke优化算法的负荷静态模型参数辨识[J];电力自动化设备;2006年08期
9 吴永辉;王晓龙;丁宇新;徐军;郭鸿志;;基于主题的自适应、在线网络热点发现方法及新闻推荐系统[J];电子学报;2010年11期
10 张强;仝卫国;田沛;;基于RBF神经网络的汽包水位软测量模型研究[J];仪器仪表用户;2006年02期
中国重要会议论文全文数据库 前1条
1 杨文川;德妍;杨巍;林昕光;;数据挖掘中一种机器学习算法的研究[A];2005年全国理论计算机科学学术年会论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 张湜;综合建模方法和先进控制技术在两个化工过程中的应用[D];南京工业大学;2003年
2 杨尔弘;突发事件信息提取研究[D];北京语言大学;2005年
3 蒋刚;核机器学习方法若干问题研究[D];西南交通大学;2006年
4 何清;机器学习与文本挖掘若干算法研究[D];中国科学院研究生院(计算技术研究所);2002年
5 罗瑜;支持向量机在机器学习中的应用研究[D];西南交通大学;2007年
6 李晓光;混合建模方法研究及其在化工过程中的应用[D];北京化工大学;2008年
7 张亮;基于机器学习的信息过滤和信息检索的模型和算法研究[D];天津大学;2007年
8 洪宇;基于语义结构和时序特征的话题检测与跟踪技术研究[D];哈尔滨工业大学;2009年
9 薛贞霞;支持向量机及半监督学习中若干问题的研究[D];西安电子科技大学;2009年
10 王培崇;基于群智能计算技术的网络入侵检测算法研究[D];中国矿业大学(北京);2010年
中国硕士学位论文全文数据库 前10条
1 陈炽文;基于ANFIS组合预测的上市公司财务预警研究[D];华南理工大学;2011年
2 刘华;利用结构分解和参数分解的灰箱建模方法建立化学反应器模型[D];北京化工大学;2011年
3 陈(羽中)伟;基于先验知识的神经元网络建模与应用[D];浙江大学;2002年
4 吴海燕;利用神经网络实现聚合反应分子量分布的建模与控制[D];北京化工大学;2004年
5 何婕;SVM及其在车牌字符识别中的运用[D];四川大学;2005年
6 彭娟娟;数据校正技术若干问题的研究和应用[D];浙江大学;2006年
7 张鲁琰;30%阳离子度PDA聚合反应工艺初步研究[D];南京理工大学;2007年
8 罗亚平;基于用户浏览行为的网络热点话题发现模型研究[D];北京邮电大学;2008年
9 彭菲菲;网络资源聚合技术的研究与应用[D];山东科技大学;2009年
10 黄喆;基于RBF神经网络的上证指数预测研究[D];中国科学技术大学;2009年
【二级引证文献】
中国期刊全文数据库 前1条
1 雷晓义;曹柳林;余晋;;回声状态网络的递推训练算法[J];北京化工大学学报(自然科学版);2013年02期
中国硕士学位论文全文数据库 前2条
1 张利芹;聚合反应过程混合建模方法的探讨[D];北京化工大学;2012年
2 徐钰梨;高校BBS热点话题的形成特点及制造模型研究[D];浙江大学;2013年
【相似文献】
中国期刊全文数据库 前10条
1 田盛丰,黄厚宽;基于支持向量机的数据库学习算法[J];计算机研究与发展;2000年01期
2 张铃;支持向量机理论与基于规划的神经网络学习算法[J];计算机学报;2001年02期
3 阎辉,张学工,李衍达;支持向量机与最小二乘法的关系研究[J];清华大学学报(自然科学版);2001年09期
4 朱国强,刘士荣,俞金寿;支持向量机及其在函数逼近中的应用[J];华东理工大学学报;2002年05期
5 侯风雷,王炳锡;基于支持向量机的说话人辨认研究[J];通信学报;2002年06期
6 马永军,方凯,刘暾东,方廷健;基于支持向量机和方差的管道内表面粗糙度等级识别[J];信息与控制;2002年05期
7 吴飞,庄越挺,潘云鹤;基于增量学习支持向量机的音频例子识别与检索[J];计算机研究与发展;2003年07期
8 孙延风,梁艳春;支持向量机的数据依赖型核函数改进算法[J];吉林大学学报(理学版);2003年03期
9 朱永生,张优云;支持向量机分类器中几个问题的研究[J];计算机工程与应用;2003年13期
10 朱家元,吴伟,张恒喜,董彦非;一种新型的多元分类支持向量机[J];计算机工程;2003年17期
中国重要会议论文全文数据库 前10条
1 林杰华;张斌;李冬森;宋华茂;余志强;王浩;;支持向量机在电力客户信用评级中的应用[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
2 蒋铁军;张怀强;李积源;;多变量系统预测的支持向量机方法研究[A];管理科学与系统科学研究新进展——第7届全国青年管理科学与系统科学学术会议论文集[C];2003年
3 黄淑云;孙兴玉;梁汝萍;邱建丁;;基于小波支持向量机预测蛋白质亚细胞定位研究[A];第十一届全国计算(机)化学学术会议论文摘要集[C];2011年
4 谢湘;匡镜明;;支持向量机在语音识别中的应用研究[A];现代通信理论与信号处理进展——2003年通信理论与信号处理年会论文集[C];2003年
5 涂冬成;薛龙;刘木华;赵进辉;沈杰;吁芳;;基于支持向量机的鹅肉肉色客观评定研究[A];中国农业工程学会电气信息与自动化专业委员会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会论文摘要[C];2010年
6 杨凌;刘玉树;;基于支持向量机的坦克识别算法[A];第三届全国数字成像技术及相关材料发展与应用学术研讨会论文摘要集[C];2004年
7 师旭超;巴松涛;;基于支持向量机方法的深基坑变形预测[A];科技、工程与经济社会协调发展——河南省第四届青年学术年会论文集(上册)[C];2004年
8 张军;;支持向量机方法在地下水位干扰排除中的初步应用[A];2007年地震流体学术研讨会论文摘要集[C];2007年
9 许建生;盛立东;;基于改进的支持向量机和BP神经网络的识别算法[A];第八届全国汉字识别学术会议论文集[C];2002年
10 荣海娜;张葛祥;张翠芳;;基于支持向量机的非线性系统辨识方法[A];中国自动化学会、中国仪器仪表学会2004年西南三省一市自动化与仪器仪表学术年会论文集[C];2004年
中国重要报纸全文数据库 前10条
1 课题主持人 李心丹 课题协调人 上海证券交易所 施东晖 傅浩 课题研究员 宋素荣 查晓磊 宾红辉 张许宏 郭静静 黄隽 南京大学工程管理学院;内幕交易与市场操纵的行为动机与判别监管研究[N];中国证券报;2007年
2 李水根;计算机详解配伍与药效关系[N];健康报;2005年
3 清华大学 苏光大;非接触式人脸识别技术[N];计算机世界;2006年
4 YMG记者 李仁 通讯员 曲华明 孙运智;我市九项目进入省“盘子”[N];烟台日报;2010年
5 上海大学理学院教授、副院长 陆文聪;酷爱化学 孜孜以求[N];中国化工报;2006年
6 ;选择合适的数据挖掘算法[N];计算机世界;2007年
7 周颖;王米渠与中医心理学[N];中国中医药报;2006年
8 记者 张云普通讯员 全攀峰 安强强;大庆物探深度域地震资料岩性解释技术获得五大突破[N];中国石油报;2008年
9 本报记者 冯治恩;敢与“雷公”试比高[N];铜川日报;2008年
10 记者 耿挺;蛋白质功能算出来[N];上海科技报;2007年
中国博士学位论文全文数据库 前10条
1 刘叶青;原始空间中支持向量机若干问题的研究[D];西安电子科技大学;2009年
2 常甜甜;支持向量机学习算法若干问题的研究[D];西安电子科技大学;2010年
3 胡运红;支持向量机的若干算法研究[D];山东科技大学;2011年
4 周喜川;非可信环境下的支持向量机研究[D];浙江大学;2010年
5 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
6 王开义;基于支持向量机的农产品生产关键控制点发现研究[D];北京工业大学;2011年
7 王超;三类不确定支持向量机及其应用[D];河北大学;2013年
8 杜小芳;基于CPFR的农产品采购模型研究[D];华中科技大学;2005年
9 刘育明;动态过程数据的多变量统计监控方法研究[D];浙江大学;2006年
10 栾锋;支持向量机(SVM)和径向基神经网络(RBFNN)方法在化学、环境化学和药物化学中的应用研究[D];兰州大学;2006年
中国硕士学位论文全文数据库 前10条
1 刘艳伟;支持向量机方法在感潮河段洪峰水位预报中的应用[D];浙江大学;2010年
2 杨镭;支持向量机算法设计及在高分辨雷达目标识别中的应用[D];国防科学技术大学;2010年
3 童振;基于支持向量机的电解液成分预测[D];东北大学;2008年
4 聂小芳;模糊粗糙集与支持向量机在煤与瓦斯突出预测中的应用研究[D];辽宁工程技术大学;2009年
5 鄢常亮;基于支持向量机的高炉向凉向热炉况预测研究[D];内蒙古科技大学;2010年
6 韩叙东;基于支持向量机的水电故障分类器的设计与实现[D];东北大学;2008年
7 冯杰;慢时变对象的支持向量机建模与在线校正方法研究[D];东北大学;2009年
8 朱耿峰;支持向量机在冲击地压预测模型中的应用研究[D];山东科技大学;2010年
9 王奇安;基于广泛内核的CVM算法研究及参数C的选择[D];南京航空航天大学;2009年
10 张永新;基于支持向量机和遗传算法相结合的模拟电路故障诊断方法研究[D];东北大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026