收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

支持向量机在机器学习中的应用研究

罗瑜  
【摘要】: 近十年来,基于统计学习理论的支持向量机方法逐渐成为机器学习的重要研究方向。与传统的基于经验风险最小化原则的学习方法不同,支持向量机基于结构风险最小化,能在训练误差和分类器容量之间达到一个较好的平衡,它具有全局最优、适应性强、推广能力强等优点。但是直到目前为止,支持向量机方法还存在一些问题,例如训练时间过长、核参数的选择等,成为限制支持向量机应用的瓶颈。本文的研究主要围绕以上两个问题展开,研究结果在多个国际通用的基准数据集上进行验证。 论文的主要成果如下: 1)系统地研究了支持向量机的训练方法。目前支持向量机的训练算法是以序贯最小最优化(SMO)为代表的,其中工作集的选择是实现SMO算法的关键。本文对基于Zoutendijk最大下降方向法和函数逼近的工作集选择方式进行了总结和整理,并对这种选择策略重新进行了严格的数学推导。研究指出,当二次规划问题的Gram矩阵在非正定的情况下,目前存在的工作集选择算法存在某些不足。 2)对于大规模训练集的缩减研究。支持向量机在小样本情况下具有优于别的机器学习算法的性能,但并不意味着支持向量机只限于应用在小样本情况。现实中的问题大多具有大规模的样本,虽然目前有了以SMO为代表的快速训练算法,但对于大规模训练集仍然存在训练时间过长的缺点,不能满足实时性的要求。本文根据支持向量的几何分布,提出了在原输入空间和高维映射空间中预选支持向量的两种方法。原输入空间预选支持向量方法是受启发于最近邻规则,通过与支持向量的几何分布结合,使用Delaunay三角网络寻求包含支持向量的边界集的原理。受聚类方法的启发,基于样本类别质心的方法实现了高维特征空间支持向量的预选。实验证明这两种支持向量预选策略是有效的,在大幅缩减训练时间的同时基本不损失SVM的推广能力和预测性能。 3)对支持向量机模型选择的研究。支持向量机通过核函数将样本从输入空间映射到高维特征空间(Hilbert空间),从而实现在特征空间中寻求线性判别超平面。但是,不同的核对应着不同的特征空间,而支持向量机的训练结果在不同的核映射下往往有不同的效果。本文通过对像集线性可分程度和模型复杂程度的估计,寻找可以使学习机器具有良好推广能力的特征空间,并以此为标准实现核的选择。特征空间确定之后,分析惩罚因子与间隔宽度之间的关系,通过间隔宽度实现对惩罚因子的选择。本文的模型选择方法并不寻求核函数、惩罚因子与学习机器推广能力之间的解析表达式,而是以间接的方法估计参数对学习机器推广能力的影响,指导模型的选择。 4)对机器学习的实际应用的研究。本文对机器学习的重要问题——人脸识别进行了研究,提出了一种基于关键部件的人脸识别方法。由于一对余多类分类算法缺乏理论上的依据,本文以后验概率作为支持向量机的输出,实现了以相似度为判别标准的多类分类算法。对ORL和YALE人脸图像数据库进行仿真实验,结果表明,该方法具有对表情、姿态以及角度的变化具有较好的鲁棒性。本文研究了SVM在金融领域的一个典型应用——个人信用评估,主要探讨了基于SVM的特征选择和提取方法(遗传算法和主分量分析法)的实际应用效果。实证分析表明,小样本信用数据下SVM的准确度和推广性能显著好于BP神经网络;基于遗传算法的SVM能使银行检测出信用评级的关键决定因素。这对于我国银行进行个人信用评价具有重要的现实意义。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李兵;林文钊;罗峥尹;;基于机器学习的智慧农业决策系统设计与实现[J];信息与电脑(理论版);2018年24期
2 舒娜;刘波;林伟伟;李鹏飞;;分布式机器学习平台与算法综述[J];计算机科学;2019年03期
3 朱辉;;机器学习在企业级场景中的实践与探讨[J];中国建设信息化;2018年03期
4 彭传意;;机器学习——我们该如何与机器竞争[J];数字通信世界;2018年01期
5 陈轶翔;埃里克·布伦乔尔森;汤姆·米切尔;;机器学习的能力范围及其对劳动力的影响[J];世界科学;2018年04期
6 赵长林;;机器学习即服务[J];网络安全和信息化;2017年10期
7 ;机器学习作用于信息安全的五大顶级案例[J];网络安全和信息化;2018年01期
8 吴承杨;;2018年来说说机器学习[J];软件和集成电路;2018年05期
9 宋雯博;;大数据下的机器学习的应用趋势[J];电脑迷;2018年09期
10 吴炜;孙强;;应用机器学习加速新材料的研发[J];中国科学:物理学 力学 天文学;2018年10期
11 宋明成;;机器学习隐私的安全隐患[J];计算机与网络;2018年16期
12 游思奇;;解读机器学习与深度学习的发展及应用[J];计算机产品与流通;2018年05期
13 黄乃静;于明哲;;机器学习对经济学研究的影响研究进展[J];经济学动态;2018年07期
14 李炜;;机器学习概述[J];科技视界;2017年12期
15 詹骐源;;机器学习的发展史及应用前景[J];科技传播;2018年21期
16 张维;王玥;罗珅;;基于分布式计算框架的大数据机器学习[J];数字技术与应用;2018年09期
17 徐林;;基于机器学习思想的非线性方程组求解[J];黑龙江工程学院学报;2016年06期
18 ;《软件学报》复杂环境下的机器学习研究专刊征文通知[J];软件学报;2017年01期
19 ;机器学习如何助力安全[J];计算机与网络;2017年06期
20 夏天;;机器学习及其算法与应用研究[J];电脑知识与技术;2017年15期
中国重要会议论文全文数据库 前10条
1 王珏;;归纳机器学习[A];2001年中国智能自动化会议论文集(上册)[C];2001年
2 王衍鲁;张利会;张淑洁;石洁茹;王鹏;;大学新生学校适应的个体与环境因素探究:基于机器学习的考察[A];第二十届全国心理学学术会议--心理学与国民心理健康摘要集[C];2017年
3 张长水;;大数据机器学习[A];2015年中国自动化大会摘要集[C];2015年
4 何琳;侯汉清;;基于标引经验和机器学习相结合的多层自动分类[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
5 李刚;郭崇慧;林鸿飞;杨志豪;唐焕文;;基于词典法和机器学习法相结合的蛋白质名识别[A];大连理工大学生物医学工程学术论文集(第2卷)[C];2005年
6 徐礼胜;李乃民;王宽全;张冬雨;耿斌;姜晓睿;陈超海;罗贵存;;机器学习在中医计算机诊断识别系统中的应用思考[A];第一届全国中西医结合诊断学术会议论文选集[C];2006年
7 吴沧浦;;智能系统与机器学习的新领域[A];西部大开发 科教先行与可持续发展——中国科协2000年学术年会文集[C];2000年
8 蔡健平;林世平;;基于机器学习的词语和句子极性分析[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
9 吴娜;刁联旺;;基于机器学习的博弈对抗模型优化框架软件系统设计[A];第六届中国指挥控制大会论文集(上册)[C];2018年
10 吴向华;;机器学习在钢厂能耗分析中的应用[A];中国计量协会冶金分会2018年会论文集[C];2018年
中国博士学位论文全文数据库 前10条
1 陈再毅;机器学习中的一阶优化算法收敛性研究[D];中国科学技术大学;2018年
2 王磊;基于机器学习的药物—靶标相互作用预测研究[D];中国矿业大学;2018年
3 张庆;钙钛矿型功能材料的基因组工程研究[D];上海大学;2018年
4 管月;医学肿瘤影像分类算法研究及其在肝癌上的应用[D];南京大学;2018年
5 郝小可;基于机器学习的影像遗传学分析及其应用研究[D];南京航空航天大学;2017年
6 施建明;基于机器学习的产品剩余寿命预测方法研究[D];中国科学院大学(中国科学院遥感与数字地球研究所);2018年
7 张庆庆;基于机器学习的文本情感分类研究[D];西北工业大学;2016年
8 窦贤明;机器学习方法在陆地生态系统碳水通量模拟中的应用研究[D];中国矿业大学;2018年
9 鲁路;基于机器学习优化分子对接筛选肾衰营养胶囊有效成分[D];南方医科大学;2017年
10 王泉德;机器学习及其在多Agent对策学习中的应用研究[D];武汉大学;2005年
中国硕士学位论文全文数据库 前10条
1 魏伟;基于商品评论的情感分析研究[D];中南民族大学;2018年
2 李洪林;基于决策树的防火墙设计与实现[D];大连海事大学;2018年
3 周倩;求解大规模机器学习问题的优化方法[D];贵州大学;2018年
4 李坤;基于机器学习的蛋白质复合体精确识别研究[D];福州大学;2017年
5 么跃轩;汽车电动座椅调整机械手的视觉跟踪与机器学习[D];燕山大学;2018年
6 戴维思;基于机器学习的文本分类算法改进与实现[D];北京工业大学;2018年
7 欧阳晟;基于Storm与在线机器学习的广告点击率预测的研究[D];武汉理工大学;2016年
8 赵亚飞;基于机器学习方法的有限元应力解的改善研究[D];内蒙古工业大学;2018年
9 祝雨雷;计算流体力学与机器学习在主动脉缩窄及主动脉瓣狭窄患者评估中的临床应用研究[D];华南理工大学;2018年
10 陈亦辉;基于机器学习的上海市大气污染源解析研究[D];华东师范大学;2018年
中国重要报纸全文数据库 前10条
1 CIO.com资深作家 Clint Boulton 编译 Charles;领先一步:机器学习的10个成功案例[N];计算机世界;2018年
2 Bob Violino 编译 Charles;盲目冒进:机器学习的5个失败案例[N];计算机世界;2018年
3 本报驻波士顿记者 侯丽;深入挖掘机器学习潜力[N];中国社会科学报;2019年
4 王方 编译;菌自何方 机器学习早知道[N];中国科学报;2019年
5 Matt Asay 编译 Monkey King;为什么机器学习没有捷径可循?[N];计算机世界;2019年
6 本报记者 操秀英;当量子计算遇到机器学习会碰撞出什么火花?[N];科技日报;2019年
7 彭博企业数据业务全球负责人 Gerard Francis;金融数据质量决定机器学习时代的投资回报[N];计算机世界;2019年
8 360 IoT研究院院长 李康;从机器学习到机器创造[N];中国信息化周报;2017年
9 谢静;机器学习帮助用户释放数据价值[N];人民邮电;2018年
10 Mary Branscombe 编译 范范;关于机器学习的9大误区[N];计算机世界;2018年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978