收藏本站
《大连理工大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

半监督学习方法研究及在警用平台中的应用

黄明明  
【摘要】: 随着信息时代数据收集和存储能力的极大提高,人们必须面对和处理海量数据,如何对这些数据进行分析和发掘,成为信息领域的共同需求。在实际问题中,如文本分类、生物复杂信息处理、人脸识别等,这些海量数据往往是无标记的,而有标记的数据是十分有限的。传统的监督学习和无监督学习都不能很好的解决这类问题,监督学习仅仅使用少量的标记样本进行训练,则浪费了大量的无标记样本中隐藏的信息,很难训练出高性能的分类器;无监督学习仅仅使用未标记样本进行聚类,则浪费了标记样本中所提供的有用信息。作为解决这一问题的关键技术,半监督学习受到了国际机器学习和数据挖掘界的高度重视。其主要思想是存在大量未标记数据的情况下,如何利用它们隐藏的有用信息辅助已标记数据改善学习性能。 本文探讨的是鲁棒半监督学习算法,在存在噪声的情况下,提高学习的性能。首先对半监督分类算法中典型的Gaussian-Laplacian正则化算法进行分析,针对该算法中目标函数的最小二乘准则对噪声敏感的特点,结合信息论的相关熵准则,提出了一种基于最大相关熵准则的鲁棒半监督学习算法。在该算法的目标函数中使用Welsch M估计量替换了原目标函数中的最小二乘。由于提出的目标函数是非线性的,解空间也是非线性的,难以求解。本文继而提出了基于半二次优化算法的局部贪婪算法求解,并且证明了算法的收敛性,将复杂的求解过程转换为迭代方法求解。在每次迭代中,复杂的信息论目标函数被简化为标准的半监督学习问题,贪婪算法逐步增加目标函数,直至收敛。在典型的机器学习数据集上的仿真实验结果表明,该算法和Gaussian-Laplacian正则化算法相比,能有效处理半监督学习中的误标签噪声和图像噪声。 本文将提出的算法应用到大连市公安局警用平台的实际项目中,该项目是对警用平台的数据库进行全文检索。结合警用平台的业务背景,把半监督学习算法应用到预处理模块中,即在进行全文检索之前首先将中文文本划分成不同主题,然后在确定的主题中进行检索,这样能减少检索的文本数量,从而缩短了检索的时间,提高了系统的可用性。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 周志华;;半监督学习专刊前言[J];软件学报;2008年11期
2 刘蓉;李红艳;;半监督学习研究与应用[J];软件导刊;2010年08期
3 陈武锦;;半监督学习研究综述[J];电脑知识与技术;2011年16期
4 梁吉业;高嘉伟;常瑜;;半监督学习研究进展[J];山西大学学报(自然科学版);2009年04期
5 唐晓亮;韩敏;;一种基于极端学习机的半监督学习方法[J];大连理工大学学报;2010年05期
6 李欢;;半监督学习及其在数据挖掘中的应用[J];电脑知识与技术;2010年27期
7 崔鹏;;一种用于半监督学习的核优化设计[J];软件工程师;2013年09期
8 王艳华;杨志豪;李彦鹏;唐利娟;林鸿飞;;基于监督学习和半监督学习的蛋白质关系抽取[J];江西师范大学学报(自然科学版);2013年04期
9 梅松青;;基于自适应图的半监督学习方法[J];计算机系统应用;2014年02期
10 李燕萍;唐振民;丁辉;张燕;;半监督学习机制下的说话人辨认算法[J];计算机工程;2009年14期
11 王劲松;陈哲;冯静兰;顾明亮;;半监督学习对十个口述数字的识别[J];电声技术;2010年04期
12 郭利强;;网络博客空间中基于半监督学习的垃圾评论检测[J];图书情报工作;2012年04期
13 张燕;张晨光;张夏欢;;基于改进图半监督学习的个人信用评估方法[J];计算机科学与探索;2012年05期
14 陈可佳;韩京宇;郑正中;;半监督学习在链接预测问题中的应用[J];计算机工程与应用;2012年33期
15 周志华;;基于分歧的半监督学习[J];自动化学报;2013年11期
16 武永成;;一种基于半监督学习的非平衡分类算法[J];湖北民族学院学报(自然科学版);2013年04期
17 柳斌;李之棠;涂浩;;基于半监督学习的应用流分类方法[J];微电子学与计算机;2010年08期
18 黎铭;周志华;;基于多核集成的在线半监督学习方法[J];计算机研究与发展;2008年12期
19 曹慧;刘玉峰;;未标记样本在半监督学习中的应用方法研究[J];广西轻工业;2008年12期
20 朱明旱;邵湘怡;罗大庸;;人脑半监督学习机理分类法[J];中国图象图形学报;2011年11期
中国重要会议论文全文数据库 前10条
1 柳斌;李之棠;涂浩;;基于半监督学习的应用流分类方法[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年
2 葛荐;马廷淮;;基于集成算法的半监督学习研究[A];第29届中国数据库学术会议论文集(B辑)(NDBC2012)[C];2012年
3 赵玲玲;周水生;王雪岩;;基于集成算法的半监督学习[A];第十四届全国信号处理学术年会(CCSP-2009)论文集[C];2009年
4 谷方明;刘大有;王新颖;;基于半监督学习的加权支持向量域数据描述方法[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
5 冯瑞;宋春林;;一种基于局部学习的复杂系统建模方法[A];2007中国控制与决策学术年会论文集[C];2007年
6 陈耀东;王挺;陈火旺;;半监督学习和主动学习相结合的浅层语义分析[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
7 邱慧宁;黄剑;陈羽;赖剑煌;;基于UDP的半监督学习及其在人脸识别的应用[A];第十四届全国图象图形学学术会议论文集[C];2008年
8 杨源;马云龙;林鸿飞;;基于权重标准化SimRank与半监督学习的产品属性归类[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
9 王倩影;冯国灿;汤鑫;;δ-距离及其在半监督增强中的应用[A];第十五届全国图象图形学学术会议论文集[C];2010年
10 林良宪;利德江;蔡孟璇;邱政贤;;针对小样本分类的半监督式学习法[A];第25届全国灰色系统会议论文集[C];2014年
中国博士学位论文全文数据库 前10条
1 徐雪;样本的几何信息在半监督学习中的应用研究[D];中国科学技术大学;2010年
2 孔怡青;半监督学习及其应用研究[D];江南大学;2009年
3 兰远东;基于图的半监督学习理论、算法及应用研究[D];华南理工大学;2012年
4 唐晓亮;基于神经网络的半监督学习方法研究[D];大连理工大学;2009年
5 余国先;高维数据上的半监督学习研究[D];华南理工大学;2013年
6 潘俊;基于图的半监督学习及其应用研究[D];浙江大学;2011年
7 王娇;多视图的半监督学习研究[D];北京交通大学;2010年
8 桂杰;基于图的半监督学习和维数约简方法及其应用研究[D];中国科学技术大学;2010年
9 薛贞霞;支持向量机及半监督学习中若干问题的研究[D];西安电子科技大学;2009年
10 吕佳;基于局部学习的半监督分类问题研究[D];内蒙古大学;2012年
中国硕士学位论文全文数据库 前10条
1 刘伟涛;半监督学习方法及应用研究[D];山东大学;2011年
2 陈新勇;基于核策略的半监督学习方法研究[D];河北大学;2010年
3 冯元佶;基于图的半监督学习的改进研究[D];湘潭大学;2010年
4 黄明明;半监督学习方法研究及在警用平台中的应用[D];大连理工大学;2010年
5 易星;半监督学习若干问题的研究[D];清华大学;2004年
6 余养强;半监督学习若干问题的研究[D];福建师范大学;2010年
7 梁;基于多目标函数改进的多核学习在半监督学习和迁移学习场景中的应用[D];中山大学;2011年
8 杨伟;半监督学习方法研究[D];国防科学技术大学;2011年
9 张长帅;基于图的半监督学习及其应用研究[D];南京航空航天大学;2011年
10 惠成峰;基于半监督学习的电子商务推荐方法[D];南京大学;2013年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978