收藏本站
《浙江大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

基于图的半监督机器学习

胡崇海  
【摘要】: Over the past few years, semi-supervised learning has gained considerable interest and success in both theory and practice. Traditional supervised machine learning algorithms can only make use of labeled data, and reasonable performance is often achieved only with a large number of labeled data. However, labeled data is often expensive and time consuming to collect, while unlabeled data is usually cheaper and easier to obtain. The strength of semi-supervised learning lies in its ability to utilize a large quantity of unlabeled data to effectively and efficiently improve learning performance. Recently, graph-based semi-supervised learning algorithms are being intensively studied, thanks to its convenient local representation, connection with other models like kernel machines. Graph Laplacian is the central quantity of graph-based semi-supervised learning, which plays a role in exploring the underlying manifold geometry of the data. Using graph Laplacian to form the regularization problem and further employing the kernel techniques is a promising approach of semi-supervised learning. The author first introduce the basic concepts of semi-supervised learning, as well as the utilized tools and theory, such as support vector machines, kernel methods and regularization theory. The main contributions of this thesis are mainly presented in chapter 5 and chapter 6. In chapter 5, the author first investigate a class of graph-based semi-supervised learning methods by spectral transformation. Then the formulation of semi-supervised spectral kernel learning based on maximum margin criterion with spectral decreasing order constraints is formed, and he also maintain that the maximum margin criterion is a more essential goal of semi-supervised kernel learning than kernel target alignment by theoretical analysis. By equivalently transforming the resulted intractable optimization problem into a quadratically constrained quadratic programming, the problem can be efficiently solved. Moreover, the author also propose a method to automatically tune the involved trade-off parameter. Furthermore, the author seek another way to learn the spectral coefficients from a more essential view. Due to the fact that the spectral order constraints are actually not hard requirements but only for the purpose of ensuring the smoothness of the score function, the author leaves out those constraints by directly including the smoothness regularizer into the maximum margin objective, which coincides with the theory of manifold regularization. Its efficient iterative algorithm is also designed next. Experimental results on real-world data sets have demonstrated that both of his proposed spectral learning methods achieve promising results against other approaches. Motivated by the requirements of many practical problems, in chapter 6 the author turns to study the problem of semi-supervised learning with structured outputs, which is a more general topic than the standard semi-supervised learning. By extending the definition of smoothness regularizer to multi-class setting, he next explore the multi-class semi-supervised classification. Although the obtained data dependent kernel similar to that of Sindhwani et al., his multi-class model really extend the theory of theirs. Still next, the author further generalize the multi-class manifold regularization problem to the scenario with structured outputs, and the corresponding dual problems are also obtained. From the dual formulations, we can find that the semi-supervised learning task finally can be achieved by the supervised structural prediction with a newly defined "data dependent joint kernel matrix". This data dependent kernel matrix generalizes that of Sindhwani et al. to structural prediction. Moreover, his proposed inductive approach can naturally predict the unseen data points other than the unlabeled data. Some experiments on text categorization with hierarchies are conducted, and the empirical results show his approaches actually utilize the structural and manifold information of the data simultaneously, and finally help us to improve the prediction performance. As a supplement, the author also proposes the concept of joint Laplacian, which shares the similar properties of standard Laplacian matrix.
【学位授予单位】:浙江大学
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TP181

知网文化
【引证文献】
中国博士学位论文全文数据库 前4条
1 渐令;基于核的学习算法与应用[D];大连理工大学;2012年
2 吕佳;基于局部学习的半监督分类问题研究[D];内蒙古大学;2012年
3 高恒振;高光谱遥感图像分类技术研究[D];国防科学技术大学;2011年
4 尹学松;半监督聚类分析策略设计及其拓展性研究[D];南京航空航天大学;2009年
中国硕士学位论文全文数据库 前3条
1 马霜逊;基于标签传播的PU学习算法研究[D];兰州大学;2017年
2 刘施涛;基于子空间分离和先验知识的过程监测方法研究[D];东北大学;2015年
3 王伟;带缺失数据的半监督图学习[D];华南理工大学;2011年
【同被引文献】
中国博士学位论文全文数据库 前10条
1 杜伟;机器学习及数据挖掘在生物信息学中的应用研究[D];吉林大学;2011年
2 马洁;蛋白质组肽段鉴定质量控制方法的研究与应用[D];中国人民解放军军事医学科学院;2010年
3 桂杰;基于图的半监督学习和维数约简方法及其应用研究[D];中国科学技术大学;2010年
4 陈进;高光谱图像分类方法研究[D];国防科学技术大学;2010年
5 王淑琴;机器学习方法及其在生物信息学领域中的应用[D];吉林大学;2009年
6 邵晨;机器学习方法预测蛋白质相互作用应用Logistic回归提高质谱多肽鉴定的准确度[D];中国协和医科大学;2008年
7 胡崇海;基于图的半监督机器学习[D];浙江大学;2008年
8 赵敏;高炉冶炼过程的复杂性机理及其预测研究[D];浙江大学;2008年
9 苏令华;高光谱图像压缩技术研究[D];国防科学技术大学;2007年
10 罗世华;高炉冶炼过程的分形特征辨识及其应用研究[D];浙江大学;2006年
中国硕士学位论文全文数据库 前3条
1 邓银燕;缺失数据的填充方法研究及实证分析[D];西北大学;2010年
2 占惠融;基于图的半监督学习算法研究[D];华中科技大学;2009年
3 郭辉;基于ICA的工业过程监控研究[D];北京化工大学;2006年
【二级引证文献】
中国博士学位论文全文数据库 前10条
1 邵远杰;基于稀疏表达图的高光谱图像半监督分类方法研究[D];华中科技大学;2018年
2 张丽丽;基于空谱联合特性的高光谱图像异常目标检测算法研究[D];哈尔滨工程大学;2018年
3 饶萍;基于补偿模糊神经网络的遥感图像信息提取[D];西南大学;2017年
4 吴应江;基于多核学习的疑似AD脑MRI影像分类算法[D];贵州大学;2017年
5 吕启;基于深度学习的遥感图像分类关键技术研究[D];国防科学技术大学;2016年
6 亓呈明;基于多核学习的高光谱遥感影像分类方法研究[D];中国地质大学(北京);2016年
7 毕晓佳;高光谱遥感协同处理黑刺沟岩矿蚀变信息方法研究[D];成都理工大学;2016年
8 罗甫林;高光谱图像稀疏流形学习方法研究[D];重庆大学;2016年
9 吴嵩;典型黑土区土壤有机质含量反演研究[D];吉林大学;2016年
10 崔建涛;高光谱遥感图像解混技术研究[D];浙江大学;2015年
【相似文献】
中国期刊全文数据库 前10条
1 Tao Yang;Dongmei Fu;;Semi-supervised classification based on p-norm multiple kernel learning with manifold regularization[J];Journal of Systems Engineering and Electronics;2016年06期
2 Hong Wei SUN;Ping LIU;;The Optimal Solution of Multi-kernel Regularization Learning[J];Acta Mathematica Sinica;2013年08期
3 ;Convergence rate of kernel canonical correlation analysis[J];Science China(Mathematics);2011年10期
4 武征鹏;张学工;;弹性多核学习(英文)[J];自动化学报;2011年06期
5 武威;李航;胡云华;金榕;;A Kernel Approach to Multi-Task Learning with Task-Specific Kernels[J];Journal of Computer Science & Technology;2012年06期
6 CAO Fei-long;WANG Chang-miao;;Approximating and learning by Lipschitz kernel on the sphere[J];Applied Mathematics:A Journal of Chinese Universities(Series B);2014年02期
7 ;Application of kernel methods in signals modulation classification[J];The Journal of China Universities of Posts and Telecommunications;2011年01期
8 ;SAR images classification method based on Dempster-Shafer theory and kernel estimate[J];Journal of Systems Engineering and Electronics;2007年02期
9 ;Bochner-Martinelli formula with discrete holomorphic kernel[J];Chinese Science Bulletin;1997年06期
10 ;Bergman kernel function on Hua Construction of the second type[J];Science in China,Ser.A;2005年S1期
中国重要会议论文全文数据库 前10条
1 WANG Tiebing;Xu Shenda;Cheng Chuxiong;;A New Classification Algorithm Based on Multi-kernel Support Vector Machine on Infrared Cloud Background Image[A];国防光电子论坛第二届新型探测技术及其应用研讨会论文集[C];2015年
2 曹东升;许青松;梁逸曾;;Exploring the nonlinear relationship in the chemical data using the kernel-based methods[A];第十一届全国计算(机)化学学术会议论文摘要集[C];2011年
3 刘坤;王建国;唐芃;;基于Kernel密度推定法的城市居住空间形成研究[A];多元与包容——2012中国城市规划年会论文集(06.住房建设与社区规划)[C];2012年
4 Xiaoxiao Sun;Tongtong Liu;Kai Liu;Xixian Duan;Xuerong Wang;Qiaoling Wang;Yuling An;Xin Guan;Ji-Chun Tian;Jian-Sheng Chen;;Genetic dissection of wheat kernel hardness using conditional QTL mapping of kernel size and protein-related traits[A];第八届全国小麦基因组学及分子育种大会摘要集[C];2017年
5 ;Bioprocess Soft Sensing Based on Multiple Kernel Support Vector Machine[A];Proceedings of the 2011 Chinese Control and Decision Conference(CCDC)[C];2011年
6 Yu Qin;Xiaoyong Bian;Yuxia Sheng;;Multiple Kernel Learning for Representation-based Classification of Hyperspectral Images[A];第30届中国控制与决策会议论文集(3)[C];2018年
7 Song Fan;Li Min Zhang;Jia Wang;;Independent Component Analysis with Application to Hot Galvanizing Pickling Waste Liquor Treatment Process[A];第36届中国控制会议论文集(E)[C];2017年
8 Heng Guo;Wenqing Wang;Qifu Fan;Zhengxin Weng;;Semi-supervised Learning with Flexible Discriminator Objective in Generative Adversarial Networks Framework[A];第37届中国控制会议论文集(F)[C];2018年
9 Penghua Li;Fen Zhao;Yuanyuan Li;Ziqin Zhu;;Law Text Classification Using Semi-supervised Convolutional Neural Networks[A];第30届中国控制与决策会议论文集(1)[C];2018年
10 Xiukuan Zhao;Baiqi Ning;Gangbing Song;;An Effective Active Semi-supervised Learning Method Based on Manifold Regularization[A];中国科学院地质与地球物理研究所2013年度(第13届)学术论文汇编——科技支撑系统[C];2014年
中国重要报纸全文数据库 前10条
1 Isaac Sacolick 编译 Charles;关于机器学习的5个要点[N];计算机世界;2019年
2 记者 张梦然;全新算法助机器学习抵抗干扰[N];科技日报;2019年
3 惠赞瑾;《科学向左,科幻向右》:机器学习即将成为现实[N];中国会计报;2019年
4 CIO.com资深作家 Clint Boulton 编译 Charles;领先一步:机器学习的10个成功案例[N];计算机世界;2018年
5 Bob Violino 编译 Charles;盲目冒进:机器学习的5个失败案例[N];计算机世界;2018年
6 本报驻波士顿记者 侯丽;深入挖掘机器学习潜力[N];中国社会科学报;2019年
7 王方 编译;菌自何方 机器学习早知道[N];中国科学报;2019年
8 Matt Asay 编译 Monkey King;为什么机器学习没有捷径可循?[N];计算机世界;2019年
9 本报记者 操秀英;当量子计算遇到机器学习会碰撞出什么火花?[N];科技日报;2019年
10 彭博企业数据业务全球负责人 Gerard Francis;金融数据质量决定机器学习时代的投资回报[N];计算机世界;2019年
中国博士学位论文全文数据库 前10条
1 胡崇海;基于图的半监督机器学习[D];浙江大学;2008年
2 解应春;基于Kernel学习机的建模与分类的应用算法研究[D];浙江大学;2003年
3 Xu Luomai;[D];广东外语外贸大学;1999年
4 Kashif Sultan(克希夫);5G移动通信网络中的呼叫记录分析[D];北京科技大学;2019年
5 王磊;基于机器学习的药物—靶标相互作用预测研究[D];中国矿业大学;2018年
6 张庆;钙钛矿型功能材料的基因组工程研究[D];上海大学;2018年
7 管月;医学肿瘤影像分类算法研究及其在肝癌上的应用[D];南京大学;2018年
8 郝小可;基于机器学习的影像遗传学分析及其应用研究[D];南京航空航天大学;2017年
9 施建明;基于机器学习的产品剩余寿命预测方法研究[D];中国科学院大学(中国科学院遥感与数字地球研究所);2018年
10 陈再毅;机器学习中的一阶优化算法收敛性研究[D];中国科学技术大学;2018年
中国硕士学位论文全文数据库 前10条
1 李姗姗;面向异构平台的kernel合并优化及编译技术研究[D];吉林大学;2016年
2 王东睿;基于Kernel方法和WordNet的Web服务发现技术研究[D];南京邮电大学;2011年
3 宋强;基于半监督学习的高光谱图像分类方法研究[D];西安电子科技大学;2014年
4 肖锋;基于迁移学习和在线学习的网络流量分类方法研究[D];哈尔滨理工大学;2016年
5 林炜;基于机器学习的量化择时与量化选股方法研究[D];厦门大学;2017年
6 杜宇梅;政策不确定性与公司长期投资[D];厦门大学;2017年
7 千跃奇;机器学习与自由电子激光的应用研究[D];中国科学院大学(中国科学院上海应用物理研究所);2019年
8 洪镇宇;基于机器学习的跨站脚本攻击检测研究[D];厦门大学;2018年
9 吕沛;机器学习语境下的图像生成艺术研究[D];中央美术学院;2019年
10 Karina Alejandra Espinel Cobos;基于机器学习方法的预测效果分析:1998—2016年中国上市公司退市的证据[D];厦门大学;2018年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026