收藏本站
《复旦大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

维数约简中的若干问题

何力  
【摘要】: 维数约简是机器学习中的重要问题,本文着重介绍了该领域中四个问题的研究成果: 流形学习作为非监督、非线性降维方法曾一度广为关注,如何对多样的流形学习算法进行合理的分类与评估一直是难以解决的问题。我们提出了一个基于算法设计思想的分类方法将常见的算法分为保距映射、图嵌入与统计方法三类,我们分别讨论了每类方法共同的优点以及不足;之后我们分几个方面对这些算法进行了评估:我们仔细的分析了常见算法的复杂性;讨论了谱与维数的关系;分析了噪声对每类方法产生的影响;解释了参数空间存在空洞时对算法的影响;使用邻域保持率分析了算法能否保持流形拓扑结构;提出了使用放大因子、主延展方向以及一些定量准则用于分析流形学习算法更细致的特性。作为这些分析的一个简单应用,我们针对人脸识别问题,从诸多算法中选择了较合适的流形学习算法进行降维,并获得了较传统线性降维算法更好的识别率。 图嵌入算法是流形学习的一个重要的分支(见第2章),它的参数化(包括线性化和核化两个过程)为我们提供了一个完整的降维框架。核化产生了一个计算代价为O(N3)的问题,这阻碍了该方法在大规模数据上的应用。我们提出使用AP初始化k均值获得代表元进行近似的算法,由于我们的方法能够更好的控制量化误差,在相同代表元个数时能得到对Gram矩阵更好的逼近;我们分析了对不同部分谱逼近的程度,并通过实验说明不同应用需要对不同谱进行逼近。我们还给出了对映射逼近的误差界,并证明该误差界一样被量化误差所控制;相对于对Gram矩阵的逼近,这种方式在PKLR与图嵌入算法上有着更直观的解释,我们的实验也表明图嵌入上该方法获得的解更好且参数更少。我们前期的工作比较了一些线性化图嵌入算法的特点;利用近似算法我们在大规模问题上比较了这些核化图嵌入算法,我们得出了一些有意思的结论,如:求最小特征值的图嵌入算法不适合使用谱下降较快的核函数进行核化;局部性的模型可以通过局部性的核函数得到类似的效果。 .我们利用基于核方法构造的独立性准则设计了一种监督维数约简算法,分析表明它可以做为充分维数约简算法如KDR的一种近似。但是相对于KDR每次迭代需要O(N3)的时间复杂度,我们的算法仅需要O(N2)与一次V阶矩阵乘法的时间,具有更低的计算代价。我们在一些模拟数据上讨论了我们的方法可能存在的问题,但是使用真实数据的多数实验中,我们的方法可以给出与KDR类似的结果。我们还讨论了使用HSIC统计量确定SDR投影空间维数的上界的方法,这个问题在多数文献中都没有给出较合理的解决方案。我们进一步讨论了这类算法与图嵌入算法之间的联系,发现图嵌入算法可以为其提供较好的初始值,以此减少随机搜索的次数。为了能让这类模型能够处理非监督信息,我们为原模型添加了Laplace光滑子,通过实验发现在较低维投影时能够获得较仅利用监督信息的模型更好的结果。最后我们提出了使用这类算法处理非监督降维与CCA问题的方法作为今后一个潜在的研究方向。 在处理一些实际问题的时候,数据中存在的序关系往往十分重要,因为这些关系揭示了数据在潜在的流形上的分布,在我们的实验中也发现保持序关系能够改善分类器的泛化能力。我们第一次将这类问题从传统分类问题中分离出来,称之为趋势学习。我们比较了趋势学习与其他传统学习问题的异同点,如分类是对分界面建模,而趋势学习是对状态之间的迁移过程建模。通过对传统线性模型SVM与PKLR的仔细比较,我们认为后者能更方便地用于对趋势学习建模。这样我们获得了一个DAG正则化的PKLR模型,由于其约束非凸,我们给出了一个使用CCCP求解的算法。为了验证我们想法的合理性,我们在两组模拟数据和两组真实数据上进行了实验,结果说明在标注样本较少的时候,通过DAG正则化生成的趋势学习模型具有较监督学习与半监督学习模型更好的泛化能力。
【学位授予单位】:复旦大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TP181

手机知网App
【引证文献】
中国博士学位论文全文数据库 前1条
1 张乐飞;遥感影像的张量表达与流形学习方法研究[D];武汉大学;2013年
中国硕士学位论文全文数据库 前1条
1 闫志敏;基于流形学习的数据约简方法研究与应用[D];山东师范大学;2012年
【参考文献】
中国期刊全文数据库 前1条
1 何力;张军平;周志华;;基于放大因子和延伸方向研究流形学习算法[J];计算机学报;2005年12期
【共引文献】
中国期刊全文数据库 前10条
1 王尔丹;人群运动与密度估计技术研究[J];安全;2005年03期
2 冯学军;;最小二乘支持向量机的研究与应用[J];安庆师范学院学报(自然科学版);2009年01期
3 周德强;冯建中;;建筑物沉降预测的改进Verhulst模型研究[J];地下空间与工程学报;2011年01期
4 王立平;孔小梅;付梦印;王美玲;张甲文;姜明;;Temperature Drift Modeling of FOG Based on LS-WSVM[J];Journal of China Ordnance;2008年03期
5 王亮;胡静涛;;基于LS-SVM的光刻过程R2R预测控制方法[J];半导体技术;2012年06期
6 田盛丰;基于核函数的学习算法[J];北方交通大学学报;2003年02期
7 薛彦轶;刘晓东;;基于最小二乘支持向量机的航材备件需求建模[J];兵工自动化;2007年06期
8 高博;谭永红;张新良;;基于在线LSSVM的超声波电机转速预测器[J];兵工自动化;2007年09期
9 张丽叶;郑绍钰;;基于LS-SVM的装备研制费用建模与分析[J];兵工自动化;2009年02期
10 纪凤珠;王长龙;王瑾;孙钦蕾;;基于稀疏化LS-SVM的漏磁缺陷三维轮廓重构[J];兵工学报;2008年05期
中国重要会议论文全文数据库 前10条
1 宋海鹰;桂卫华;阳春华;;基于核偏最小二乘的简约最小二乘支持向量机及其应用研究[A];第二十六届中国控制会议论文集[C];2007年
2 宋海鹰;桂卫华;阳春华;;基于最小二乘支持向量机的Hammerstein-Wiener模型辨识[A];第二十六届中国控制会议论文集[C];2007年
3 ;Inverse System Control of Nonlinear Systems Using LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
4 ;A Novel Proximal Support Vector Machine and Its Application in Radar Target Recognition[A];第二十六届中国控制会议论文集[C];2007年
5 ;A CDMA Signal Receiver Based on LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
6 Yu Kerwei;Yang Tsunlirng;;A Case Study of Yacht's Motions Represented by Using Stewart Platform[A];第二十七届中国控制会议论文集[C];2008年
7 ;LS-SVM Based Stable Generalized Predictive Control[A];第二十七届中国控制会议论文集[C];2008年
8 阎纲;梁昔明;龙祖强;李翔;;一种新的提前一步预测控制算法[A];第二十七届中国控制会议论文集[C];2008年
9 孙玉坤;王博;丁慎平;;基于模糊支持向量机的赖氨酸发酵软测量[A];第二十七届中国控制会议论文集[C];2008年
10 ;GA Based LS-SVM Classifier for Waste Water Treatment Process[A];第二十七届中国控制会议论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
2 李书艳;单点氨基酸多态性与疾病相关关系的预测及其机制研究[D];兰州大学;2010年
3 张明;电能质量扰动相关问题研究[D];华中科技大学;2010年
4 许伟;基于进化算法的复杂化工过程智能建模方法及其应用[D];华东理工大学;2011年
5 包健;有限精度权值神经网络优化的研究与应用[D];华东理工大学;2011年
6 钟凡;在线视频分割关键问题研究[D];浙江大学;2010年
7 向国齐;支持向量回归机代理模型设计优化及应用研究[D];电子科技大学;2010年
8 桑永胜;空间数据分析的神经计算方法[D];电子科技大学;2010年
9 陈仁杰;内容敏感的图像重映射算法研究[D];浙江大学;2010年
10 林裕旭;基于扫描数据的三维人脸表情合成[D];浙江大学;2010年
中国硕士学位论文全文数据库 前10条
1 曾传华;基于颜色和纹理特征的竹条分级方法研究[D];华中农业大学;2010年
2 田文娟;基于支持向量机的人民币序列号识别方法的研究[D];山东科技大学;2010年
3 孟培培;基于3S的土地督察信息系统研究[D];山东科技大学;2010年
4 李海清;支持向量机在金融市场预测中的应用[D];辽宁师范大学;2010年
5 李光;基于均值偏移的视频目标跟踪、检测算法研究及系统实现[D];浙江理工大学;2010年
6 李光远;基于在线聚类和最小二乘支持向量机的模糊建模方法研究[D];郑州大学;2010年
7 张华杰;模糊神经网络在肺癌诊断中的应用[D];郑州大学;2010年
8 王巧立;微生物发酵过程的建模与优化控制研究[D];郑州大学;2010年
9 吴敏;基于AdaBoost和独立分量分析的人脸检测与识别算法的研究[D];郑州大学;2010年
10 林天威;基于视频流的人脸识别系统研究[D];哈尔滨工程大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 李小丽;薛清福;;几种流形学习算法的比较研究[J];电脑与信息技术;2009年03期
2 谭琨;杜培军;;基于支持向量机的高光谱遥感图像分类[J];红外与毫米波学报;2008年02期
3 毛嘉莉;;文本聚类中的特征降维方法研究[J];西华师范大学学报(自然科学版);2009年04期
4 张振跃,查宏远;线性低秩逼近与非线性降维[J];中国科学(A辑:数学);2005年03期
5 曾宪华;罗四维;;局部保持的流形学习算法对比研究[J];计算机工程与应用;2008年29期
6 王自强;钱旭;孔敏;;流形学习算法综述[J];计算机工程与应用;2008年35期
7 曾宪华;罗四维;;全局保持的流形学习算法对比研究[J];计算机工程与应用;2010年15期
8 邵超;张斌;万春红;;流形学习中邻域大小参数的合适性判定[J];计算机工程与应用;2010年20期
9 王路;王磊;卓晴;王文渊;;基于二维主成分分析的运动目标检测[J];计算机科学;2008年08期
10 高小方;;流形学习方法中的若干问题分析[J];计算机科学;2009年04期
中国博士学位论文全文数据库 前10条
1 黄远程;高光谱影像混合像元分解的若干关键技术研究[D];武汉大学;2010年
2 马丽;基于流形学习算法的高光谱图像分类和异常检测[D];华中科技大学;2010年
3 刘小明;数据降维及分类中的流形学习研究[D];浙江大学;2007年
4 孙明明;流形学习理论与算法研究[D];南京理工大学;2007年
5 于雪莲;基于核方法和流形学习的雷达目标距离像识别研究[D];电子科技大学;2008年
6 高茂庭;文本聚类分析若干问题研究[D];天津大学;2007年
7 曾宪华;流形学习的谱方法相关问题研究[D];北京交通大学;2009年
8 王庆刚;流形学习算法及若干应用研究[D];重庆大学;2009年
9 张田昊;数据降维算法研究及其应用[D];上海交通大学;2008年
10 杜博;高光谱遥感影像亚像元小目标探测研究[D];武汉大学;2010年
【相似文献】
中国期刊全文数据库 前10条
1 侯越先;吴静怡;张扬;何丕廉;;基于统计判据的非线性维数约简[J];天津大学学报;2007年01期
2 胡奎;侯臣平;吴翊;;基于调和函数的张量数据维数约简[J];计算机工程与应用;2010年22期
3 任世锦;吕俊怀;胡晓婷;张晓光;;基于边界鉴别分析的递归维数约简算法[J];控制与决策;2010年07期
4 殷飞;焦李成;;基于面向分类准则的维数约简及其在人脸识别中的应用[J];计算机科学;2014年05期
5 黄启宏;刘钊;;流形学习中非线性维数约简方法概述[J];计算机应用研究;2007年11期
6 万海平;何华灿;;基于谱图的维度约简及其应用[J];山东大学学报(理学版);2006年03期
7 郑诚,欧阳为民,蔡庆生;一种有效的的时间序列维数约简方法[J];小型微型计算机系统;2002年11期
8 刘丽娜;于治楼;张化祥;;针对不平衡数据集的维数约简方法[J];信息技术与信息化;2011年05期
9 任世锦;杨茂云;刘小平;徐桂云;;诱导核空间选择的LPKHDA维数约简算法[J];计算机科学与探索;2013年03期
10 程辉;卜华龙;;基于维数约简与特征选择的PGS方法在数据处理中的应用[J];电脑知识与技术(学术交流);2007年23期
中国重要会议论文全文数据库 前2条
1 陈伟福;冯国灿;;局部光滑主成分分析[A];第十五届全国图象图形学学术会议论文集[C];2010年
2 孙涛;刘静;刘青山;卢汉清;;半监督谱判别式分析[A];第六届和谐人机环境联合学术会议(HHME2010)、第19届全国多媒体学术会议(NCMT2010)、第6届全国人机交互学术会议(CHCI2010)、第5届全国普适计算学术会议(PCC2010)论文集[C];2010年
中国博士学位论文全文数据库 前4条
1 侯臣平;基于图优化框架的数据维数约简方法及应用研究[D];国防科学技术大学;2009年
2 何力;维数约简中的若干问题[D];复旦大学;2010年
3 殷飞;基于稀疏学习的图像维数约简和目标识别方法研究[D];西安电子科技大学;2014年
4 朱麟;基于图的嵌入和维数约简方法研究[D];中国科学技术大学;2013年
中国硕士学位论文全文数据库 前2条
1 周斯斯;谱聚类维数约简算法研究与应用[D];西安电子科技大学;2010年
2 胡奎;两种针对张量数据和多视图数据的半监督维数约简方法[D];国防科学技术大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026