收藏本站
《重庆大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

基于数据局部结构信息的特征提取中的关键问题研究

程淼  
【摘要】:很多现实世界中的应用,特别是在模式识别,机器学习,计算机视觉和数据挖掘领域中,都涉及到对高维数据的处理。特征提取和维数约简的方法因为能够找到数据最理想的低维表示而在这些领域中扮演了重要的角色。而在这些方法中,由于具有比其它方法更为显著的优势,线性特征提取方法成为了一种流行的维数约简的工具。最近几年,随着流形学习的发展,数据的局部结构由于隐含了数据的潜在信息引起了越来越多的注意。 与全局维数约简方法不同,流形学习方法试图找到嵌入在数据输入空间的低维流形结构。传统的流形学习方法,如ISOMAP,LLE和Laplacian Eigenmaps,通过非监督学习的方式来寻求数据的低维流形。为了挖掘局部判别流形结构,局部判别分析方法在鉴别潜在子流形结构的同时引入了数据的判别信息。从数学的角度看,这些维数约简方法都可以统一用关系图嵌入框架来解释,所不同的只是它们中内在相似图和惩罚图的构造规则。然而,这些局部判别方法仍然存在一些缺陷,如维度灾难,增量学习等。 另外,非负矩阵因子(Nonnegative Matrix Factorization, NMF)同样也是一种基于数据局部结构的数据挖掘方法,其等同于一个具有非负边界限制的优化问题。在已有的研究成果中,非负矩阵因子主要是通过添加额外的优化项来解决机器学习和计算机视觉中的一些应用问题。为了克服传统的相乘学习算法收敛速度过慢的问题,最近有一些研究者提出了基于投影梯度的非负矩阵因子算法。但是,碍于非负限制和额外添加的优化项,这些非负矩阵因子方法常常会遇到不恰当学习的问题。 本文主要针对基于数据局部结构的特征提取方法的几个热点问题进行了深入地研究,主要的贡献如下: ①针对维度灾难的问题,已有的局部判别方法使用主成分分析(Principal Component Analysis, PCA)方法来对数据进行预处理降维,但这有可能会破坏数据的局部结构。本文将判别嵌入考虑为一个在样本数据空间中的核处理过程,提出一种基于核框架的判别处理方法来提取嵌入特征。与其它方法相比,该方法避免了PCA的预处理,也不需要对数据进行裁剪操作。通过在一系列高维数据集上的实验表明,该方法具有较好的健壮性和杰出的性能优势。 ②尽管局部判别子空间方法在判别形式上与LDA具有一致性,但它们的理论性质却截然不同。本文以局部判别零空间为例,研究了局部判别子空间方法相关的计算和理论基础。首先,本文在零空间LDA的基础上提出局部判别零空间方法,并且论证它的计算复杂度主要是由关系图中连接边的数量决定的。这使得当需要处理的数据量较大时,算法无法顺利实施。为了解决这个问题,本文提出一种改进的局部零空间方法,该方法用惩罚子空间来近似完整的局部判别子空间以达到改进算法效率的目的。实验研究发现,该近似方法能够达到与原来的学习方法相近似的识别结果。 ③由于当有新增数据时,局部判别分析方法没有明确可用的更新规则,这使得为其设计增量学习方法非常困难。为了弥补这一缺陷,本文提出一种提取判别特征的监督学习方法,叫做局部判别子空间嵌入(local discriminant subspace embedding, LDSE)。然后,提出了其增量学习方法来寻求在存在新数据进入的情况下的判别子空间,该方法的主要思想是利用奇异值分解的更新算法来将基准方法扩展为可进行增量学习的方法。从人脸识别的实验来看,该增量学习方法能够在更小的计算开销下得到与基准嵌入方法相近的识别结果。 ④已有的边缘学习方法在判别边缘拥有最短的类间距离的理论前提下,试图在所有类间数据对中找到局部边缘。然而,该方法常常难以提供最佳的判别力,特别是在数据呈多模态分布的情况中。究其原因,是由于边缘学习方法使用有限的数据对来确定判别边缘,使得得到的边缘可能无法反映数据的真实的分布情况,使得在低维空间中投影得到的样本无法被正确分类。 不失一般性,线性子空间学习算法也可以理解为在低维空间中对一系列数据对吸引和排斥关系的加强。基于这样的观点,提出一种边缘子空间学习方法,叫做边缘判别投影(marginal discriminant projections, MDP)。与已有的边缘学习方法不同,通过分层模糊聚类来自适应地确定局部判别边缘,同时递归目标优化过程也得以避免。 ⑤为了挖掘非负数据中的信息成分,提出了一种以信息理论学习相关的非负矩阵学习方法,并使用共轨梯度方法来加强递归学习过程。然而,与其它扩展的梯度非负矩阵因子算法一样,碍于非负边界限制,在递归过程中不可避免地会遇到不恰当学习的问题。为了解决这个问题,提出了一个改进的线性搜索方法,在保持目标函数下降的同时通过确认条件来避免得到零因子。另外,不同于其它梯度下降算法使用梯度终止条件,采用了对非负边界优化问题效率更高的数值终止条件。实验表明,该方法在非负图像数据集存在姿态和光照变化的条件下,比其它方法更有的优势。
【学位授予单位】:重庆大学
【学位级别】:博士
【学位授予年份】:2009
【分类号】:TP391.41

【共引文献】
中国期刊全文数据库 前10条
1 张根耀,李竹林,赵宗涛;遮挡情况下运动目标的跟踪[J];安徽大学学报(自然科学版);2003年03期
2 张贵,乔春生;应用支持向量机回归确定岩体强度指标[J];北方交通大学学报;2004年01期
3 李翠霞,于剑;一种模糊聚类算法归类的研究[J];北京交通大学学报;2005年02期
4 谢纪刚;裘正定;;非平衡数据集Fisher线性判别模型[J];北京交通大学学报;2006年05期
5 余鹏,封举富;基于多分辨率小波和高斯混合模型的纹理图像分割[J];北京大学学报(自然科学版);2005年03期
6 韩武鹏,陈文楷,刘正耀;模糊小波算法在纺织品瑕点检测中的应用[J];北京工业大学学报;2002年01期
7 张虹,陈文楷;一种基于小波矩的图像识别方法[J];北京工业大学学报;2004年04期
8 苏惠敏,高剑宏,陈哲;BP网络实时图像自动选取算法研究[J];北京航空航天大学学报;2002年02期
9 张吉堂,路宏年;树分类器在多界面粘接质量图像诊断中的应用[J];北京航空航天大学学报;2003年08期
10 张宏伟,李胜,袁亮,刘永庆;潘一矿煤与瓦斯突出危险性模式识别与概率预测[J];北京科技大学学报;2005年04期
中国重要会议论文全文数据库 前10条
1 董杰;孙怡;;一种高频谱效率的OFDM载波频偏盲估计方法[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(上)[C];2006年
2 张韵;张燕;苗艳华;蒲金霞;;提升小波在笔迹鉴别中的应用[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
3 罗仁泽;王汝言;冉瑞生;;二维PCA法策略及证明[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
4 郭锋;刘丽丽;吕凝;;基于LLE和SVM的人像识别方法[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
5 顾群英;李文元;;基于PCA人脸识别的移动电话身份验证方法探讨[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(下册)[C];2008年
6 张艳红;都赟赟;付铁连;;一种基于分布式USFC-OFDM的异步协同传输技术[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(下册)[C];2008年
7 蒋琦;庄毅;谢东;;基于SVM分类器的SYN Flood攻击检测规则生成方法的研究[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
8 郭相科;刘进忙;曹学斌;张玉鹏;;子类独立分量分析在声目标识别中的应用[A];中国声学学会2007年青年学术会议论文集(上)[C];2007年
9 寇凌岳;艾欣;邓慧琼;;基于FCM算法的连锁故障评价及路径划分方法研究[A];第十一届全国电工数学学术年会论文集[C];2007年
10 赵伟;李丽娟;;基于数学形态学的手写体汉字识别[A];2008'中国信息技术与应用学术论坛论文集(一)[C];2008年
中国博士学位论文全文数据库 前10条
1 吴艳;多传感器数据融合算法研究[D];西安电子科技大学;2003年
2 张润峰;FNS对MI大鼠HRV和心脏神经重构的作用及部分机制探讨[D];重庆医科大学;2004年
3 吕铁军;通信信号调制识别研究[D];电子科技大学;2000年
4 凌杰;公路动态称重系统的设计理论研究[D];长安大学;2001年
5 李剑;局部放电灰度图象识别特征提取与分形压缩方法的研究[D];重庆大学;2001年
6 孙涛;基于数据融合技术的两相流流型辨识与流量测量方法研究[D];浙江大学;2002年
7 郭满才;群体遗传变异的信息学模型研究[D];西北农林科技大学;2002年
8 李新;面向神经计算的视觉信息处理研究[D];西北工业大学;2002年
9 郑江滨;视频监视方法研究[D];西北工业大学;2002年
10 马艳;基于小波变换的畸变信道检测和目标特征提取研究[D];西北工业大学;2002年
中国硕士学位论文全文数据库 前10条
1 王夏黎;视频交通流检测及车辆识别系统的设计与实现[D];西北大学;2001年
2 刘枫;数字图象压缩算法的应用研究[D];成都理工学院;2001年
3 张锐;基于人工神经网络理论的机械故障诊断技术研究[D];东北林业大学;2001年
4 王立;先进红外成像制导技术研究[D];西北工业大学;2001年
5 张浩;数据融合在工程中的应用与研究[D];湖南大学;2001年
6 忻栋;支持向量机算法的研究及在说话人识别上的应用[D];浙江大学;2002年
7 刘学军;键盘用户身份验真与加权主分量分类器[D];南京航空航天大学;2002年
8 张文朝;基于人工神经网络的暂态稳定评估技术的研究[D];华北电力大学;2002年
9 刘菲;实时景物理解系统研究[D];南京理工大学;2002年
10 沈瑛;身份证识别系统研究[D];西南交通大学;2002年
【二级参考文献】
中国期刊全文数据库 前1条
1 杨健,杨静宇,金忠;最优鉴别特征的抽取及图像识别[J];计算机研究与发展;2001年11期
【相似文献】
中国期刊全文数据库 前10条
1 张亮;郭桂蓉;庄钊文;何松华;马莉波;;雷达目标高分辨距离像数据预处理方法研究[J];电子学报;1998年06期
2 沈同圣;任建存;冯亚林;周晓东;;红外成像制导中目标识别方法探讨[J];红外与激光工程;1998年05期
3 刘守生,丁勇,胡寿松;一种特征提取新方法[J];信号处理;1999年S1期
4 李平,蒋振刚;神经网络对手写字符识别特征的提取[J];长春光学精密机械学院学报;2000年02期
5 孟国强;基于车辆牌照识别系统字符的特征提取方法研究[J];河南科学;2003年06期
6 邵云生,徐国华;雷达舰船目标的混合特征提取算法的设计与实现[J];舰船电子对抗;2004年02期
7 崔晨旸,石教英;三维模型检索中的特征提取技术综述[J];计算机辅助设计与图形学学报;2004年07期
8 张晓东,陈锋;基于非线性回归的自适应特征提取算法[J];阜阳师范学院学报(自然科学版);2004年02期
9 夏晓清,冯伟,赵荣椿;CPODW数字水印技术中的图像内容提取方法[J];计算机应用;2004年S2期
10 陈宇萍;外观设计专利图像检索系统研究[J];科技管理研究;2005年04期
中国重要会议论文全文数据库 前10条
1 林土胜;赖声礼;;视网膜血管特征提取的拆支跟踪法[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
2 钱小聪;郑宝玉;穆明鑫;;神经网络联机手写签名验证[A];第十届全国信号处理学术年会(CCSP-2001)论文集[C];2001年
3 张羽;汪源源;王威琪;余建国;林继耕;;狭窄血管多普勒信号特征提取的实验研究[A];21世纪医学工程学术研讨会论文摘要汇编[C];2001年
4 柳林霞;陈杰;窦丽华;;不变矩理论及其在目标识别中的应用[A];2002中国控制与决策学术年会论文集[C];2002年
5 杨日杰;施建礼;林洪文;;一种雷达视频回波特征提取方法研究[A];中国航空学会信号与信息处理专业全国第八届学术会议论文集[C];2004年
6 代克杰;张红梅;盛赛斌;;基于BP网络的故障特征提取方法研究[A];2004中国控制与决策学术年会论文集[C];2004年
7 何新;史迎春;周献中;;一种基于独立分量分析的音频分类方法[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
8 朱晓霞;孙同景;陈桂友;;基于支持向量机理论的两级指纹分类实现方法[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年
9 范海宁;郭英;吴剑锋;陈志武;;基于小波包分解的声信号特征提取方法[A];信号与信息处理技术第三届信号与信息处理全国联合学术会议论文集[C];2004年
10 郗长青;郑建明;李言;罗杰;;基于小波包分解的钻头磨损特征提取[A];制造技术自动化学术会议论文集[C];2004年
中国重要报纸全文数据库 前10条
1 燕海霞;王忆勤;李福凤;脉象信号研究日渐深入[N];中国医药报;2005年
2 沈占锋;遥感影像信息提取与分析[N];计算机世界;2006年
3 王竣;深入开发CAD系统对疾病诊断有重要意义[N];中国医药报;2007年
4 北京数码空间信息技术有限公司技术总监 刘斌;Web Mining:第二代网络信息处理技术[N];计算机世界;2000年
5 上海 高博;让电脑“听懂”人话[N];电脑报;2008年
6 记者 何腾江 通讯员 周汇成;验钞新技术通过鉴定[N];中山日报;2008年
7 孙哲南 谭铁牛;生物识别的十大关键技术[N];计算机世界;2007年
8 本报记者 刘洪宇;当机器听懂了我们的声音[N];辽宁日报;2008年
9 林木树;反垃圾邮件有待新突破[N];人民邮电;2004年
10 方忠诚;OCR技术及其应用[N];北京电子报;2000年
中国博士学位论文全文数据库 前10条
1 张旗;基于属性的图像分类研究[D];大连海事大学;2005年
2 张立福;通用光谱模式分解算法及植被指数的建立[D];武汉大学;2005年
3 苏彩红;墙地砖质量自动检测技术的研究[D];华南理工大学;2004年
4 宋余庆;医学图像数据挖掘若干技术研究[D];东南大学;2005年
5 宋晴;基于液滴分析技术和液滴指纹图的液体识别方法的研究[D];天津大学;2005年
6 吴婷;自发脑电脑机接口模式识别关键技术与实验研究[D];上海交通大学;2008年
7 孙真真;基于光学区雷达目标二维像的目标散射特征提取的理论及方法研究[D];中国人民解放军国防科学技术大学;2001年
8 武子玉;矿物近红外光谱信息提取及应用研究[D];吉林大学;2005年
9 王承;基于神经网络的模拟电路故障诊断方法研究[D];电子科技大学;2005年
10 孙蕾;医学图像智能挖掘关键技术研究[D];西北大学;2005年
中国硕士学位论文全文数据库 前10条
1 曾红梅;情绪图片视觉诱发EEG特征提取与分析[D];天津大学;2012年
2 雷自力;基于Pro/E的三维零件参数化建模和特征提取研究[D];华中科技大学;2011年
3 林少波;中文文本分类特征提取方法的研究与实现[D];重庆大学;2011年
4 黄健;履带式车辆微多普勒效应与特征提取[D];国防科学技术大学;2009年
5 赵蕾蕾;基于词和基本短语模式的特征提取方法[D];河北大学;2009年
6 栾岚;基于机理模型判据的图像中微弱特征提取方法研究及应用[D];东北大学;2009年
7 王菲;面向肺部CAD的特征提取、选择及分类方法研究[D];东北大学;2009年
8 郑睿;藻类细胞图像的特征提取与分类方法研究[D];杭州电子科技大学;2009年
9 李仁杰;高分辨率SAR图像目标三维特征提取与建模[D];国防科学技术大学;2010年
10 陈日晖;面向肺部CAD的三维ROI分割、特征提取与分类方法研究[D];东北大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026