低秩鉴别分析与回归分类方法研究
【摘要】:模式识别诞生于20世纪20年代,并在60年代发展为一门学科。它的作用在于面对某一具体事物时将其正确归入某一类别。模式识别系统主要由四个部分组成:数据获取、预处理、特征抽取以及分类决策。抽取有效的特征和合适的分类决策是提高识别效果的关键问题。
特征抽取从样本的原始信息中提炼出最有利于模式分类的有效信息。较为经典的特征抽取方法有主成分分析、Fisher线性鉴别分析和独立成分分析。低秩表示方法是一种新兴的重要鲁棒子空间聚类方法,并广泛应用于机器学习和计算机视觉领域。本文将对基于低秩表示方法的特征抽取问题进行研究。
分类器则是根据特征抽取得到的特征向量来给一个测试对象赋予一个类别标记。迄今为止,已经存在许多有效的分类器方法。其中比较经典的方法有k近邻分类法、贝叶斯分类器、神经网络方法、子空间方法、支持向量机和模糊集方法等。另外,稀疏表示分类器以及线性表示分类器也是最近研究的热点。这些方法在手写体识别、人脸识别、语音识别、姿态学习、文本分类等领域得到了成功应用。最近,为了讨论稀疏性是否是稀疏表示分类器性能优越的真正原因,张磊提出了协作表示分类器。本文对基于回归方法的相关分类问题进行了研究。
本文的主要工作和创新成果点集中在以下几个方面:
首先,在由低秩表示(LRR)方法从数据中学习到的潜在低秩结构的基础上,提出了一种基于低秩表示的鉴别投影方法(LRR-DP).首先,LRR-DP方法利用低秩表示求得相似矩阵,然后根据相关训练样本类内信息来提高训练样本的聚类效果。该方法假设数据的低秩结构在线性投影后仍然可以保持,LRR-DP方法试图找到这样的投影:使得类内样本凝聚地越紧越好,而不同类样本之间分开的越远越好,同时误差表示尽量小。该投影使得在一个低维空间里对数据进行分类可行,而且它更易于应用于测试样本。
其次,受稀疏表示分类器(SRC)方法和协作表示分类器(CRC)方法启发,分别提出了K近邻局部稀疏表示分类器(KNN-SRC)方法以及局部协作表示分类器(LCRC)方法。K近邻局部稀疏表示分类器和局部协作表示分类器的基本思想是将k近邻方法分别与稀疏表示分类方法和协作表示分类器方法结合,选取测试样本的K个最近邻,根据该局部训练样本集对测试样本进行稀疏或协作表示,根据表示系数计算测试样本与每类仅属于测试样本K近邻训练样本的剩余量确定测试样本的类别。KNN-SRC方法作为一种基于局部信息的分类器效率有所提高,同时在不影响识别率的基础上,多有改善识别率的现象。LCRC方法亦是在表示测试样本之前减少了错误分类的概率,保持并有所提高CRC方法的正确率。
然后在Tikhonov正则化算法基础上,考虑图像的成分图像,提出基于成分的全局k近邻分类器(CG-k-NN)方法。该方法从全局训练样本中寻找给定测试样本的k个最近邻;然后使用最近邻训练样本集表示该给定的测试样本,表示系数由求解Tikhonov正则化问题得到;然后利用仅相关于每类并属于k近邻的样本以及对应的表示系数,构造该类的成分图像;最后计算给定测试样本与每类重构的成分图像之间的误差。该方法以最小重构误差来判断给定测试样本的类别。CG-k-NN分类器利用数据的结构信息,考虑有效的成分图像,使得分类更有效,运算更快捷。
最后针对基于L1范数的Lasso回归与基于L2范数的Ridge回归模型,分别讨论了两种分类器的设计方法,即基于Lasso回归的全体与类样本分类器、基于Ridge回归的全体与类样本分类器,分别在4个大样本数据库与4个小样本数据库上对所给出的方法进行了比较研究与分析,结果表明基于全体样本的分类器更适合小样本问题,而基于类样本的分类器更适合大样本问题。
|
|
|
|
1 |
陈才扣,高林,杨静宇;一种基于空间变换的核Fisher鉴别分析[J];计算机工程;2005年08期 |
2 |
徐勇,张重阳,杨静宇;基于多目标优化问题模型的鉴别分析方法[J];南京理工大学学报(自然科学版);2005年01期 |
3 |
高秀梅,杨静宇,杨健;一种最优的核Fisher鉴别分析与人脸识别[J];系统仿真学报;2004年12期 |
4 |
徐勇,杨强,杨静宇;基于核的快速特征抽取及识别方法[J];解放军理工大学学报(自然科学版);2005年02期 |
5 |
徐勇,朱宁波,杨强,杨静宇;不相关鉴别分析改进算法[J];计算机工程与应用;2004年31期 |
6 |
金忠,杨静宇,胡钟山;有效最佳鉴别特征的抽取与维数问题[J];计算机学报;2000年01期 |
7 |
陈才扣,杨静宇,杨健;一种融合PCA和KFDA的人脸识别方法[J];控制与决策;2004年10期 |
8 |
陈才扣,高秀梅,郭丽,杨静宇;基于小波特征的非线性鉴别特征抽取技术[J];电子与信息学报;2005年02期 |
9 |
钱俊龙;;用漂移谱和鉴别分析法分析海龟和牛科角质人工制品[J];文物保护与考古科学;2008年02期 |
10 |
杨静宇,金忠,胡钟山;具有统计不相关性的最佳鉴别特征空间的维数定理[J];计算机学报;2003年01期 |
11 |
吴小俊,杨静宇,王士同,Josef Kittler;广义统计不相关最优鉴别矢量集的一个理论结果[J];电子学报;2004年10期 |
12 |
吴小俊;王士同;杨静宇;刘同明;;基于扰动方法和广义K-L变换的人脸特征抽取[J];系统仿真学报;2006年S2期 |
13 |
吴小俊;杨静宇;王士同;刘同明;;基于扰动方法的广义最佳鉴别矢量集求解的一种解析算法[J];郑州大学学报(理学版);2006年04期 |
14 |
吴小俊,杨静宇,王士同,刘同明;基于模糊神经网络的人脸识别方法研究[J];计算机工程与科学;2004年04期 |
15 |
陈蕾;黄贤武;刘家胜;仲兴荣;;基于提升小波变换与学习矢量量化网络的鉴别分析方法[J];计算机应用;2006年09期 |
16 |
范自柱;徐勇;徐保根;朱旗;;一种快速KMSE算法及其在异常入侵检测中的应用[J];哈尔滨工业大学学报;2011年03期 |
17 |
陈秀宏;王郁武;杨静宇;;两目标最优图像鉴别分析及其在人脸识别中的应用[J];计算机辅助设计与图形学学报;2006年09期 |
18 |
金忠,杨静宇,陆建峰;一种具有统计不相关性的最佳鉴别矢量集[J];计算机学报;1999年10期 |
19 |
金忠;娄震;杨静宇;;一种具有统计不相关性的最佳鉴别平面[J];模式识别与人工智能;1999年03期 |
20 |
赵海涛,金忠;一种改进的最佳鉴别平面[J];南京理工大学学报;2000年01期 |
|