低秩鉴别分析与回归分类方法研究

【摘要】：模式识别诞生于20世纪20年代,并在60年代发展为一门学科。它的作用在于面对某一具体事物时将其正确归入某一类别。模式识别系统主要由四个部分组成：数据获取、预处理、特征抽取以及分类决策。抽取有效的特征和合适的分类决策是提高识别效果的关键问题。 特征抽取从样本的原始信息中提炼出最有利于模式分类的有效信息。较为经典的特征抽取方法有主成分分析、Fisher线性鉴别分析和独立成分分析。低秩表示方法是一种新兴的重要鲁棒子空间聚类方法,并广泛应用于机器学习和计算机视觉领域。本文将对基于低秩表示方法的特征抽取问题进行研究。 分类器则是根据特征抽取得到的特征向量来给一个测试对象赋予一个类别标记。迄今为止,已经存在许多有效的分类器方法。其中比较经典的方法有k近邻分类法、贝叶斯分类器、神经网络方法、子空间方法、支持向量机和模糊集方法等。另外,稀疏表示分类器以及线性表示分类器也是最近研究的热点。这些方法在手写体识别、人脸识别、语音识别、姿态学习、文本分类等领域得到了成功应用。最近,为了讨论稀疏性是否是稀疏表示分类器性能优越的真正原因,张磊提出了协作表示分类器。本文对基于回归方法的相关分类问题进行了研究。 本文的主要工作和创新成果点集中在以下几个方面： 首先,在由低秩表示(LRR)方法从数据中学习到的潜在低秩结构的基础上,提出了一种基于低秩表示的鉴别投影方法(LRR-DP).首先,LRR-DP方法利用低秩表示求得相似矩阵,然后根据相关训练样本类内信息来提高训练样本的聚类效果。该方法假设数据的低秩结构在线性投影后仍然可以保持,LRR-DP方法试图找到这样的投影：使得类内样本凝聚地越紧越好,而不同类样本之间分开的越远越好,同时误差表示尽量小。该投影使得在一个低维空间里对数据进行分类可行,而且它更易于应用于测试样本。 其次,受稀疏表示分类器(SRC)方法和协作表示分类器(CRC)方法启发,分别提出了K近邻局部稀疏表示分类器(KNN-SRC)方法以及局部协作表示分类器(LCRC)方法。K近邻局部稀疏表示分类器和局部协作表示分类器的基本思想是将k近邻方法分别与稀疏表示分类方法和协作表示分类器方法结合,选取测试样本的K个最近邻,根据该局部训练样本集对测试样本进行稀疏或协作表示,根据表示系数计算测试样本与每类仅属于测试样本K近邻训练样本的剩余量确定测试样本的类别。KNN-SRC方法作为一种基于局部信息的分类器效率有所提高,同时在不影响识别率的基础上,多有改善识别率的现象。LCRC方法亦是在表示测试样本之前减少了错误分类的概率,保持并有所提高CRC方法的正确率。 然后在Tikhonov正则化算法基础上,考虑图像的成分图像,提出基于成分的全局k近邻分类器(CG-k-NN)方法。该方法从全局训练样本中寻找给定测试样本的k个最近邻；然后使用最近邻训练样本集表示该给定的测试样本,表示系数由求解Tikhonov正则化问题得到；然后利用仅相关于每类并属于k近邻的样本以及对应的表示系数,构造该类的成分图像；最后计算给定测试样本与每类重构的成分图像之间的误差。该方法以最小重构误差来判断给定测试样本的类别。CG-k-NN分类器利用数据的结构信息,考虑有效的成分图像,使得分类更有效,运算更快捷。 最后针对基于L1范数的Lasso回归与基于L2范数的Ridge回归模型,分别讨论了两种分类器的设计方法,即基于Lasso回归的全体与类样本分类器、基于Ridge回归的全体与类样本分类器,分别在4个大样本数据库与4个小样本数据库上对所给出的方法进行了比较研究与分析,结果表明基于全体样本的分类器更适合小样本问题,而基于类样本的分类器更适合大样本问题。